dropout原理和实现方法

各位小伙伴们大家好，欢迎来到数据与智能小课堂。我们上一节课讲到了将神经网络视为层的序列，并且给出了一种将多层组合到一起的方法，也为新的模型引入了一个新的损失抽象来封装损失计算和梯度计算。 那我们这节课开始尝试使用我们的新框架来训练能够计算易货的网络以及了解其他的计划函数， soft max 函数和交叉商交 polt 以及保存和加载模型。 我们首先要重新创建训练数据，然后呢定义网络。现在我们暂时不需要考虑最后一个 cc 跟贸易的层啊，现在就可以 边写一个简单的训练循环，还可以使用优化器和损失的抽象，这就使得我们可以尝试不同的方法， 这应该可以训练的很快，我们应该可以看到损失会下降。然后现在呢，我们就可以检查一下权重。 那对于这个网络，我们大致可以发现，如果两个输入都不是一，那么还等一激活。如果两个输入都是一，那么还等二激活。如果两个还等输出都不是一的话，则输出激活。那事实上呢，这正是易获的逻辑。 那要注意这个网络学习到的特性与我们在上一张中训练到的特性不同，但他们仍然尝试做同样的事情。可以发现在前面我们没有用到这个 c 跟末尾的函数，有几个原因， 一个是四个末尾的零等于二分之一，这意味着一个输入和为零的神经元有一个正输出。另一个问题就是对于非常大和非常小的输入，他的梯度非常接近零，这就意味着他的梯度会饱和，他的权重更新呢，就可能会卡住。 一个流行的替代方法是天真 x， 也就是双曲缺陷函数。它是一个不同的符号型函数，范围呢，从负一到一，如果输入为零，则输出为零。那么天真 x x 的倒数呢？是一，减去天真 x x 的平方，就使得这一层很容易构建。 如果 x 非常大或者非常小呢？那么 tng h， 那基本上就是一或者负一。我们对此进行检查呢，是因为例如这个参数，如果他是一千的话，就会发生错误。如果在较大的网络 中呢？另一种流行的替代方法是 red， 当输入为负的时候，值为零，当输入为正的时候，等价于横等函数。 当然还有许多其他的函数，大家可以在自己的网络中多多尝试。我们在前一节中使用的神经网络是以 cgmoy 的曾结束，这就意味着他的输出是一个在零到一之间的数字响亮， 特别是他可以输出一个完全为零的项链，也可以输出一个完全为一的项链。但是当我们处理分类问题的时候，我们希望为正确的类输出一，为所有不正确的类输出零。那一般来说，我们的预测不会那么完美，但我们至少希望预测类上的实际概率分布。 例如，如果我们有两个类，并且我们的模型输出零零，那这样的话就不太好理解，因为如果 这样的话，他是表示输出不属于任何一个类吗？但是如果我们的模型输出是零点四、零点六，我们就可以把它解释为预测我们的输入属于第一类的概率是零点四。输入属于第二类的，概率为零点六。 那为了实现这一点呢，我们通常放弃最后的是一个末尾的层，而使用骚普通麦克参数，他是一个将实数项链转换为一个概率项链。我们计算项链中的每个数的 xbx， 从而可以得到一个正数的项链。那在那之后呢，我们可以直把 每个正数除以合，这就得到了累加值为一的响亮，也就是一个概率响亮。 如果我们最终尝试计算，比如说 exp 一千，我们就会得到一个拍成错误，所以再取 比之前，我们先减去最大的值。那这样处理呢？会获得相同的概率，这样就让在拍摄中的计算更加安全一点。 那一旦我们的网络产生概率，我们经常使用不同的损失函数，就称为交叉商，有的时候也称为负对数。自然， 大家可能还记得，在最大自然国际内节中，我们通过验证在某些假设下最小二乘系数使得观察数据的自然最大化，来证明在限行回归中使用最小二乘是合理的。那在这里呢，我们也可以做类似的事情， 如果我们的网络输出是概率交叉商，损失表示观测数据的负对数私人，这意味着最小化损失与最大化训练数据的对诉私人是一样的。通常我们不会将 soft max 作为神经网络的一部分，这是因为如果 soft max 是损失函数的一部分的话，而不是网络本身那部分，那么关于网络输出的损失梯度就很容易计算出来。 那我们给定神经网络模型，这是观测值的副对促释然，也就是交叉商。那因此我们选择权重来最小化他。我们的模型将最大化观测数据的释然。 如果我现在使用 soft max clos sorry 损失来训练之前的 faceboos 网络呢，应该会发现他能够训练的更快一点，也就是说他会花费更少的一部曲。 就大概就是因为找到了 soft max 给定分布的权重比找到 cctmy 的给定分布的权重要容易的多。也就是说，如果我需要预测累零，也就是第一个位置为一，区域位置为零 项链。在 linel 加上四个末尾的情况下，我需要第一个输出是大正数，其余输出是大负数。然而在 soppt max 的情况下呢，我只需要第一个输出大于剩余的输出。所以显然第二种情况呢，会有更多的可能。这就表明应该更容易找到这样的权重。 那像大多数机器学习模型一样，神经网络很容易过渡你和他们的训练数据。我们之前看到过改善这一点的方法，例如说在镇则化中呢，我们惩罚了大的权重，这就有助于防止过渡你和 那正则换神经网络的一种常见方法是使用交 paot。 在训练的时候，我们用一些固定的概率随机关闭每个神经元，也就是将要关闭的神经元将其输出替换为零。这意味着网络不能学习依赖于 任何神经元，这可能会有助于解决过度综合的问题。那在评估的时候，我们不想焦爆的任何神经元，所以焦爆的层呢，需要知道他是否是在训练。 此外，在训练的时候，交泡的层只传递其输入的一些随机部分。为了使其输出，在评估期间可以比较，我们就将使用相同比例均匀缩小输出。 我们可以使用这个方法来帮助我们防止深度学习模型过渡离合。大家可以看看代码。下面我们再来看一个例子。 mst 是一个用来学习深度学习的手写数字数据集，他是一种有点棘手的二进制格式。因此呢，我们将安装 ms 库来使用它。然后呢，我们就可以加载数据了。这里呢， 就将下载数据，你可以将其更改到你想要的位置。可以看到呢，它是一个零参数函数，然后这些函数中的每一个首先下载数据，然后返回一个 man 派数组，然后调用 tolex， 因为我们的张量呢只是列表。 然后我们可以绘制前一百张训练图像，了解他们的形状，如图十九杠一， 可以看到他们看起来确实很像手写的数字。然后我们还可以加载测试图像， 每张图像呢为二十八乘以二十八像素。但是我们的线性层只能处理一维输入，因此我们将把它们变平，也就是让输入除以二百五十六，于是他们在零和一之间。那此外，如果我们的输入平均为零，神经网络的训练就会更好，因此呢，我们就将减去平均值。 此外，我们还需要对目标进行汪浩的编码，因为我们有十个输出。那首先我们需要编写一个汪浩的硬扣函数，然后呢，将其应用于我们的数据当中。 我们抽象的优点之一是，我们可以对各种模型使用相同的训练评估循环，我们将使用我们的模型数据损失函数以及优化器，他将传递我们的数据跟踪性能以及更新我们的参数。 那作为一个机线，我们可以使用我们的深度学习库来训练一个多类逻辑回归模型，他只是一个线性层，然后是一个 soft max。 那这个模型本质上是只寻找十个线性函数，这样如果输入代表的话，比如说一个五，那么第五个线性函数就会产生最大的输出。 那然后通过足够多的训练实力就可以学习这个模型了，这种准确率呢为百分之八十九。 那再让我们看一看使用深度神经网络能否做的更好一点。我们将使用两个隐藏层，那第一层有三十个神经元，第二层有十个神经元。然后在这里我们将使用 typend h 激活函数，我们也可以使用相同的训练循环。 那我们的深度模型在测试机上的硬度呢？优于百分之九十二，这与简单的劳吉斯这个模型相比是一个很好的改进了。 那通常这些模型需要很长的时间来训练，所以如果我们能够保存他们，这样的话就不用每次来训练他们了。那幸运的是，我们可以使用摘色模块轻松的将模型权重序列化到文件当中。 为了保存呢，我们可以使用勒尔点拍 rames 来收集犬种，将他们粘贴到一个列表当中，并使用 gs 点档将该列表保存到一个文件中， 然后把权重加载回去呢，只是需要多做一点工作，我们只需要使用 js 点漏的从文件中获取权重列表，并通过切片分配来设置模型的权重， 特别是这就意味着我们必须实力化模型，然后加载权重。另一种方法也是保存模型体系结构的一些表示，并使用他来实力化模型。但是他需要更多的代码和更改我们的所有层，所以我们还是使用简单一点的办法。 在加载权重之前呢，我们要检查他们的形状是否与我们要加载到的模型参数相同。要注意这份 将数据存储为文本，这就会使得他变成一种非常低效的表示。在实际的应用程序当中，你可能会使用劈扣来序列化库，他会将内容序列化为更高效的二进制格式。但是在这里呢，我还是保持他的简单性和可读性。 深度学习现在是十分热门的，我们在这里只设计了他的皮毛，因为深入学习包含的知识是非常丰富的，如果大家有兴趣更深入的学习。深入学习有关的知识可以参考相关的数据和网站，那我们这节视频就到这里。 本视频由数据与智能团队出品，欢迎大家关注数据与智能公众号，获取更多精彩内容。

大家好，今天我们讲一下汽车的一个电子器件的一个实验，这个实验的名字我们可以叫做这个，少写这个字啊，耐电瓶电压叫 pot， 那个实验技术要点， 嗯，叫炮的，这个没有给他翻译过来这个单词呢，叫炮的说法不一样啊，就是没有，我目前没有发现一个准确的一个词语，专业词语来表达，这个就是叫炮的呢，从普通意义呢就是， 嗯，有退，退却退学这个意思，实际上这是电瓶电压的呢，其实在这个理解就是退出和降低和 增高在电瓶电压节奏。这个实验的目的是模拟这个电瓶电压呀，在工作过程中他是有充电的一个状态，在充电放电这个过程当中呢，他产生的电压的变化是否会对 汽车上的一个电子元器件造成相关影响？来测这个实验。 嗯，四个的范围呢，就是所有 这些与供电电瓶这个电池直接相连的，或者是通过一个外部的零件再接到电瓶上的这样的器件，原则上都要做 这个实验。嗯，另外一点更加重要的一点就是说，如果从这句话我们本身有矛盾啊，就是 汽车上的所有的电机件原则上都会与电瓶直接或者是间接的相连，因为你车上供电来源于这里，电瓶都有关系的。另外还有一个是与这个 发电机，这是发动机的正常工作之后说给这个发电机充放电，然后发电机将电给用电的系统。 另外一个呢，这个实验还对一些零件，就是说除了是与电瓶相连，另外还一个就是这个零件对那些包含 微处理器、时钟，还有是专用的这个专用芯片的，还有这些 电子元件都需要进行这个实验。 实验的方法呢，实际上我们通过这个 电压图啊，就是电瓶电压这个这做泡的这个曲线图就可以理解，完全理解，可以理解这个实验这个过程， 实验的操作方式呢，我们从这可以看出来到这个阶段是二点一，这个阶段是三点二， 意思呢就是说操作方式再从十四伏电压开始，一直到最低电压是由命，由命这个呢一般在汽车上应该九到十六伏，这个应该是一般设为九伏，这是最低的电瓶电压， 工作的电压应该是九伏。在这个阶段他们的操作的方式是三点二，三点二就是模拟汽车发动机工作正常工作过程当中的这个对电子器件的一个操作的电压电流这个状态， 而在这个电压降至一伏整这个阶段，从最低降到一伏一伏，再升到油灭九伏这个状态过程当中呢，他的操作方式是二点一，二点 一呢就是仅仅就是车上的发电机并不工作的状态，而是只是利用电瓶电压的状态， 就是说他接上，但是并这个时候并不一定说给他。嗯，二点一，二点一的状态，这个我们要看一下二点一的功能状态，实际上他是用的是车上的电瓶，其实这时候呢发电机， 其实发动机并不是因为发动机工作时候产生的这个发电机这个电流或者电压 二点一就是 零件呢，他的电源的供给是指南源于电瓶的电压，而且是发电机并不工作二点一的零件的功能呢，并不激活， 这是串行通信，也不激活零件，一般是以 oppo 状态，这是二点一，这个状态，在这个时间段 到这个优命这个阶段，其实就是以三点二的操作，这是他这个 实验你的操作方式啊。 另外一个要点就是这个监控的状态，这个监控呢是持续监控，持续监控就是在整个这个工作过程当中，对他的这个电流电压，其实是电信零信号都要进行监控， 这个就是这个曲线啊。然后另外呢这里还注意第二点，就是说有两个温度， 一个是最低温度，第一次设置下是将这个地下是这么给，然后呢首先将零件 进行冷静，在不充电的状态下进行冷静，冷静到使这个温度啊， 这个零件的整体的温度是稳定在最低温，这个最低温呢，在汽车呢，是根据零件的电子气件在车身的不同的位置来确定，有不停的最低温度，有的是零下二十度，零下三十度， 然后达到这个最低温度之后就充电 给这个充电，然后是注入这个电瓶电压，这个曲线图 操作呢是按照充电之后操作，是按照这个 a 这个变量， a 以 a 的方式， a 的方式就是以这几个时间点，就是他这里要控制，一个是 t 一时间是零点零一秒， t 二是零十秒， t 三是一秒， 什么意思呢？就是在这段时间里，他这里这个第二个处理表，电池这个叫炮的这个值表是控制了 t t 二 t 三的时间，就说从十四伏降到零点零电到这个九伏用的是零点零一秒， 然后 t 二是从九幅降到一幅的时候，他的时间定的是十秒， 然后从一伏升到九伏，用的是一秒，这个是有时间确定，就是你这个 要程序把它写入这类似成控电源呢，可以把它这个按一个固化的时间定在里面， 但是这里面呢同时有几个提一提二，定了之后，其实这里边一一一二包括一三的时间并没有确定。这个时间呢，一般是怎么来确定呢？ 就说一一二一三这几个电压要稳定， 这个要达到那个足够的时间和操作功能平价，就是允许持续的监控和确定电流的功能。 这几个时间呢时间其实你可以再运行一下，运行一下之后呢可以自己 提一提二是有实验要求的，是明确的时间规定，但是一一一二这些时间呢没有明确规定，但是你可以初步运行一下这个把他的时间也可以确定。这个时间的确定是以什么呢？是以你能够操作功能评价， 以这个来定， 就是你的操作可以检测这个常规的功能，这个时间要要满足这个就可以。另外一个呢，就这个时间中间这个衣服这个占有的时间， 衣服这个要达到最小需要一分钟，他的目的是什么呢？就是让这个零件可以重新设置在这个电压的增压过程当中，他一定要保 保证是至少一分钟， 这是 b 的阶段。 a， 其实在这个低温下呢， a 下来之后利于可以做 b、 c、 d 都要重复一遍。 b、 c、 d 的变化就是 tt 二的时间间隔发发发生了变化，是逐渐在增加，这一步全部完成之后，就是低温下的这个叫泡的时间结束，然后再把时间设置到最大温度，先冷静 啊，调试到最大的温度，然后也是从 abcd 再过一遍。 这个实验的评价标准就是说功能的评价的参数，这里标注了啊，像一一这里边都是 f， sc 就是功能状态餐级别定到 a 的，就是在这个阶段他的功能应该是完全正常 到达到 c 这三个。 c 三个时间段里边什么意思呢？在这三个段里边呢，就是他某些功能可以暂时没有，但是他恢复到九伏的时候，这些功能都要恢复正常，这是对功能的检查。 另外就是在整个这个时间过程中，不要出现一些不应该出现的成果，就是这个 这个电子器件他正常达到的功能应该有不应该出现异常功能，这就是这个实验的检测的一个方法 和要领，我们总结一下要领，主要这个实验呢，应该有两个温度， 然后是有两种功能都能检查，就是达到这个标准有两种操作方式，也是有两种，一个二点一，一个三点二， 还有就是他有四个循环的这个 tt 二的控制时间， abcd 在低温下要走一遍，高温下也要走一遍。好，这个实验其实复杂程度倒不复杂。 好，今天就讲到这里吧。

大家好，今天我们来学习深度学习 deeper learning。 在上一节课，我们介绍了一种防止模型过离合的方法使用叫做权重衰减，或者是也可以称之为 er， 使用正德化技术来进行防止模型的过离合。 而在这一节课我们来介绍另外一种防止模型过滤盒的办法，叫做 job out。 我们先来看实验概要。首先介绍交八二的算法，多层感知机是由单层感知机添加了多个银行称而得到的。 假设输入了个数为四，输入成神经元个数为四，隐含成神经元的个数为五，且隐含成 hi 的表达式 等于 w e 乘以 x e， 也就是它的相当于是一个全连接的计算，然后通再通过一个激活函数的变化就得到了引航层的一个输出。 这里 five 是计划函数，那么 x 就是输入也还是 i 的权重 参数为 w， 偏字参数为 b。 我们当对银行层进行使用叫 power 的时，该层的银行单元就有将以一定的概率来被丢弃。假设我们的概率为 p， 那么 h i 有 p 的概率就会被清理，有一减 p 的概率会除以一减 p 做一个拉伸， 这就是它的一个变化情况，就是 c 随机变量， c 为零和一的概率分别为 p 和 e 减 p。 所以丢弃法 drop out 是我们重新计算隐藏隐藏的单元， 那么丢弃法是不改变其输入的期望值。如对上面的隐含层进行使用 job out， 一种可能的结果就是丢弃掉 h 二和 h 五。 如果丢弃了 hr， hr 和 h 五，那么此时输出层的计算就不依赖于 h 二和 h 五，那么反向传播也就 h 二和 h 五的梯度就会令他的权重就不会发生改变。 而在训练的过程中，我们神经元的丢弃是随机的，所以他就通过这种方式，从而使训练的模型起到了一种政治化的作用，从而应对了过敏核的现象。 我们的实验目标，在本实验中，我们将根据 java alt 定义，通过 python 来实现 java alt。 之后我们再通过 tense pro 框架来做相同的测试，首先导入我们所需要的库，导入 tense flow， 导入让拍， 然后定义 job out 函数。既然 job out 它是以一定的概率来进行丢弃元素的，所以我们给定一个 x， 给定一个 job out 的概率 当 cable， cable 等于一减交保的，那么当 cable 等于零的时候，说明我们丢弃的概率为百分之一百，就所有的元素，所有的神经元全部都被丢弃，而实际上我们并不是的，所以根据我们这个概率，交保 out 概率当小于我们交保 out 的时候，给定一个水气值， 那么当这个随机值小于 job out 的时候，我们的程序员就被丢弃。我们用几个例子来测试一下 job out 的函数， 假设我们分别设交，把二的概率为零，零点五和一，如果设置为零， 那么就所有的神经元都被保留。设置为零点五，那么可能有一部分的有零点五的概率的神经元就被丢弃，设置为零，而 如果神经元的 job out 概率为一点零，那么所有的神经元都变成了零。 让我们来定义模型参数，首先对我们的权重和片子进行一个初次化，利用 tension 的变量来设置它的初次化，然后给定了一些超参数， 利用拍摄来定义模型。 我们来看一下具体的实现过程。首先给定了第一个就要把 alt 的概率是零点二，第二个就要把 alt 概率为零点五， 那么第一个函数 let 第一个参数为我们的输入，然后第二个参数是一个可选的，他是否处于训练阶段。 对 x 进行一个 recipe 的变换，把它变成一个符合我们 test pro 输入的一个形式，然后经过一个软入激活函数的变换， 首先计算 w 请 x 加 b， 然后再经过我们计划函数的变换。如果是在训练阶段，只有在训练模型的时候我们才使用丢弃法，所以如果将 it 确定是夺求，那么此时就要应用我们的交报的，为了防止过离合。 然后再利用我们的计划函数对 h 一乘以 w 二加 b 二的结果进行一个非线性的变换。然后在如果在训练阶段，就再次进行一个计划跑的计算， 最后利用 soft max 记号函数得到每个模型的一个概率。然后是对训练和测试模型，首先定义准确率的函数，准确率就是我们根据预测得到的结果和我们实际结果相同，然后计算一个百分比， 然后定义模型，训练函数 t， m， p， l 就是我们模型的训练函数。 然后首先给定一些对于每一步来说，首先给定一些初始化的值，比如我们训练级的一个损失值，初始化为零， 那么训练级的准确率也为零， n 也为零。然后利用我们 testflow 的自动求导的功能来计算 我们的预测值，然后根据预测值和实际值计算我们的损失值，损失值来求梯度，如果区呢？没有传入到优化系统，那么我们的梯度值就直接进行复制，如果有的话，那么此时利用他进行更新， 利用我们的梯度用优化器来进行一个更新。然后我们再统计一下我们训练级的一个准确率以及测试级的一个准确率。 所有的所有的函数定义好之后，我们再来进行模型的训练。首先加载我们所需要的数据器，直接加载 transfer 内置的 aim list 数据几，当然由于如果网络不稳定，我们可以将它下载到本地，再使用 note 来对它进行一个加载，然后调用函数进行模型的训练。首先是 给定我们的损失损失函数，计算损失值，然后调用模型来测试一下每一个阶段的 损失值准确率以及在测试机上的准确率。当进行五次迭代之后，损失值变成零点零一六二，在训练机上的准确率是百分之八十一点五， 在测试机上本准确率为百分之八十八点一。 然后下面我 我们再使用 transfer 来搭建一个网络，搭建同样的网络，利用 transfer 就非常的简单， 接一个全连接层，激活函数采用的是 reno 激活函数，然后指再接一个 job out 成概率是零点二，然后再接一个全连接成激活函数也是 reno， job out 成它的概率是零点五。最后再接一个 全连接成激活函数，采用的是 soft max。 然后模型的编译和训练得到最后的结果， 同样在 tensper 框架中实现 job out， 测试机的准确率与训练与训练机的准确率依然匹配，并没有出现前面是 中偏离很严重的一个情况，那么这就有效的缓解了过离合的一个情况， 谢谢大家。

hi， 大家好，我是金刚老爹你的日常英语教练。今天我们来介绍 drop out 这个片语动词，并且了解它的意思跟用法。 drop out 是说要离开一个团体或者放弃什么事情，好比说退选一门课程，或者是退出一个选举，或者是根本从一个学校退学了，也可以是退出一个比赛，一个活动等等。 drop out 就像是很多其他的片语动词一样，在口语中是很生动很地道的表达方式，但是呢，其实都不够正式。这个要注意的，我们要退出一个活动或者一个团体，通常都是 因为压力太大，或者是缺乏兴趣，或者是时间无法安排，有更重要的事情要做。比如说 i dropped out of college to pursue my entrepreneurial dreams 或者是 she dropped out of the dance class because it no longer sparked joy 这个就是今天的片语动词 drop out， 我是金刚老爹，我们下回见， bye bye。

今天讲一讲单词 drop， 它的基本意思是落下，放下。 我们看到电视里命令别人的时候就是这样说的， drop it drop your weapon。 放下你的武器 drop your weapon。 因为下雨的时候就是水珠，一滴滴从天上落下。还可以作为名词表示一滴。形容液体的时候就可以这样说， all we need is a hair， a cell a drop of blood。 我们需要的只是一根头发，一个细胞，一滴血。 all we need is a hair， a cell a drop of blood。 再教大家一个单词， drop 是放下， out 是外面合在一起 drop out。 上学的时候放下自己的东西跑到学校外面的人，也就是辍学者。 我们对不好好学习的同学就可以这样说， you want to be a high school drop out。 你想在高中就成为辍学者吗？ you want to be a high school dropout。 大家学会了吗？学会了！

drop out of it means to stop participating or being involved in something or abandon a course of study let's watch some examples also since your captains have been sick we have to drop out of this weekend's competition so my dad had to drop out of school after a year， i dropped out of school to help mammal with the bill so i dropped out you dropped out of college upper row straight a's on a roll， but seven months before graduation you drop out。