OPLS-DA过拟合怎么办

哈喽，大家好，那今天呢，我们来分享一道呃，我们在面试过程中常见的一道问题，那这也是一个非常基础的一个问题，那在我们做项目啊，或者说在我们学习过程中也是常见的一个问题啊。 首先我们来看一下到底什么是过泥盒，什么是欠泥盒呢？那首先过泥盒呢，就是指通常指我们的训练误差和测试误差之间的差距太大， 那也就是说呢，我们在模型训练的过程中呢，呃，我们的在训练级上的礼盒啊，效果是很好的，但是在我们的测试级上呢，其实效果是很差的，相当于说，呃，我们的模型过于学习了我们这个训练级的数据 啊，但是呢，对于我们测试局的数据表现却不是很好。那欠你一盒呢？欠你一盒呢，通常是指我们在这个模型呢，在训练的过程中啊，不仅在我们的训练集上呃这个礼盒的不够好，而且在我们的测试集上礼盒的也不好，就是他完全没有学习到我们的这个呃数据的信息啊。那这 就是我们的一个倩女和啊，那通常遇到这两种问题呢？我们啊都是从通过这个训练集和这个呃测试集的这样一个效果来看的， 那我们遇到这种问题以后，我们如何来解决呢？那通常对于我们的欠你和，对吧？我们通常是因为呃这个学习的不够好，通常我们可以通过呃增加我们这个网络的复杂度啊，包括增加我们的这个数据，对吧？可能我们的数据太少了，学学，学不到有效信息啊，也可能是我们的网络模型太简单了啊， 通过这两种方式来解决我们的这个呃欠礼盒，那对于过礼盒问题呢，我们可以从三个方面啊，第一个呢就是说从数据的角度 啊，就是我们可以通过，呃，不论说是数据增强啊，还是以其他的一种方式，我们可以呃通过标注，对吧？获取和使用更多的数据，那从模型的角度呢，我们可以尝试降低我们模型的复杂度，对吧？我们，呃，比如说神经网络，我们可以把成熟调的更浅一点，或者把我们的维度 啊设置的更小一点，那另外呢也可以通过一些政策化的方式，对吧？来，呃防止我们的一个过敏盒啊，常见的呢？呃，在深度形容，最常见的就是我们捉泡的的一个政策化了，那通过通常呢我们也可以设置这个早停啊，也就是防止我们的这个呃在这个训练集上啊，通过 啊，我们在这个训练集上啊，效果提升，但是测试上效果却下降，对吧？我们可以通过早晨的方式，那最后一种方式就是通常会使我们模型融合的方式，我们融融合多个模型啊，出来的一个结果来使得我们的这个泛化性能更好啊，那就是我们从这个数据模型和模型融合三个角度啊，来解决过你河的这样一个问题。

我们回到这三幅图中，我们重点来看一下啊这里的 c， 那 c 呢？我们最终学出了类似于这样的一个角色边界，所以角色边界本身它指的就是因为这个问题是我有两种不同的颜色，所以我们最终 通过一些模型的手段，最后想得出来的无非就是这个角色边界，就是我怎么去用什么方式来去把这两波点做一个划分。所以呢，从 图这个 c 来讲，那他在我这个数据上的准确率是最高的，因为你可以看到他没有犯任何的错误，所以他把所有的点分割的非常的开， 那这种方式一定是特别好的吗？其实不一定，因为我们的目的不是说我要在这里面得到最好的准确率，而是我要在 把这个模型放到线上环境的时候，我要得到最好的准确率，这才是我们最终的目的。所以当我得到这样的一个模型的时候，会发生什么样的一个情况？那假如，呃 我在线上环境里面可能有一些数据，那可能这个数据呢？这是一个蓝色的点，对吧？那这个这些是蓝色的点， 蓝色的点，但是由于你可以看到咱们的这个角色边界，我们得到的是这样的，所以当我把这个模型放到线上环境的时候，那这些蓝色的点显然是被我们分类错误的。而且从这个图里面可以看到，实际上其实这些点 更像是属于咱们这个蓝色的这个区域里的。只不过我们当时去训练模型的时候，因为可能这里面有这个黄色的点，所以 我们的角色边界学出来的可能是这样的，如果没有黄色的点，那咱们的角色边界可能是类似于这样的，所以啊，这种角色边界是啊有利于咱们线上的预测， 但现在的角色边界就啊不是我们特别想要的，比如说我这边可能再画一个蓝色的点，那在线上环境下，那根据这个角色边界，那这个点会被分类成我们黄色的这个部分。但实际上呢，其实从大概的趋势来讲，那上半部分 其实是一个偏向于蓝色的这个部分，所以这个就是模型的过敏的现象，他导致的一些具体的问题， 所以你可以认为这样的绝对边界非常的敏感，然后这种敏感性其实会导致咱们在原本的样本上稍微加一些，可能偏一量，那这个样本会被 分类错误，但实际上他可能不是我们想要的结果。所以啊，对于这个问题来讲，其实最好的一个啊，决策边界呢，可能是类似于第二种，虽然他在 这个角色边界的前提条件下，他其实犯了几个错误，但是没有关系，因为他实际上是啊刻画了咱们这个 这个这个分类问题的一个整体的趋势，所以上半部分呢啊都是属于绿色的点，然后呢下半部分其实属于黄色的点，这是我们符合逻辑的。但是咱们第一个 a 呢啊，因为他犯了很多的错误， 而且啊相比 b 的话可能还是不如 b， 所以我们最终啊，可以得出啊，这个 b 这个角色边界可能是对于在这个三字当中是最好的。然后呢，这个因为是过度的拟合了， 所以啊，虽然我们在训练数据上他表现的特别好，就是百分之百就看起来非常的完美，但是实际上你把它放在线上环境的时候，你会发现啊，他的效果可能会非常的糟糕。

那下面我们来看一下如何避免过泥和现象，或者是我们采用什么样的方式可以去减轻模型的过泥盒。那这里取了三个不同方面的一些方法论。那首先数据量的增加， 那我们回顾一下，为什么会出现过泥和现象？因为过泥和现象的可能一种原因是模型太复杂了，可能模型的参数特别多，那我可能有具有一个有限的数数据，但是呢，我的模型参数可能是特别多的，或者我的模型特别复杂，所以可能会出现过泥和现象。 所以怎么去解决这个问题呢？比如说在模型固定的情况下，那另外一方面，我可以增加我的数据量，那数据量增加了，那他其实可以起到啊，这个减轻过腻和现象的啊，这样的一个一个作用。 那第二呢，使用更简单的模型，那这个其实我们啊比较容易理解，因为随着模型的复杂度越来越高，那他会变得啊，这个会产生过腻和现象。所以啊，反过来想，那我们可以让模型变得更加简单一点。 对，如果我们之前使用过，比如说十层的神经网络，那我们接下来可以考虑我们要不要去换成两层或者三层的神经网络，使得咱们可以减轻过腻和现象。 那第三个呢，就是加入正则相，其实正则相本身我们之前谈论过，因为加入正则相之后呢，他会使得我的参数变得更小， 所以参数变得更小就意味着什么呢？即便我的数据上做了一些，加了一些，造成或者我的数据改变了，但实际上对我的结果 可能产生不了太大的影响，但相反，当我的参数变得特别大的时候，那一小小的改动会使得我最终的结果会产生比较大的影响。那这个呢？其实也是过滤盒的一个非常重要的一个因素， 或者他的一个现象。所以呢，从这个角度来看，我们可以为了防止过年现象可以加入一些政策项，那这样我们可以得到的模型是比较简单的模型，而不是那种复杂的模型。

新兴新科技过你和解决办法神经网络出现过你和有如下解决思路一、 drop out 在训练的时候，让一部分神经元输入输出中间的隐藏层随机失活，增加网络吸输性，有利于特征选择， 防止过你和。 drop out 主要用在计算机视觉领域，因为数据量不够，容易过你和需要 drop out。 二、 batch 标准化不仅对输入层的输入数据进行标准化，减均值，除标准差，还对隐藏层的输入数据进行标准化，也就是每层都做标准化。 防止过你和。三、 l 一、政则化在训练的时候对损失函数做一些限制，在权重参数更新时使很多全职参数等于零，增加网络稀疏性，有利于特征提取，防止 过你和。 4l2、 政策化在训练的时候对损失函数做一些限制，在权重参数更新时， 使权重参数绝对值不断减小。防止过你和。 5、 early scopping 当进行模型训练的时候，往往可能错过模型的最佳临界点，即当达到最大精度的时候再进行训练，测试级的精度会下降， 这时候就会出现过你和。如果能在其临界点处提前终止训练，就能得到表达力较强的模型，从而避免过你和。这种方法就叫 early stopping。 但是这种方法多依靠人的经验和感觉去判断，因为无法准确的预测后面还有没有最佳临界职。新兴新科技是工业精准定位解决方案的探路者和领头羊，全域精准定位产品加 ai， 为客户打造可视化， 把智能大数据分析服务勇气胜于智慧。为来证明，现在我们一直在行动，技术为业务服务，一切围绕客户需求而奋斗，是新兴新永恒的追求。新兴新出品，必属佳品。

哎，空空降啊，怎么防止过你河呀？你看昨天和你说的那个例子，为啥连你都看出来不妥， 就一个数据点啊，太明显了。那不就得了吗，那是不是数据点太少就文艺过你了？对哦，那一个我知道是少了，但数据也是成千上万的，我怎么知道是不是少。那很简单呀，你为啥觉得一个明显少， 那今天发生的谁也不敢保证明天也能发生啊。对，所以那今天以前一堆树上找的模型，最关键是什么时候用？过去还是未来？ 那必然是未来啊，谁关心过去啊，又不能回去买买股票啊。对啊，所以你把你在一堆数据上建的模型，去另一堆数据上看看好不好用不就好了吗？啊？这么简单吗？那道理嘛，那说出来大家都懂， 那关键是实操呀。你呀，刚教会就上墙了。不敢不敢，空空降我可尊重我教知识的人了，且不说我这点资质怎么能学到像空空降这样， 就算到了，我也是记恩情的，过河拆桥的事万万不能做，伤人品迟早出问题了。哎呦，这么激动啦，知道了，你是有良心的，关注我，每天带你学习一个技能小知识。

接下来我们进入第八节关于这个倩女和过女孩的学习，在这一节呢，我们的学习目标首先要求大家掌握倩女和过女孩的概念，还要掌握这个倩女和过女孩产生的原因，以及大家需要知道什么是正则化和正则化的一个分类。 关于倩女和过女孩，咱们在前面已经跟大家讲过，然后通过当时一个天鹅的图像进行一个描述，那这样的话我们就真正的看一下倩女和过女孩在我们训练级测试集中的一个整体表现。 首先我们说过礼盒的，他这边是我们在训练数据上能够获得比假设更好的一个礼盒，但是在我的测试数据上呢，就不能到一个很好的礼盒， 也就是他这边的话是在我的训练级上表现好，测试级上表现不好，他这边对呢就是模型太复杂了。然后千里河呢，他这边是 不管我在训练计划测试键都表现的不好，此时的话其实就是模型太简单了。那通过下面这张图我们就可以看到，这边的话，我们有一个叫测试误差，一个叫训练误差，我们肯定是希望误差越选越好。 关于这里面我们看到随着模型复杂度增大，然后这里边的话他的训练误差再降低，但是测试误差再增大。 而我们在最开始这边的话，大家可以发现这里面这个误差呢，不管是我的测试误差还是训练误差都是很大的，我们希望达到哪种效果呢？就是达到在中间大概这个位置的时候，效果是比较 ok 的，这是关于欠你和过你或这块概念的一个掌握， 然后大家在这里边一定要知道是过泥河在我的训练级上表现好，测试级上表现不好，而倩女河是不管在训练级还是测试级上都表现不好。那么说到这块，接下来我们看一下 关于欠离合、过离合整体的原因和解决方案。首先就说关于这个欠离合，我们说欠离合呢，就是由于我这边学习到的数据特征呢太少了， 那相应的解决方案干嘛呢？就是我添加一些其他特征，或者添加多项数特征。第一个添加其他特征怎么理解呢？就是我们比如说啊，要判断一个对象是不是人类，那这里边我们原来只通过眼睛、鼻子、嘴巴，那我这里边给大家增加耳朵啊、头发啊等这些内容， 那甚至还可以添加一下组合的，比如说眼睛和鼻子的组合，眼睛和嘴巴的组合，这就关于其家其他特征项。那除了这个重呢，还有些添加多项式特征，这个怎么理解呢？这块的话就是要添加一下我们更高次项，比如原来是一次的添加二次、三次， 这是关于倩女和解决办法。那收到这个再看下一个过女和，过女和这边的原因呢？就是由于他这边原始的特征太多，我们里边 存在一些嘈杂特征，此时的话我们把这些嘈杂数据也给他学习进去了。那现在解决方案是什么呢？对应四个，第一个重新把这些数据呢进行一个清洗，也就是说让这个数据呢变得更加规范。第二，增大我这个数据的训练量，原来我这边只有一万个，那我这边更加增加成一百万。 然后第三个进行正则化。关于正则化是什么？咱们会在等会讲到。第四个是减少特征维度，防止为灾难，这里边也是一种方案，这个呢也会在后面有个拓展知识，稍后给大家说到。那这样的话我们就看一下关于正则化是一个什么东西呢？ 正则化呢？这边我们其实是通过咱们给大家限制高次相来防止我的模型过离合。那在限制这个高次相的过程中，其实他有几种方案， 然后我们可以看到，比如说在这里边下面有三幅图像，有些点进行下一个线性礼盒。在线性礼盒里面，首先第一个他这边是通过一条斜线来进行礼盒的，这里面很明显是进行一个线礼盒了，那除了这个再看一下通过这个对勾来礼盒，这里边的话正好他这边是，哎，正正好。 那还有一种就是他这边过泥盒，咱们只要有点就给他发生一个波动，有点就波动很便这个是过泥盒了。 那通过这个数据观察，我们说这里边这是倩女和倩女和怎么办呢？再进行学习呗，学习的时候多增加了一次，比如说多增加高次项。 然后过年和怎么办呢？过年我们通过这边直观理解他这边，比如说把这个 x 三 x 的这个四大三、四大四系数去除零，是不是就直接可以变成前面这个式子，也就给他解决了过年和呢？ 关于我们前面说把这个四大三、四大四变成零，是不是有点太绝对了呢？其实在进行正则化里面还有一种方案，就是把这个四大三，四大四呢变成一个特别特别小的值，因为他这边的话也有时候对我有一点点影响，或者说有一点点作用，但并不是完全没作用，如果你直接把这个去掉的话，是不是有点太武断了呢？ 那基于这里边整体一个数据变化，其实下面里边的话就对了，给大家有两种方案，分别对你是 l 一证的话， l 二证的话， 那我们看一下关于政策化的一个类别， l e 政策化， l 政策化直观理解，这个 l e 政策化呢，是直接把这个四大三四大四变成零，而 l 的话呢，它还稍微柔和一点，考虑到这个 x 三 x 四呢，还是对我有些影响的，所以把它呢变成一个特别特别小的值，这是关于 l e l 二的一个 区别。那我看一下，说 l 这次话呢，他是可以使得其中一些 w 都很小，都接近零，然后消弱这个特征的影响。他的优点是我们越想参数的说明这个模型越简单，然后越简单，这个模型则不是越不容易产生这个过敏和的一个现象。 然后他的一个代表算法呢，就是这个领回归，睿智回归，然后 ra 证的话呢，他是可以使得其中一些 w 的值呢直接为零，然后删除这个特征的影响，然后他这边代言表的是 let's 回归。 这是关于咱们给大家讲的这个正则化整体一个内容。让我们在这块里面大家需要知道的是，我们什么是正则化呢？其实就是对呢，给些高字相加一些限制。那正则化对呢，一个分类两种， l 一 l 二，而 l 一正则化的话，我们这里边是直接把高思想变成零， l 二正则化的话，他这边是把高 这个系数变得特别特别小。那么这个说完，咱刚才还有一个东西叫维灾难，关于这个维灾难的话，我们是给大家放了一个拓展阅读，我点进去给大家说一下 尾针在这边的话，其实就是我们随着这个尾数的增加，也就是特征增加，他这边的话其实刚开始对我而言是有利的，但是随着越来越多，其实到后面的话就不利了。 那比如说这里边的话，就像下面这个图像，比如在异味的时候呢，进行一个猫狗分类，分不开，然后 二维的时候，他这边分的也不是很明显，那到了三维的时候呢，可以通过一个平面就分开，但是你随着越来越多增加，比如四维、五维，然后这里边的话，其他这边到了后面的话会给他发成这么一个球，像就是 肥度爆炸的一个情况，此时的话反而效果又不好了，这是关于维灾难这块的一个内容。那么说完这块我们再回到咱们刚 才给大家讲的关于倩女和过女和整体内容，我们刚才呢说给大家讲了下关于整体的一些概念的介绍。首先给大家说一下倩女和倩女和呢是我在训练集上表现不好，测试集上也不好，解决方案呢，就是我们继续学习，然后一添加其他特征，二添加多项式特征。 然后又给大家讲一下过泥河，咱们说过泥河这边的话是在训练集上表现好，测试集上表现不好，解决方案四种，重新经营数据。二，增大数据的训练量。然后三正则化。四，减少特征维度，也就是我这边防止被灾难。 然后关于镇子化这边也要求大家掌握，他这边的话是通过限制我的高次项来进行防止过滤和两种方案， l 一 l 二 l 一政策化的话，他这边是直接把高字项前面的技术变为零。 l 的话，他这边的话是把高字项前面的技术变成一个特别小的值 代表的我们 l 一来次回归， r 领回归，睿智回归。这是咱们给大家在第八节讲到所有内容。

过拟和 overfitting 是机器学习中一种常见的问题。他表示，当训练的模型过于复杂，并且会在训练级上表现出很好的拟合度，但在测试级上表现却很差。过拟和问题的根源在于模型过于复杂， 并且过多的拟合了训练数据中的噪声与随机性。举个例子，如果我们训练一个多项式模型去处理一组数据，当我们的模型的接数太高时， 模型会挽留训练样本中的特定偏差，这会导致模型在新数据中表现很糟糕。避免过拟核可以采取以下策略，一、增加训练数据 在机器学习中，更多的训练数据通常意味着更好的模型性能，因为更多的数据有助 于减少模型中的造成成分，提高模型的放化性能，从而降低过离合的风险。二、减少模型的复杂度过于复杂的模型更容易过度离合。 因此，我们可以采取一些减少模型复杂度的方法，例如减少模型的参数数量正则化，如 l 一、 l 二特征选择等。 这些方法有助于去除模型中的噪声和不必要信息，提高预测的准确性。三、使用抓炮的技术 抓炮的技术是一种在深度学习中通过随机扔掉一些神经元来优化模型，用于防止过泥盒。具体而言，抓炮的技术通过概率分布来随机选择一些神经元，并将他们的权重设置为零。 这样模型在训练过程中会尝试在缺失的神经元上进行预测，从而降低模型的过拟核。以上三种方法都可以有效的降低机器学习中的过拟核现象， 除此之外，还有其他方法，如 ali stopping 等，具体应该根据具体任务场景来确定。

哈喽，大家好，今天啊，我想来跟大家聊一聊一个在机器学习中非常常见的问题啊，那就是过，你和 包括什么是过泥盒，为什么他会发生，以及他要如何应对他。首先啊，让我们来看看什么是过泥盒。过泥盒是指机器学习模型在训练数据上表现的非常好， 但是在未曾见过的测试数据上却表现不佳这种问题。他就像是一个学生在做模拟考试的时候，他能考满分，但是在真正的考试中却表现的非常糟糕一样的，我们把它称这位过分礼盒，那接下来咱们来看看过礼盒的特点。 过拟核的模型对训练数据中的噪声和细节过于敏感了，导致在位置数据上表现的不佳。那为什么会发生过拟核呢？通常过拟核发生在模型复杂度过高时，这就好比是 在做数学提示，我们使用了太多的公式和计算，反而使问题变得更加复杂了。模型会过度你和训练数据中的各种细节和噪声，导致在新数据上面泛化能力下降。 接下来我们再来看看如何应对过离合，那有几种方法可以帮助我们防止过离合。首先可以使用更多的训练数据，这就好比在学习一门语言的时候多练习会使你更好的掌握它。 其次呢，是降低模型的复杂度，就像是在解决问题时啊，采用简单的方法通常会更有效，还可以添加正字画像。那这是一种控制模型复杂度的方法。 最后啊，是提前停止训练，这意味着在模型开始过泥河之前停止训练，以避免过泥河。总之啊，过泥河是机械学习中需要解决的 常见问题，但是通过正确的模型选择和训练策略，我们可以避免它就像在做蛋糕一样，适当的平衡复杂性和简单性就可以帮助我们制作出美味的蛋糕，那而适当的平衡模型的复杂度就可以帮助我们去构建出更好的机器学习模型。

被面试官问到阿栋平均如何防止过拟核，该如何回答呢？可以从三个方面来回答。首先，从权重的角度解释一下造成过拟核的原因，权重在最佳位置处没有停止，而是继续往前更新。 应该设计一种方法，自动把过度更新的权重往后拽一拽。第二，解释一下滑动平均的原理。设计一个影子变量作为模型权重的滑动平均值，影子变量的更新速度要落后权重变量，起到往后拽一拽的效果。 滑动因子可以控制影子变量变化的速度，训练前期变化快，训练后期变化慢。第三，说一下滑动平均的效果， 可以平滑模型参数的波动，使其更稳定，提高模型性能，防止过你和喜欢的小伙伴赶紧点赞收藏，留着面试用吧！