拓端 take that 语言进行支持项链击回归 s v r 和网格搜索超参数优化原文链接, tik that c m 二三三零五在这篇文章中,我将展示如何使用 r 语言来进行支持项链回归 s v er。 我们将首先做一个简单的线性回归,然后转向支持向量回归,这样你就可以看到两者在相同数据下的表现。一个简单的数据级。首先,我们将使用这个简单的数据级。正如你所看到的,在我们的两个变量 x 和 aa 之间似乎存在某种关系。 看起来我们可以你合出一条在每个点附近通过的直线。我们用 r 语言来做吧。第一步,在 r 中进行简单的线性回归。下面是 c c 个 v 格式的相同 数据,我把它保存在 regression ccv 文件中。我们现在可以用 r 来显示数据,并你何直线。 1。 从 cc v 文件中加在数据 2 they had direct read。 把你自己的文件夹放在这里。 then let it read cecu past data directory data c c sub hit or true 四、绘制数据五 plug date p t 十六六、创建一个线性回归模型 7 model makes a k 八、添加你和线九 abline model 上面的代码显示以下图表。第二步,我们的回归效果怎么样?为了能够比较线性回归和支持向量回归,我们首先需要一种方法来衡量它的效果。为了做到这一点,我们改变一下代码,使模型做出 每一个预测。可视化一,对每个 x 做一个预测二、 bread product model data 三、显示预测结果四、 poins x red。 产生了以下图表。对于每个数据点, c 模型都会做出预测意义在图上显示为一个红色的十字。与之前的图表唯一不同的是,这些点没有相互连接。为了衡量我们的模型效果, 我们计算他的误差有多大。我们可以将每个亿值与相关的预测值一亿进行比较,看看他们之间有多大的差异。请注意,表达是一亿是误差。如果我们做出一个完美的预测,一亿将等于 a 误差为零。 如果我们对每个数据点都这样做,并将误差相加,我们将得到误差之和。如果我们取平均值, 我们将得到平均平方误差 ms。 在机器学习中,衡量误差的一个常见方法是使用军方根误差 mc, 所以我们将使用它来代替。为了计算 rmc, 我们取其平方根,我们得到 rsi。 使用 r, 我们可以得到以下代码来计算 rmc, 一、 arms a function arrow 二,三, thirteen err 四、我们现在知道我们的线性回归模型的 rsa 是五七十。让我们尝试用 svr 来改善它吧。第三步,支持向量回归。用 r 创建一个 svr 模型。 下面是用支持项链回归进行预测的代码。如你所见,他看起来很像线性回归的代码。请注意,我们调用了 数,而不是 s。 这是因为这个函数也可以用来用支持项链机进行分类。如果该函数检测到数据是分类的。如果变量是 r 中的一个因子,他将自动选择 excel am 代码。画出了下面的图。这一次的预测结果更接近于真实的数值。让我们计算一下支持向量回归模型的 lmc。 一、 这次 swarmolder residuous 与 detail productivity 不一样。二,所以我们这样计算误差。三、 swear production earmcee 正如预期的那样, rsa 更好了,现在是三十五,而之前是五七十。但我们能做的更好吗?第四步,调整你的支持向量回归模型。为了提高支持向量回归的性能,我们将需要为模型选择最 加参数。在我们之前的例子中,我们进行了回归。我们没有为设置任何值,但他的默认值是零一。 还有一个成本参数,我们可以改变它,以避免过度。你和选择这些参数的过程被称为超参数优化或模型选择。标准的方法是进行网格搜索。这意味着我们将为和成本的不同组合训练大量的模型,并选择最好的一个。一, 进行网格搜索。二、 tongue result, ranges list up selling six 0 101, cost 两百二十九。三、绘制掉餐图。四, lot reset。 在上面的代码中有两个重要的点,我们使用 tone 方法训练模型 00102 a 和 cost 二十二,二十三,二十四,二十九。这一位 背着他将训练八十八个模型,这可能需要很长一段时间。 tone resort 返回 ms, 别忘了在与我们之前的模型进行比较之前,将其转换为 rse。 最后一行绘制了网格搜索的结果。在这张图上,我们可以看到区域颜色越深,我们的模型就越好,因为 lmce 在深色区域更接近于零。这 这意味着我们可以在更窄的范围内尝试另一个网格搜索。我们将尝试在零和零二之间的值。目前看来,成本值并没有产生影响,所以我们将保持原样,看看是否有变化。一、 range list app sell a sixth 002001 cost 229 我们用这一小段代码训练了不同的 168 模型。当我们放大暗区 玉石,我们可以看到有几个教案的斑块。从图中可以看出, c 在两百到三百之间,再零零八到零零九之间的模型误差较小。希望对我们来说,我们不必用眼睛去选择最好的模型,而让我们非常容易的得到他,并 用来进行预测。一,这个值在你的电脑上可能是不同的。二,因为掉餐方法会随机调整数据。三、 ten model arms armsy ever 我们再次提高了支持向量回归模型的 rsl e。 我们可以把我们的两个模型都可视化。在下图中,第一个 sv 模型是红色的,而调整后的 svr 模型是蓝色的。我希望你喜欢这个关于 l 支持向量回归的介绍,你可以查看原文,得到本教程的原代码。
粉丝1209获赞6137


什么是支持项链机? svm? 我们将从简单的理解开始。假设我们有两个标签类的图,如下图所示。 你能决定分个线是什么吗?你可能想出了这个这条线将两个类完全分开,这就是 svm 本质上所做的简单的类分离。 现在数据是这样的,在这里,我们没有一条简单的线来分隔这两个类。所以我们将扩展我们的维度,并沿 c 轴引入一个新维度。 我们现在可以将这两个类分开。这正是 svm 所做的。他试图找到分隔这两 个类的线或在多位空间中的超平面,然后根据要预测的类别,根据他是位于超平面的正面还是负面,对新点进行分类。在继续之前,你应该了解支持项链机的一些重要参数 和帮助我们在更高维空间中找到超平面,而不会增加计算成本。通常,如果数据的维度增加,计算成本会增加。 当我们无法在给定维度中找到分离超平面,并且需要在更高维度中移动时,需要增加维度。超平面基本上是支持项链机中两个数据类之间的分格线, 但在支持项链回归中,这条线将用于预测连续输出决策边界可以被认为是一条分界线,其一侧是正力,另一侧是复利。在这条 线上,这些例子可以分为正面或负面。支持向量机的相同概念也将应用于支持向量回归。支持向量回归使用与 svm 相同的原理,但用于回归问题。让我们花几分钟时间了解 svr 背后的想法。 回归的问题是在训练样板的基础上找到一个近似映射从输入到实数的函数。 因此,现在让我们深入了解 svr 的实际工作原理,将这两条绿线视为决策边界,将蓝线视为超平面。 当我们继续使用 svr 时,我们的目标是基本上考虑决策边界线内的点。我们的最佳离合线是具有最大点数的超平面。我们首先要了解的是什么是决策边界。将这些线视为 距超平面的任何距离,例如 a。 因此,这些是我们在距超平面加 a 和减 a 距离处绘制的线。文中的这个 a 基本上被称为 x long。 假设超平面的方程入下 y 等于 w, x 加 b, 则决策边界方程变为 wx 加 b 等于正 awx 加 b 等于负 a。 因此,任何满足我们的 svr 的超平面都应该满足 y 减 w, x 大 b。 在负 a 和正 a 之间。我们的主要目标是在距原始超平面 a 距离处确定决策边界,以便最接近超平面的数据点或支持项链位于该边界线内。因此,我们将只选取那些在决策边界内且错误 率最低的点,或者在工差范围内的点。这给了我们一个更好的你和模型。接下来,我们将展示如何使用二语言来进行支持项链回归。 我们将首先做一个简单的线性回归,然后转向支持向量回归,这样你就可以看到两者在相同数据下的表现。首先,我们将使用这个简单的数据集。 正如你所看到的,在我们的两个变量 x 和 y 之间似乎存在某种关系。看起来我们可以你合出一条在每个点附近通过的实线。 第一步,在 r 中进行简单的线性回归。我们现在可以用 r 来显示数据,并拟和直线上面的代码,显示一下图表。 第二步,我们的回归消 效果怎么样?为了能够比较线性回归和支持向量回归,我们首先需要一种方法来衡量他的效果。为了做到这一点,我们改变一下代码,使模型做出每一个预测可视化产生了一下图表。 对于每个数据点, x 模型都会做出预测。 y 在图上显示为一个红色的十字。与之前的图表唯一不同的是,这些点没有相互连接。 为了衡量我们的模型效果,我们计算他的误差有多大。在机器学习中,衡量误差的一个常见方法是使用军方跟误差 rmse。 我们现在知道我们的线性回归模型的 rms e 是五点七。让我们尝试用知识向量回归来改善它吧。 第三步,知识项链回归。幼儿创建一个知识项链回归模型。代码画出了下面的图。这一次的预测结果更接近于真实的数值。 让我们计算一下知识项链回归模型的军方跟误差。正如预期的那样,军方跟误差更好了。现在是三点一五,而之前是五点七, 但我们能做的更好吗?第四步,调整你的支持项链回归模型。为了提高支持项链回归的性能,我们将需要为模型选择最佳参数。在我们之前的例子中,没有为艾普西龙设置任何值,但他的默认值是零零一。 还有一个成本参数,我们可以改变他以避免过度。你和选择这些参数的过程被称为超参数优化或 模型选择。标准的方法是进行网格搜索,这意味着我们将为艾普西龙和成本的不同组合训练大量的模型,并选择最好的一个。我们使用 tong 方法训练模型。艾普西龙在零到一之间, cost 位二的两次方到二的九次方之间,这意味着他将训练八十八个模型。最后绘制了网格搜索的结果。 在这张图上,我们可以看到区域颜色越深,我们的模型就越好,因为 rmse 在深色区域更接近于零。 这意味着我们可以在更窄的范围内尝试另一个网格搜索。我们将尝试在零和零点二之间的爱普希隆值。目前看来,成本值并没有产生影响,所以我们将保持鸳鸯看看是否有变化。我们用 用这一小段代码训练了不同的一百六十八个模型。当我们放大暗区域时,我们可以看到有几个较暗的斑块。从图中可以看出, c 在二百到三百之间,埃普西龙在零点零八到零点零九之间的模型误差较小。 希望对我们来说,我们不必用眼睛去选择最好的模型。二,我们非常容易的得到他,并用来进行预测。我们再次提高了支持项链回归模型的 rmse。 我们可以把两个模型都可视化。在下图中,第一个 svr 模型是红色的,而调整后的模型是蓝色的。



在上一节的视频当中呢,我们了解了线性回归、逻辑回归角色数等常见的积极学习算法,那么这一节的视频呢,我们继续我们的课程,继续去了解一些其他的积极学习算法,比如说我们这一张胶片上展示的支持限量机, 支持销量机呢,是现在工业上应用非常广泛,也是非常成熟的一个机器学习算法。 那么它是一个二分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器,注意这里 间隔最大。在接下来的过程当中,大家就可以知道为什么我们会说他是间隔最大。那么 svm 呢,还包括了很多 核技巧,这使得他实质上成为了一个非现行的一个分类器。那么 svm 呢?是学习算法,然后他也是求解突二次规划的一个最优化算法。 那其实 svm 的数学理论包含的是非常丰富的,包括和函数图优化、 最优化等等一系列的数学概念。如果我们要把 svm 这个算法讲解透的话,那可能要花费非常多的时间。那么在这里在本节课程当中,我希望大家能掌握 svm 算法的一个核心概念,或者说他的核心理念就 ok。 那我们来看左边这张图啊,我们有非常多的点,有 man, 有 man, 对吧?红色和蓝色的点,那么我们怎么样把这 两类点分开,根据他们的特征,身高和体重这两类特征把它去分开呢?那就是我们在图上画出了这两条线,这两条线是什么呢?是支持向量的连线,而中间这条黑色的线才是我们的分割面, 那么分割面到支持向量,他们的间隔最大,这就是 sbm 算法的一个核心分割面,或者说支持向量到分割面的间隔最大,距离最远就 ok。 那么 svm 呢?他也利用了核函数这个技巧,将低维空间的一个分割投影到高维封建当中去完成分割,可以使整个分割 更加容易,那么接下来我们会更加详细的去介绍 sbm 算法。那么首先我们来看一看线性的支持下两集,这个非常简单啊,就是这两类红色和蓝色的点,我们要给他去进行一个分割,怎么样分割呢?对不对? 我们可以画这样一条线对不对?是像第二张图上这个样子,那么我们是不是也可以画第三张图这个样子的线,也就是说在这中间,在这两类点中间,我们可以画很多线这样子的,这样子的是不是都可以将这两类点分开? 那么哪一种分割方法是最好的,或者说是最正确的?这个就是 svm 想要探讨的,就是最好的分割方法,就是 svm 这个算法追求的。 那我们来看一下啊作品这张图就像我们刚才说的那个样子,他划了非常多的分割线,是不是? 那么哪一种方法是最好的?就是右边这张图这个样子,大家来看一下蓝色的点,我选出两个点作为支持响亮,这个就是支持响亮, 红色这个同样也是支持项链,那我们再从 svm 支持项链机这个名字上来讲,它是支持项链 机,是支持项链机,并不是支持项链机这样断句,所以说它的核心是关 于支持项链的,这个大家要理解一下啊,他的核心思路就是找到这样一条线让支持项链,哎,离这条线的距离是最远的,那么为什么要这样子去划分呢?大家可以想一下,我们现在如果用这条线 去作为一个划分点的话,一旦我有一个蓝色的点。

大家好,我是简简单单做算法,今天我们介绍基于支持限量级 s v m 和多层感知神经网络 m l p 的数据预测算法。首先将当前文件夹设置为程序所在路径,然后这里有训练样本和测试样本, 我们打开程序运行 这里,稍微耐心等待一下。 运行后可以输出 s v m 的混淆矩阵, 混淆矩阵用于验证模型的训练精度 ok 值 rock 曲线, 这个是 mlp 训练结果 演示完毕,谢谢大家。

给我足量数据,我将挖掘未来。大家好,我是江哥,以后是连续忙了,真的是快忙到通宵了,这几天真的是没时间。这个更新视频,这几天确实是异常的忙,因为这是有史以来疫情影响下的 学生们的第一次毕业啊,那么我们大家都没有经验,都是摸着石头过河,所以说非常的忙。好吧,又好像拖更了几天, 好在马上要放假了,放假一定不会脱更,并且放假我会拿出一些这个技能方面的东西,可能是放给大家,还是老规矩吗?大家喜欢看那就免费,大家不喜欢看, 那就转栏。今天我们来说织项链机当中的一个小案例,从头到尾按照思 思维的过程描述给大家,整个难度并不大,但是思考的过程非常重要。话不多说,我们开始吧。 ok, 大家好,我们现在来写 支持向量机的。呃,利用工具来写一下支持向量机的这个代码问题啊,同时呢,我也会告诉你大家,呃,整个思考的过程是什么,你明白了,思考过程 就把一个项目拆分成了无数个小的知识点,那么在无数个小的知识点你都会的话,这一个项目是没有问题的 啊,我们这个不能称之为项目,就是一个小小的练习啊。首先我们第一步啊,任何项目的第一步叫做数数据的准备, 数据准备,那么数据准备,比如说我们拿到数据以后,我们会把这个数据,呃,有些不能用的给删掉,对吧?空值给删掉,带有空值的或者删掉或者补齐, 那么嗯,正常值的情况下,我们需要哪一列?我们认为我们需要的是哪一行,哪一列的,我们把它提取出来等等一系列的,这都叫做数据的准备。 那么有了数据以后啊,有了数据以后我们就要把数据导入进来, 导入进来干什么啊?数据导入进来干什么?我们做记忆学习,呃,就是为给数据在打交道吗?当我们把数据导入进来以后就是准备训练了,在这个时候我们需要 确定啊,我们用的工具和工具和方法,那比如说我们是用我们尝试着用哪一个算法,或者说使用哪一个工具,哪一个算法来解决这类问题, 我们确定完了以后就是相应的导入工具,对不对?呃,这个 导入工具以后啊,呃,导入我们这个算法的模型来开始训练,对吧?导入工具。注意导入工具以后我们可能还需要一点。在这这里忘说了,数据导入以后我们需要进行 一般情况呀,需要数据拆分,呃,拆分成训练级和测试级。训练级 测试几,那为什么要这样拆?呃,为什么要这样拆分呢? 因为我们,呃训练完了以后啊,训练完了以后肯定是需要知道我们这个模型在我们的这个案例也好,项目也好,当中的表现如何,那么我们用训练级进行训练, 用测试机进行这个测试,对吧?这样我们就能得到一个我们想想要,或者说我们想看的,或者我们不想看到的一个结果,那这个结果是否符合我们的预期?好吧,那导入工具下一步就是,呃,训练了,对吧? 训练模型,训练完模型以后就是测试,对不对?达到我们的预期效果,整体上啊,整体上就这么多, 怎么样来,怎么样来写。说你语文学的好,你能写出来汉字,那代码能写出来不?能啊?能。首先数据准备啊,我们这一次案例是用了这个 sk 论当中的给给好我们的一个数据集,因此数据准备这一块我们是可以省略的 啊,这个数据集因为是准备好的,对吧?嗯,准备好的,所以我们这一次,呃,就不再进行了好吗?那如果有兴趣同学的话,那么可以去看我的专栏啊,我也说过,百分之七八十的工作你都是在做数据的准备,其实真正到后面的话只有百分之二三十的工作 啊。第二步就是数据导入,那么数据导入的时候我们需要呃,这个把我们的数据给导进来。导进来的话,我刚才说了,我们用的是谁? 用的是 s k 论, s k 论当中的 decide, 对吧? decide, decide 里面的谁呢?我们就用原尾画数据吧,原尾花, land, land, 原尾画, land, 烟尾化,对吧?我们导入数据,导入数据来以后,好,我们现在已经把烟尾化导入了,那我们就呃给他把数据给 land 进来,对吧? 来了,进来,好,这一步我们完成了,对不对?导数据这一步完成了,那么我下一步需要干什么?把他们数据进行拆分,对吧?这个数据啊,我们执行一下,那这个数据是一个完整的数据,因此我们要对这个数 进行拆分。还记得我们之前说过的拆分数据怎么来吗? run s k 论当中对,也有,对吧? s k 论当中的毛都 selection, 然后呢? import, import 什么? train 对不对? train task 的分割,对吧?那么怎么样去分割呢?现在我们已经把它导入进来了,对吧?我们怎么样分割呢?我们就是 date, 然后这是训练数据,对吧?然后是 date 什么? 这是测试数据,对不对?然后是该 level 了,对吧? level? level? 什么 level 测试数据啊?不对, level, 训练数据,然后干什么? level? level? 谁 level? 测试数据,对吧?然后我们让他开始拆分,对吧?拆分,我们刚才有工具,对不对?我们用这个开始拆分,拆分的话,拆分的数据是什么?鸢尾化数据,对不对?哎? 拆分的是鸢尾花数据,然后怎么个拆分呢?然后拆分的还有鸢尾花的标 签,对吧?原尾画的标签, 那拆分的原文化标签。然后我们需要给他一个参数,这个参数是这个参数是这个 test site, 它占多少?哎? 他 set 他占多少?让给他零点二吧。 ok, 这样的话我们就把这个数据给拆开了,少一个框, 这样我们就把这个数据给拆开了,我们执行一下啊,执行一下, ok, 拆开了以后我们需要做什么呢?注意看上面的,我们已经把数据拆分了,然后确定我们使用工具和方法,因为我们讲的是织项链金, 我们肯定是要用 s k n 当中的 s v m 织销量机,对吧?这个时候呢,我们就要来导入我们的工具了,对不对? fram, fram s k n 当中的谁? s v m, 对吧? s v m, 然后 input, 我们就用一个最简单的线性盒吧, 这是我们用线性和函啊, 好吗?好,我们把它导入进来,导入进来以后还记得我们说吗?导入进来以后他要干什么呢?我们用线性,哎,就错了啊, 我们用线性核吗?我们用线性核导入进来以后我们用线性核训练,对不对?线性核训练就是 as we uh learner, as we say their feet, 对吧? face? face 谁啊? face? 这个训练数据对不对?训练数据在哪里提?然后,哎,不对 t r, 然后给给他。谁? level? t r 对吗? 这是我们开始训练了,没有问题,没有问题。我们走,你训练一下, 走你,哎。 托尼, ok, 呃,我们现在已经把它训练出来了。训练出来的话,我们给他负一个值吧。 model 吧。 model, 我们给他负一个值啊,重新执行一下。 哦,你们不用管他啊,重新执行一下。好,我们现在得到了一个 model, 我们想知道这个 model 怎么样,对不对?我们想知道这个 model 怎么样?然后,呃,这个 猫兜,猫兜里面去钓谁, 对吧?然后 the party, 然后给他谁呢?给他这个 test, 对吧? 我们用它来去测试一下,用它来测试一下。执行,你走,你, ok, 这个时候我们得到了这个分类的数据,我们想知道这个分类的数据吗?后面已经训练完模型之后就是测试吗?就是看看这个效果好不好,看看这个效果好不好的情况下,我们给他,我们给他敷一个纸啊, 给他敷一个值,想看看这个效果好,只想你想看看这个效果好不好的话怎么样看呢?我们看一看我们这个,嗯,训练出来的这个值和原始的标签,嗯,怎么样?对吧? level level? 谁? level test 对不对?哦?因为我们是用的这个 p r e 嘛。 level test, 然后执行。你走你。哎,你看,处处处处处里面有一个 force, 哦,成,呃,这个准确率还是蛮高的啊准确率还是蛮高的,只有一个错的,其他的全部是正确的。 说明这个,呃,织香料机啊,说明这个织香料机的这个准确度还是蛮高的好吗?这就是织香料机的优势在。嗯,传统的机学习算法当中,织香料机的性能还是蛮好的 好吧。呃,好了,这整个的话我们就呃学习到这里啊,整个的话就学习到这里。如果你想呃继续的深入的话,你当然你可以换里面的不同的这个给到我们不同的工具进行不同的测试,这都是可以的。但是原 原理一定是我写的这么多啊,原理一定是我写的这么多啊。最重要的其实不是说最重要的啊,工作量最大的其实就是这一步, 其他的工作量其实都是蛮少的啊,都是蛮少的。这是在工程领域啊,在科研领域。我们随后另说好吗?有兴趣的话我们随后再说。好了,关注我,你会有不一样的收获哦,拜拜。

大家好,今天要讲的内容是使用 softmax 回归解决多分类任务。在解决多分类问题时,我们可以直接构建一个 softmax 回归模型,同时对所有类别进行识别。 在 soft max 回归中包括了两个步骤,步骤一,输入一个样本的特征项链,输出多个线性预测结果。 步骤二,将这些结果输入到 softmax 函数。 softmax 函数会将多个线性输出转换为每个类别的概率。 先来看步骤一,在某多分类问题中,有 三个目标类别, o 一、 o 二、 o 三四个输入特征, x 一到 x 四, soft max 回归会基于输入 x 计算 o 一、 o 二、 o 三三个线性输出。 在计算每一个线性输出 o 时,都会依赖一组 w 和 b 参数。我们可以将 soft max 回归看作是一个具有多个输出的单层申请网络。 我们可以基于矩阵计算线性输出 o。 例如,在计算 o 等于 w, x 加 b 时, w 是一个三乘四的权重矩阵, b 代表了一个三乘一的偏置列项量, x 是四乘一的特征项 量,经过计算会得到三乘一的输出结果 o 计算出线性输出 o 后进行。步骤二,将 o 输入到 softmax 函数,从而将线性输出 o 转换为每个类别的预测概率。 y 设有 n 个输出 o, e 到 o n, d, k 个输出是 ok, 它对应的类别概率是 y k, 其中 y k 等于长数 e 的 o k 次方除以 e 的 o 一次方,加上 e 的 o 二次方等等到 e 的 o n 次方,所有指数函数的和。 这样我们就通过 soft max 函数将所有线性输出都转换为零到一之间的实数了,并且输出的总和 y 一加 y 二加到 y n, 这个结果恰好为一, 而外一到 yn 还可以看作是样本。属于某个类别的概率,他们之间是可以比较的,并且外值较大的类别对应的概率更高。 例如,设输出 o 一、 o 二、 o 三分别等于三个浮点数,零点三、二点九和四点零,然后计算 e 的零点三、二点九、四点零次方,将它们累加到一起,结果是 七十四点一二,然后使用 e 的 o i 次方除以七十四点一二,就得到了对应的 y i。 这时计算 y 一加 y 二加 y 三的和结果恰好等于一,因为 y 三的值最大,所以最终识别的结果为类别三。 总结来说, softmax 函数不会改变线性输出 o 之间的大小关系,只会为每个类别分配相应的概率。 softmax 回归模型的优势在于模型的剪辑和高效,我们只需要一次训练就可以得到同时识别所有类别的多分类模型。 另外, soft max 回归也可以很好地处理类别间的互斥问题, soft max 函数可以确保预测结果的总和唯一,这在某些使用类别互斥的场景下非常有用。 不过,使用 soft max 回归也存在着一些问题,例如在需要优化模型中的某个类别时,或者增加新的类别会影响到其他所有类别,这样就会产生较高的评估与维护成本。 那么到这里,使用 softmax 回归解决多分类任务就讲完了,感谢大家的观看,我们下节课再会。

今天我们要讲解的内容是 svm 的目标函数。 我们知道 svm 算法要寻找一个分界面,使全部样本正确的分成两类,并且样本和分界面之间的间隔需要是最大的, 那么我们就需要将这个描述转换为准确的数学语言,进而才能设计出优化算法。 一般情况下,对于 n 为的样本,空间样本有 n 个特征。 从 x 一到 xn, 我们可以将样本看作是空间中的一个点, 在该空间上的超平面方程表示为 w 一, x 一加 w 二 x 二,一直加到 w n x n 再加 b 等于零。 那么为了更加简单的描述,我们将 x 一到 xn 放到项链 x 当中, 方程系数 w 一到 wn 放到项链 w 当中,那么超平面就表示为 w 转至乘项链 x 加 b 等于零。 如果说空间中有 m 个样本,将任意的 di 个样本表示为 xi yi, 这里注意, x 是特征,项链 y 是样本的标记, 而挨在右上角代表样本编号。那么由于是分类的问题, 所以当样本是正力的时候,样本标记外等于正一。 当样本是复利的时候, y 就等于负一。那么我们将 第二个样本的预测值表示为 w, 转至成项量 xi 加 b。 svm 算法将尝试寻找一个最优的决策平面, 该平面距离两个类别的最近,样本最远。我们假设第二个样本到分界面的距离为 distance x i w, 那么这里 w 代表了分界面的全部参数。我们需要计算出 全部样本到分界面的距离。假设这些距离中最短的长度是 d, 那么间隔猫枕的长度就定义为二 d, 而 svm 需要求出来最大猫枕的分界面参数 w。 我们来举个例子,平面上有蓝色的正样本和红色的副样本。如果分界面 m 是 svm 算法的计算结果, 那么计算出所有样本到分界面的距离之后,我们就会发现最短的距离是 d r marjin 的大小是二 d, 并且任何其他分界面 n 的 marjin 都要比 m 的 margin 要小。 那么根据空间中点到平面的距离公式,我们可以将第二个样本到分界面的距离 distance x i w 表示出来, 他等于将 di 个样本的特征项链带入到平面方程之后取绝对值,然后除以平面法项量的膜。 因为地是样本到分界面最短的距离,所以对于任意的正力, 他们到分界面的距离都大于等于地,而任意的复利到分界面的距离都小于等于负。 如果说某个样本到分界面的距离恰好是地,那么该样本就被称为是支撑项链。 支撑项链决定了分界面间隔 margent 的大小,那么我们可以将不等式的两边都除以距离 d。 将平面的法项量 w 的膜和距离 d 相乘的结果看作是一个长数。 不等式左侧的分子和分母同时处以该长数就会得到新的参数 wd 和 bd, 那么这里就相当于对 w 一 w 二 等等到 wn 还有 b, 这 n 加一个参数都缩放了相同的长度, 那么对于缘分界面 w 转至 x 加 b 等于零。同时另等式的两边除以法项量 w 的膜和距离 d 相乘的结果 将该分界面的参数进行相同比例的缩放,这样不会改变分界面, 但是可以使分界面和两条间隔边界线的参数都保持一致。 那么我们将 wd 和 bd 的名称重新修改为 w 和 b。 将样本带入到分界平面的方程中,会有所有正样本满足不等是一副样本,满足不等是二。 而恰好在分界面的间隔边界上的正样本代入值是一副样本的代入值是负一。 然后呢,我们将边界上的样本带入直一再带入到距离公式中,就得到了最短距离 d, 它等于法项量的膜分之一,那么因此 margin 就等于二倍的 w 膜分之一。我们为了使 margen 最大, 就要使 w 的膜最小。 这里呢,我们优化间隔。 margin 等于磨分之二的最大值,等价于求二分之一磨的平方的最小值。 那么根据膜的计算公式,展开之后,得到二分之一倍的参数矩阵 w 转至再乘 w。 另外呢,因为在全部样本都预测正确的情况下,标记值和预测值的符号是一致的, 他们相乘就大于零。所以呢,在正副样本满足的不等式两边 都乘以标记值外挨。这样呢,我们就可以将该条件合成一个不等式了。 因此,我们归纳出 svm 算法的目标函数,也就是在满足所有样本的标记值乘上预测值大于等于一的情况下, 求出是 w 转至乘 w 取得最小值的时候, w 一 w 二等等到 wn 的值。好的,那么到这里呢, svm 的目标函数我们就讲完了, 感谢大家的观看。同学们,我们下节课再会。


前几节我们讲了各种特征提取的一些方法,然后有食欲的、频率的,还有食品欲的等等,那么特征提取出来之后,就是要对这个特征进行一个分类或者预测,那么最终达到对不同样本, 不同状态的一个分类或者预测的目的,也就是通过特征来对不同状态进行分类。 那啊就是我做视频有个原则,就是喜欢把这种复杂的一些东西往简单的讲,让大家尽可能的清楚明白啊,直接入门科研啊。然后这节我们主要讲这个分类,然后就是故障诊断,它包含故障诊断啊等等。 那么首先是我们的数据的一个类型,我们先看一下工作区, 那么分类问题,它包含这么多数据,那这么多数据,首先第一个是,嗯嗯,这几个数据我都导入到工作夹工作区,我们看一下,嗯, 那么首先首先是一个,呃, feature 样本一,那么 feature 样本一是什什么意思呢?就是它是五百零五五百零五乘以, 它是五百零五五百零五乘以十三的一个矩阵,那么五百零五就代表 样本一,对吧?样本一的五百零五个样本,那样本一就代表第一种状态的各个特征,然后每个样本包含十三个特征,同理, 本二样本二是五百零四乘以十三的一个矩阵,那么它代表什么呢?它代表样本二,也就是第二种特征, 第二种状态的各个特征,那五百零四就是五百零四个样本,那么每个样本包含十三个特征, 然后因为训练的时候需要把样本一和样本二包含起来,同时进行训练,所以我们生成了一个 feature all 这个矩阵,那这个矩阵就是 一千零九,一千零九怎么得到的?就是五百零四和五百零五相加,得到这个一一千零九,那么当然列数还是十三十三列,所以呢,那他就是有一千零九个样本,那么每个样本还是包含十三个特征, 那么同理,有了特征了,我们是不是要预测它的它的标签,也就是它的 y, 有了 x, 这个是,呃, 它是相当于输入,然后我们要预测它的输出 y, 那么它的 y 就包含一千零九个标签,那么这一千零五就就是标签,哎,就代表 有一千零九个样本对应一千零九个标签,那么同理这个 x 也是 x, 是我生成的一个,呃 呃,这个是矩阵类型的,而这个是表类型的,大家注意一下。嗯,然后同样同样呢也是一千零九个样本的特征,一千零九个样本的标签我们来运行一下, 挂了啊。那么首先是我们把这个工作区给清空了,清空了之后,我们首先把 feature all 倒进来, feature all 还有这个 y o 倒进来,那么这不是我们的输入,这是我们特征的输入,这是我们标签,所以我们现在要开始进行一个分类的目的了。怎么分类呢? 我们直接打开 a p p, 最简单的方法, a p p 里边有机器学习和深度学习,那么直接用这个,呃, classification learner, 也就是分类学习器,对吧?我们直接使用有监督的呃,机器学习,对,对数据进行一个分类,我们点一下, 那么首先是新建一个绘画,嗯,那么我们的数据是从工作区来进行选择的,所以选工作区,那么它自动识别出来了我们的数据机变量,也就是我们的输入是 x, 对吧?输入是 feature all, 然后然后我们的响应呢?就是我们的 测结果,那应该是从工作区来进行选择,那应该是 y, 对不对?这样就选择完了,我们把这些特征全部添加,全部添加就可以了。然后这里边选择交叉验证,还是说选择留处法验证,还是选择无验证?这根据我们的目的,好吧?然后这些交叉验证, 骨折交叉验证,咱们的是定义,直接可以百度就可以明白。交叉验证也就是呃,通过把数据机划分成, 划分成呃各个样本集,然后来防止这个数据的一个过硬核,那流触法也是一样的一个道理,都是防止过硬核,那无验证的话,那就是 那就是不采取任何的一个措施防止过硬核,对吧?你觉得你,你的精度高了,那你就过硬核,那你就尽量的让他硬核的程度高一点,那你就选择无验证,那你如果想选择交叉验证呢?你就选择 交叉验证就行。咱们就按交叉验证来说,然后是开始绘画, 选择了特征之后,嗯,我们直接点训练,我们先看一下效果,好吧?呃,因为我们要知道他的呃准确度到底是多高,我们直接点训练,呃,训练的过程会比较长,因为我的特征选择比较多,大家稍等一下, 然后这边显示他已经在 训练,然后这样他的准确度就是百分之九十九点七,也就是,呃,我一千多个样本,他的预测值大部分都比较准确,对吧?准确率相当要高了。然后我们可以看一下他,他预测的一个错误的一个数据是在哪啊?首先是,呃, 我这我这个数据是两两个状态,对吧?这是状态一,或者说这是状态二,好,这蓝的是状态一,然后这个是状态二,那么他的目的就是把这两个状态分开,然后可以发现他有正确的和不正确的,大部分都正确了,只有一小部分零点 零点三不准确,那么这百分之零点三如何表示呢?那就是这些点,这些离群点,然后我们可以看一下这些他的他的一个状态,这些离散点,然后当然我们这是观察密和这个方差的 一个关系图,我们也可以找其他的,比如说你和这个呃,偏读的一个一个关系图, 能很明显的发现有两个离群点,那就也就是这两个离群点代表了我们的一个误差,他没有准确的预测到,对吧?那么有的人肯定说了,我十三个特征选择有点多,那么我可以想少选一点特征,那你可以这样来选,比如说,比如说我通过这个平均值来选一个特征,或者方差来选这个特征, 那我就把这些勾给去掉,然后就留这两个特征来进行训练,然后我们点 char 两个特征,也就是删了十个特征,只留两个特征,那么我们进行训练, 然后你看如果你只选了两个特征的话,这样他的准确率就比较低了,说明特征的增加会有利于准确度的上升。 同样的我们也可以选其他两个特征,比如说选择这个和这个前两这两个,然后我们继续点训练, 通过这两个特征我们能发现他的准确率是九十九点七。我们可以发现之前我们选了十三个特征,他的准确率是九十九点七,我们现在就选了两个特征,他的准确率仍然是九十九点七,说明这个特征的选择对我们的这个呃,分类的效果是有一个比较大的影响的。 那我我们之前选了十三个,他是九十九点七,现在我们选了两个,他仍然是九十九点七,那也就是我们的特征是有是有多余的,对不对?是有勇于现象的,所以这个特征的选择,那就需要大家自行来进行选择,好吧,根据我们自己的数据来进行特征的一个选择, 从而达到自己的分离的一个目的。然后这是这个啊,当然我们也可以选择一些其他的一些方法,这个是精细度,精细数的一个方,一种方法我们也选择,可以选择这么多方法,你可以选择线性方法,你可以选择中等数、粗列数,数,就是 你看二叉数码就是对一个东西进行分类,继续进行分,继续进行分,根据数据的形式来进行分类。呃,这里边的一些定义我们直接大家百度就就能看懂。然后同样是线性判别, 我们可以用线性的也就判别来对我们的数据进行一个分类,也可以用逻辑回归分类器,然后也可以用 朴素背业、四处分离器,这些都是比较传统的机器学习方法。那最常用的还是支持向量机,我以支持向量机来一个介介绍吧。比如说我用这个线型 srm 来进行训练,我们来训练,我们来 训练这个,这个第四个,好吧,我们来进行训练。哎,我们可以发现通过这个线性训练,我们能,哎,确实通过 sum 的线性这个函儿,我们可以对这个数据 能达到一个更高的准确率,九十九点八,对吧?然后,呃,这个图的这个图的导出就非常简单了,将图导出为图框,然后你就可以直接运用到论文中,对不对?然后你可以另存为, 另存为,比如说另存为各种类型的一个图片,大家自己保存。好吧,这就我都不再多说了 啊,同样的道理,是啊,一个混淆矩阵的一个一个看法,那么混淆矩阵代表啥意思呢?混淆矩阵代表这是我的两类,这是你的预测类,对吧?你的预测是要预测状态一和状态二,但是他真实呢类 也是状态一和状态二,那就那这个对角线也就代表对角线,也就代表你的状态一,你的预测也是状态一,所以五百零五大部分都是对的,但是只有两个离群值, 他正常,他应该是状态二,但是你预测了,就是你预测错了,你预测中状态一了。所以这就是我们的一个混淆矩阵,他可以直观的显示我们的模型的一个准确率,对角线是是正确的,其余的都是错误的,大家自行解释一下,好吧?然后平可以再看一下平行坐标图, 那这个平行坐标图图代表我们这个横是如何进行选择的?然后最终达到我们的一个分离的一个效果 啊?各个特征的一个选择,最终达到我们想要的输出,那么这就是一种呃,普通的传统的积极学习的一种方法,各种,那么最 常用的可能就是啊这种 srim 或者呃最近的分类器啊,像 knn 呐之类的,或者这种这种其余的数大家自行自行试一下,好吧?然后我们,然后我们把这个 这个关了,然后我们假象讲讲另一种学习的学习的思路,嗯,那么当然我们也可以用,我们先清除一下, 当然我们可以也可以用比较啊,比较,呃,就是比较好的一些呃数据学习的方法,比如说深度学习,但是这个深度学习它是针对于图像数据来说的, 所以我们不要用不了这个,那我们只能用这个,呃,这个这个神经学习拟合的一个方法,用这个方法,那么用这个方法之前呢, 我们首先要将我们的数据导进来,首先是 x 和 y, 我们的输入是 x, 我们的输输出是 y, 这是他的标签,标签我把它定成一和二了,因为这个是这个,我们做的任务是一个你和任务,你和任务,所以我们的标签必须是一个数,一个具体的数, 那么前前几类就是第一类数,对吧?然后我们往下看,这是第二种状态,这是两种状态,那么好了,一个特征,一个标签,那么我们还是用这个分类器来进行分类, 那么首先我们可以知道我们的输入就是我们的 x, 对吧?我们的通过一系列的隐含层的一些计算和输出层的一些计算,最终达到我们的输出是我们的标签,也就是一或者二这两种状态,对吧?那么所以呢,我们要进行下一步,我们要把输 输入导进来,输入是 x, 输入是 y, 然后这里边需要注意一下,那我们的样本数是一千零九,对吧?我们的样本数是一千零九,所以我们这样选,选择这个这个标签,我们是一千零九个样本啊,对应十三个元素,这十三个元素就代表你的特征,然后这是 yy 呢,就代表一千零九个样本, 每一个样本对应一个标签,对不对?然后点下一步,我们有输入了,有输出了,开可以开始训练了, 但训练之前我们需要把训练的一个呃训练级要划分一下,一般来说我们的训练级是百分之七十, 然后我们的呃验证级百分之十五,或者测试级是百分之十五,这样他自动划分和标签,然后这些英文解释大家自己翻译一下,然后就非常好理解为什么要验证级,为什么要测试级,大家自己百度一下,验证 的目的也是就是减少过滤盒,测试器是呃,为了验证我们这个模型的一个有效性,然后我们点下一步,然后我们可以选择一个隐含层的一个节点的个数,然后一般来说,呃, 你的特征越多的话,你的应含成结点应该越多才行,大家自己选择,如果我选择,比如说我选择,我也可以选择十,当然我可以选择十五,我们接着选择十五吧,我们认为这个我的输入比较多,我们就选择十五,十五个结点来进行一个呃一个训练,然后下一步, 下一步,这我们可以选择一些优化的一些优化的一些方法,大家有背也思,背也思优化方法,然后这些呃这些 skill 的就是应该是平均均度的一些呃的一些优化算法,然后这个是 这个是这种优化算法,大家自行百度一下,然后我们点,我们如果想选用第一种的话,我们点训练,我们看一下这个训练的效果,然后这是训练的 performance, 这是一个效果,那么这是一个效果。我们可以发现,嗯,他这三种训练的一个过程, 他的曲线是不一样的,按理论上来说应该这三个曲线是越接近越好,为什么?因为你的训练级的误差曲线,如果跟测试级和验证级的误差曲线相近的话,也就代表了你这个魔性的有效性,对吧?那么现在有点不相近, 可能是我们的一个要训练的一个优化算法没有找好,那么我们可以找这个另一种优化算法,背一丝优化算法,我们看一下训练, 然后我们点这个 bs 的优化算法,可能啊,可能有点,又有点差了,你 他的他的一个训练机和测试机明显的不一样,那说明这个优化算法也是不合理的。那么我们再找一个优化算法, 哎,我们没有点,没有点 retreat, 点一下 retreat, 然后训练好了之后我们点 performance, 哎,这个我们就可以很明显的发观察到这个,这个 这个优化算法他就比较合理,因为他代表了我们的测试机,呃,训练机、验证机和测试机这三个这三种优化算法的效果是一致的,也就代表这个模型 不管在哪一种训练题上,他都是有效的,那是最有效的,所以我们画一下这个他的训练的一个状态,然后这是他梯度的一个变化,这是他离群值的一个变化,然后大家自己看一下,然后我们再看一下这个这个误差,误差的一个 统计误差,这个统计他是最合理的,呃,中线代表没有误差,那理论上来说,我们的所有数据越靠近这个中线肯定越好,他的效果是越好的,但是现在他没有做到这样,但是也不错,为什么呢?因为他的误差基本上最接近,大部分都趋近于顶, 对不对?他的误差最最高的误差也就零点四,这是零点六,也就是那这 误差不是那么大,但是,呃,最小的误差呢?那基本上接近于零了。这些这是最小的误差,基本上都接近于零,越靠近中线是越好的,说明我们这个数据分布的一个有效性,也就是,呃,他能准确的啊,得到这个误差 这壶茶的统计表,然后我们关了,最后我们点,我们点这个拟合曲线, 哦,不是,这个不是,这应该是 regression 这个铝合曲线,那么这个铝合曲线代表啥呢?也就是 首先是四个,是四个验证机,对,是三个验证机,比如说第一个是训练机,然后是验证机,然后是测试机,这三个验证机,然后是所有的所有的数据,也就是把训练机、验证机和测试机所有的数据加起来统一的进行显示。这是这四幅图, 那第一幅图代表啥意思呢?第一幅图啊,第一幅图,这是你的目标,对吧?你的你的标签,你的标签是一或者二, 那你的输出是不是应该也是一或者二,他俩应该是之间相互对应的才对,所以这根这根曲线,这个二值越接近于一,说明代表你这个拟合程度越好,也就代表你这个模型的效果越好。那这四幅图 是一致的,那么那么他的 r 值已经达到零点九二了,也就意味着你的标,你的这个标签和你的呃,你的预测值和你的真实值是相相互比较吻合的,说明你达到了一个分类的一个效果,对吧? 那这就是啊整个一个预测的一个过程,一个分类的一个过程, 然后呃基本上工具箱,工具箱也就是这样式的,如果大家如果大家想自己学习自己的一个呃,呃深度学习的一个网络的一个构建,那么还需要呃通过深度学习的一些算法来进行实现。但是深度学习一般来,一般来说呃在这个拍份上实现比较容易, 在这个白的 lab 上可能时间会相对要复杂一点,然后主要就是用这个,呃这个 colourth education 和这个神经网络,简单的神经网络的一个一个训练。呃,今天的分类视频就讲到这里。

在机器学习中,最基本的任务之一就是你有一堆物体,你想把它们分到两个或更多的类别里。这是一张狗的照片还是一张猫的照片?这只狗是在向上还是向下? svms 也就是支持向量机, 是分类方法中最简单最优雅的一种。你想分类的每个物体都被表示为 n, 为空间中的一个点,这个点的坐标通常被称为特征。 svms 通过画出一个超平面来执行分类任务,也就是说, 在二 d 空间中是一条线,在三 d 空间中是一个平面。以这样的方式,所有属于一个类别的点都在超平面的一边。所有属于另一个类别的点都在另一边。虽然可能存在多个这样的超平面,但 svm 试图找 到最好的分隔两个类别的那个。也就是说,他最大化了到两个类别中的点的距离。这个距离被称为编剧,而恰好落在编剧上的点被称为支持像量。为了首先找到这个超平面, svm 需要一个训练级或者已经被正确类别标记的一组点。这就是为什么 svm 被称为有监督学习算法。在背景中, sbm 解决了一个凸优化问题,该问题最大化了这个编剧约束条件是每个类别的点应该在超平面的正确一边。在实践中, 你不必担心这个优化问题的实现细节。使用 sbm 可以像加在一个拍档库,准备你的训练数据,把它喂给你,和函数,以及调用预测函数为新对象分配正确类别一样简单。 svms 的最大优点是他们易于理解,实现、使用和解释。此外,当训练数据的规模小的时候,他们非常有效。 svms 的简单性也可能是一个问题,在许多应用中, 点不能被一个超平面分隔。在这种情况下,常见的解决方法是,首先用从现有特征计算出的一些非线性特征来增强数据, 然后你可以在这个高维空间中找到一个分隔超平面,就像你把样本抛到天上,某一刹那用一个平面进行有效的分割, 最后再投影回到原始空间。一种聪明的技术被称为核技巧,让我们能以非常高效的方式执行上面的所有这些步骤。现在你了解了 svms, 你可以用它们进行面部检测,垃圾邮件过滤和文本识别。这就是大约两分钟的 svm 介绍。



我们都知道线型回归模型里面,其实他的目标函数呢,是平方误差,所以核心是这里的一个误差的概念。所以假如呢,我们给定了几个数,几个样本,然后呢,我们学出了一条线,那这条线的方程呢?其实我们知道可以用 w x 加 b 的方式来表示的,那这里的假设呢?就是啊,假设 x 它是一个多一个多维项链,也就是特征个数为更多的时候,我们可以用项链化的方式来表示。 但是呢,我学完一个一条线之后,其实每个样本他可能会有一些误差的, 那误差呢,我们分别用 f 三六一到 f 三六六来表示,然后这里面我们仔细来想一想,假设我把每个误差呢,把它想象想作为一个 变量,然后我假设这里面我只有六个六个样本,因为为了方便,期间我只只花了六个样本,但是假如呢,我们手里面有大概有一万个样本,或者是更多,所以我手里可能有啊,可能大概有一万个,或者甚至更多的一个误差的一个变量。 所以当我把这些误差变量把它合在一起的时候,我们是不是可以联想到一个非常重要的一个性质,就是叫做中心极限定理, 英文叫 central limiter, 什么意思呢?所以假,假如我手里面有非常多的样本,假设有一万个或者上,甚至呃,几十万个,那我手里面其实有这么多的误差变量,然后呢,英文我的个数已经很多了,所以 根据中心极限定理的哈,我们可以得到这些误差的变量呢,他可以服从一个正态分布,那这个就是一个非常非常著名的一个极限定理,然后根据这个极限定理呢,我们可以模拟出就是这么多的误差, 在这里叫做 fcelong, 那 fcelong 的误差呢?当他很多的时候,样本个数比较多的时候,他会服从一个正态分布,也就是这里的 f solo, 他会服从一个这种正态分布的形式,那这一点非常的重要。然后我们从这个点出发, 接着从一个概率统计的方式来去引导引引出我们最终的目标函数,所以这是另外一种方式。我们之前的方法呢,是直接通过 f 三网来去引出咱们最终的目标函数的,就是平方误差的 啊那块。但现在呢,我们从另外一个角度想去引出我们同样的目标函数,但这个方法论呢,更偏向于使用这种概率统计,包括一些把一些分布,把它用起来。所以在现阶段我们要记住的一点是,当我们学了一个 一条线,然后呢即便我学出一个很准确的一条线,我们每个点其实他会有一个误差的,就是对于每个样本来讲,他有一个误差, 但是呢这个误差比较比说很大的时候,也就说我的样本个数很大的时候,那这些所有的误差, 根据中心极限定理,他会服从一个正态分布,所以啊,这点很重要。 那下面我们具体来写一下刚才我们所说的误差模型。 所以呢,我们现在学了一个方程,叫 w 和 b 两个参数,然后这是我的预测值,左边是我的预测值, 然后我加了一个误差,叫 f 送一,那对于 y 二也是一样的,那我在他的基础上,我加了一个 f, 送了二,我就得到他的一个真实的,这叫 y 二吗?所以每个样本 x 一到 x n, 我们都可以把它写成这种形式。 但是这里呢,当我把这些误差全部单独拿出来去观察的时候,而且我的 n 可能是比较大的,那我们会 通过中心极限定理,我们可以认为这些误差他其实可以服从一个正态分布,对吧?那这个正态分布呢?可能是以可能是类似于这样的一个正态分布,比如说 c 码的平方。然后我们在 这里假定的是它它的均值为零,因为有些误差呢,它是正向的,有些误差呢,它是负向的。所以当我的数据量很多的时候,我们可以认为 他的误差他的均值可能会服从零。但是我有一个类似于方叉,叫四个码的一个这样的一个方叉,然后呢,具体的模型的话,我们可以通过这个方式来表示。所以在这里呢,我们假定我的 apson 他是个随机变量, 然后这里的 f 送一到 f, 送了 n 呢,是这个随机变量的一个具体的一个展示的形态而已。 然后呢,这里的 fcelong 就服从一个零到 c 吗?平方的一个正态分布。所以现在开始,我们有一个很重要的一个思维的转变,就是把 fcelong 把它看作是一个随机变量,我们之前没有从这个角度考虑,但现现在开始呢,我们把 apsolon 就把它看作是个随机变量,然后这里的每个 f, x, l, e 到 x, l, n, 实际上就是随机变量的具体的某一个值,然后这个随机变量呢?它服从一个正态分布,那我们先记住到这里。

啊,哈喽,大家好,我是郭郭楠,那么今天呢,我来给大家讲一下支持项链机的一个原理。嗯,那什么是支持项链机呢?它是一种 upperly 的一个模型,嗯,他将实力中的特征项链隐身到空间当中的一些点, 然后呢我们希望画出一条线或者一个平面,然后最好的去区分这两类点,然后以至于以后有了新的点呢,这条线也可以,也可以根据这条线来做出很好的分类,那这种呢是一种有监督的机器学习。然后呢 我们那个支持项链,支持项链机的话,主要分为以下几个部分吧,就是我给大家分享的就是线性可分支持项链机,线性支持项链机和非线性支持项链机,那他们之间有什么区别呢?线性可分的话就是这种 就是。嗯,两边的点呢,就是非常的清楚,他们之间有明确的一个界限,那我们就是可以画一条线 很清楚的把他们分开,但是呢也有可能就是两边的数据呢,他其实有一有一部分是交叉的,那这种情况下的话,我们换一条线不能完全将他们分开,那这种情况我们就称为是线性支持相连机, 他可能会存在一定的误差啊。然后还有非线性直线相机的,就是说我们画的不是直线,而是曲线,当然了这个曲线的话,他也有可能是不是完全分开的这种情况。嗯,好,那我们这里呢主要介绍的就是线性可分直线相机这种情况。 in 可分知识项链机的话就是我们我们这种嘛,就是两种点的话,就是它可以直接通过一条直线来分开,那我们看到就是它这里表达这个直线呢,是用这种这样的形式来表达的,其实呢就是假如说空间里面,我就是平面上我们有一条线,它这里 是 y 轴,这里是 x 轴,然后这里是二,这里是五,那这种情况下我们就可以写成二 x 加五, y 减十这样一个形式,对吧? 然后呢我们这里 w 呢其实就是二五,然后 x 呢其实就是 x 一 x 二,然后这里 b 呢就等于负十,用这样的方法去表示这个直线,那这个直线呢也是同样的道理,他其实就是用这样的方法来表示的,只是换了一种表达方式,其实他还是一个直线,当然了他 可以换成多维的,那在空间里面他可能就是一个平面,甚至一个超平面。那既然我们要画线,就是我们知道数据点之后我们怎么画,因为 明显可以看到这样画也可以,这样画也可以,这样画也可以,那怎么画才能是画出来是最好的一个线呢?那这个时候呢,就有人提出来一种方法,他这个方法呢就是叫做最大最大间隔优化模型,也就是我们这个 啊 mag 就是这,这就是假如说我们针对就是同样的这,嗯一组数据,就是这是,这是一组,这是一组数据,然后我们这样画的话,他这个 间隔的话明显是比较小,但是如果我们这样就是通过这种形式来画的话,他这个间隔呢就会比这个间隔大很多,那我们就是认为呢,就是间隔越大,就是模型的乳棒性会越好,那他的就是哦,就是对错误的这个柔韧度呢就会越高, 那我们就希望就是就是间隔最大嘛。到这里的话就是我们需要就是回忆一个高中的一个知识点, 是我们一一个点到一条直线,他的距离应该是怎么表示的?其实呢就是用我们的这个呃直线直接去,嗯,把我们这个点带进去,带进去之后呢处于我们这个奥秘的 就是其实就是我们 x x 一 x 二他们对应的系数,然后他的膜,然后呢我们就是嗯为了把这个绝对值给他去掉,方便我们计算。哦,就是我们做了这样一个,做了这样一件事,假如说这个点呢他在直线的上方,那我们就记为正义,就是把他的标记呢记为正义, 如果这个点在直线的下方的话,我们就把这个标记呢记为负一,那这样的话就是当我们这个点在上方的时候,我们计算出来这个值其实是一个正的,然后乘以我们的一个正一,他还是一个正的, 然后如果点在下方,他计算出来这个值呢,其实是一个负值,但是呢我们呢就是把它乘上一个负一,他还是一个正值,这样这样这样去理解他,我们的目标呢是求出来我们这个 get 的一个最大值,最大的一个直线,对吧?那首先呢就是我们通过这, 通过这个式子呢,就是是我们那个距离的一个表达式,对吧?那通过这个式子的话,我们可以找出来就是单个直线,它与两个或者多个点呢,它会形成一个这样的 gap, 就是我们可以找到, 就是这不是有很多直线吗?我们可以找到单个直线它的最大的一个 get, 最不对就是最小,就是相当于是最小的一个 gap, 就是我们找到单个直线的一个 gap 就对了,就是求他的一个最小,其实就是样品里面就是找到这个最小的,就是所有的样品到他之间不都有一个距离吗?我们找到这个对应的最小的两个或者多个点, 然后去,嗯,然后呢我们对每一个直线我们都可以获得这样一个 gap, 对吧?然后我们把这些 所有的直线的 gap 呢都获取出来,然后我们再找出来这个 gap, 就是所有的直线它对应的 gap 最小的那个直线就是我们所要求的那个分隔线。 那这样的一个过程,那就是通过数学表达的话,他可以写成这个形式。嗯,其实我不是特别理解这个,就是大家可以再去查一下资料,如果不需要详细理解的话,这个其实可以不理解,因为我们理解到这就已经可以了,就是我们知道他是怎么算的,其实就已经可以了。 然后呢接下来我简单说一下,就是,嗯,他的一个计算过程吧,就是他假定在临界线 以上以上的点就是为一,就是这里不是画我们画的那个线吗?那零界线就是相当于这个两个零界线上他的这个点呢就,嗯,我们可以通过内部公式 去给他变换,就是让他变成一,然后这里是一,这里是一,在外面的,就是相当于那边里面这个式子啊,里面这个式子就把它全变成一,就是这在这条线上的和在这条线上的点让他尽量得到一,那在外面的点 就是他肯定都是大于一的,对吧?那这样的话,我们就得到里面这个式子是大于等于一的,也就是这个式子,也就是他大于等于一, 然后呢就是我们求这个,这个求他的最大值,也也就相当于是求他的最小值,对吧?然后在这样的一个条件下求他的最小值,采用了一种拉格朗日 函数都有函数的一种计算方法,构建了一个这样的一个函数,引入了一个阿尔法,阿尔法呢是阿尔法埃,阿尔法埃呢是大于等于零的,那这个时候呢,就是对这个式子呢进行不断的 化解,对这个式子呢进行不进行不断的化解,他其实嗯中中间的时候就是我们把这个 w 和 b 都去掉了,他是通过这样的形式去掉的,他利用这个函数呢,他对 w 和 b 呢都分别求导,然后让他的导数等于零, 然后我们可以获得 w 和已知量,包括阿尔法还的关系,然后还有 b 和已知量和阿尔法还的关系,然后再把它带回到这个式子当中,带回到这个式子当中呢,他就得到了这个 我们所有的乙质量和阿尔法癌的一个相关的一个这样的是一个多项式,然后呢我们再对这个多项式 求他的这个最大,在这个多项式求他最大值,然后这个时候呢,我们的这个阿尔法癌呢,他其实就是大于,只有大于等于这一个条件,然后在这个条件下,我们求出来这个阿尔法癌,求出来这个阿尔法癌, 因为我们的 y i 和这个 x i 呢,它其实都是已知的,就是,嗯, f x 其实我们也可以看到的是 x, 因为在线性就是线性的时候的时候,我们是直接把它当成 x 来处理的。 f x 的话是 x 在空间 xi 在空间当中的一个映射,它可以是一个多项式函数,也可以是一个复杂的函数形式。但是这里呢,我们直接把它当成线性的来进行处理就可以,然后我们再通过 呃,这个的话,我们可以求出来这个 alpha i, alpha 就是通过它求最小,我们可以求出来 alpha i, 然后求出来二百。之后呢,我们再带入这个式子,我们就可以得到我们的 w 和 b, 得到 w 和 b 之后呢,我们其实就相当于我们获得了这条区这条直线了,那我们就达到了我们最终的一个目的,对吧?说完这个线性 线性可分知识项链计的话,我们再说一下这个线性知识项链计,其实不是所有的那个分类都可以通过这个正确的超平面是最好的。就像这种数据的话,我们可能是通过这条线来对这两座数据进行分类, 得到的分类结果是更好的一种情况。嗯,那就是还有一种情况,就是数据他本身就不是一个现金可分的数据,比如说我们刚才举的这个例子,他就是这两个数据他本身就是有交叉的,你不可能通过一个线简单的去把他们两个完全的分开,对吧? 那这种情况的话,我们就需要使用线性支持相连接,其实呢就是他在原来的基础上呢,加上增加了一个松弛因子,增加了一个松弛因子使得他呢是大于等于一减去他相当于是松,松弛因子存在的话,就表示这两个线呢他是可以来回活动的,可以可以进行收 说。嗯,那这个时候的话就是我们的目标函数呢,就转换成这个形式,然后我们最终的这个,嗯,求解目标的话就是在这样的一个条件下去求解他,那同样的就是他还是把它转换成这个拉格朗日,拉格朗日函数,然后再通过求编导,然后再 把它换算成就是只只包含阿尔法和已知量的一个关系。然后最后呢就是通过他的最优化问题,然后得到这个阿尔法,求解得到这个阿尔法,阿尔法是一个项链啊。 嗯,然后然后呢就是我们得到 offer 以后之后呢,就是我们会发现这个线性知识向量级和我们这个线性可分知识向量级,它其实就是 offer, offer 条件变了一下,其实其他的都是一样的,嗯,就是这是两种这个线性的分类方法。接下来呢就是我 我们简单了解一下这个非线性的一个非线性知识项链及它的一个形式。首先呢是关于和函数,就是我们线性知识项链及它使用的和函数,其实就是简单的就是线性函数,就是,嗯, x 一乘以 x 二,这样就是 d 是等于一的情况。然后我们多项式的话,其实就是 d d 它可以不等于一,可以等于等于任何实数,那这样的话都是一个多样式。然后这是这个呢是高速 高斯和,这个其实高斯和的话在我们的这个分类应用当中其实是是最多的。然后还有这个 sigmo 的和函数,那接下来的就是我们通过不同的这个下链接对统一数据呢进行那个分类。 就是首先呢就是我们可以看到这是他的那个先进河,先进河的话就是我们改变这个参数 c, 他得到一个不同的结果。然后还有高速河, 高速合的话,他的这个 c 和我们的这个伽马,他都是影响我们最终的一个结果。但是呢就是伽马变大的时候呢,他其实最终的结果并不变得好,因为, 嗯,我们刚开始得到这种结果,这种结果可能都是比较理想的结果,但是最终得到这个虽然分的很非常精确,但其实这个已经失去了他原有的一个意义。另外呢就是跟大家讲一下,就是这个和函数映射,这个这个的话其实就是 我们通过映射的话,我们可以把它映射就是当前的这个数据从二维的一个空间映射到多维的一个空间,然后我们 通过多维空间的一个洁面,就可以顺利的把他当前的一个数据去给他区分开,就包括就是上面这个,嗯,这个这个就是这个图比较明显。那怎么样去做到这一点呢?就是我们原来的 这个变量,比如说只有这个 x i, 那我们可以通过 x i 去给他制造出来一个 x i 平方, x 爱的三次方,那这样就是我们就相当于是有了三个变量,这样的情况下,我们就可以把这个一二维甚至一维的这个,我们就可以把它变成多维的一个数据,那这样的话就是我们可以通过直线很好的去给他做一个区分。嗯,那非常感谢大家的观看,如果大家觉得有用的话,请给我一个一键三连。