粉丝5338获赞1.3万

好,我们这次讲一下这个拉索回归,他又名套索回归,在这个拉索回归里他是什么呀?他是基于线性回归,给予一个惩罚系数之后筛选出来哪些变类啊?对于你所建的模型最准确?他的应用啊,主要有质量。 第一个是什么呀?做一个 signature 啊,比如现在很多的这个 signature, 比如说什么种种免疫评分, emt 上皮兼职转化评分、 代谢的评分、能量代谢的评分、免疫免疫浸润的评分,具体他们是哪一种评分去做的?呃,没有细看啊,也就是说拉手回归啊,是我们建立评分系统的一种方式和方法之一。 我首先看一下这个拉索回归是什么东西啊?这是一个很多变量,非常非常多的变量,比如说一个人的测距数据,他有基因蛋白,基因表达量 abcefg, 对吧?他基因表达量的 a、 b、 c、 d、 e、 f、 g, 我们以什么样的方式找见一个或多个具有代表什么基因,用来预测这个 病人,他是患病还是不患病,或者是预测他是能治好还是不治不好,或者是预测他对于这个药物有没有效, 因为他变量太多了。你基因测去两万个基因,对吧?一万大几个基因,我们到底去研究哪几个基因呢?我们可以通过拉锁回归啊,把几个重要的基因啊给他筛选出来,这就是一个拉锁回归的这个作用和方式啊,他有些优点。第一个优点呢,可以用于特征的筛选啊,去除不必要的特征 啊,从而降低过拟盒的这个风险啊。什么叫过拟盒呀?啊?我们看这张图,这个图啊,第一个图,这叫嵌拟盒,就是说我们画的这个一盒曲线呀,他不能代表我们现在这个真实数据的这个结论。 第二步呢才是正确的拟合,他有一有什么一小部分的叉啊,混在了这个圈里头,但是他对这个拟合度啊,还是非常好,也就是说不多啊,就是这个预测预测的模型,他准确度他不是太准,不是百分之百准,当然也不可能做到百分之百准, 但是有一些不多的变量啊,没有预测准啊,我们看这个第三个图,这就是什么呀?虽然说我们的逆合非常非常准确,每一个变量,每一个个体啊,都能给他精确的 挖出来分类,但是呢,做成这样也没有必要啊,因为这是一个随机的世界,我们做成这样非常非常的占用这个资源啊,他需要非常非常多的这个变量啊,去定义一个, 呃,一个圈或者一个叉,这样的话也是不太对。然后第二个呢,适用于高维数据。 什么是高维数据呢?你看我们的基因测序这一个蛋白就是一个维,那我们基因测序一个人测序出来有两万个维度,他就在这两万个维度里给你筛选出来那么十几个维度啊,把这剩下的不必要的就给你去剔除掉, 从一些混杂的信息里找见一些特征性标签特别强的数。然后呢,他缺点是什么呀?特征相关性高的是 我难以确定哪些特征应该为表,就是有很多特征性特别高,你可能保留的也比较多。第二呢是 l e 范数,惩罚系数不稳定,可能会将不相关的特征误判为相关特征啊,这个东西就会容易产生这个 二维的错误,我们在这个做实验呀,后续的这个验证啊,就是为了排除这些错误。来我们看一下拉萨湖柜里出来的主要的两个图,图形,第一个图形是什么呀? 你看啊,这些这一根线啊,每一根线代表的一个因素,也就是说在我们测试注意中就是这些一根线啊,就是一个基因蛋白底下的这个是乘法系数,上面这个数啊,是回归系数, 在不断的调整那么大的过程中,这些东西啊,他就逐渐的往这中间零,零这有一条横线 啊,他逐渐的往零这跨,往零这走,直到他跟零接触了以后,这个变量呀就被删除了。剩下的这些变量作为我们后续分析的一个,剩余的这个变量,剩下的变量我们就可以做什么呀? risk score 可以做 signature, 也就是说我在那么大取值,取值为六的时候,我们的回归系数是二十个啊,我们都看这张图了,那么大,在取值为负六的时候 啊,如果我们那么大,在取值为负六的时候啊,我们画一条直线,我们的回归技术是二十,那么我们在这条图线上,我们同样也画一条直线啊,那么大在负六的时候,我们画一条直线,那么我们会剩下多少个变量呢?这是二十,这是二十三,我们可能会剩下 二十一个,或者是二十二个,可能在中间啊,我们可能会剩下二十一个,他肯定是大于二十个变量,那么我们二十个变量,最后去做 单多因素回归,那就特征性就比较强了,所以说这个拉索回归就是在多种混杂因素,混杂的变量要素和特征过程中,根据那么大的乘法系数逐渐的 减少,我们那些特征面料减少的过程中,就是他碰到这个零这个线就可以把它就剔除了。 然后具体剩多少呢?我们在这个纳木达这画一条直线到这,哎,我们就知道还剩了多少个变量,这边是他的这个百分之九十五快进区间啊,这是他的百分之九十五快进区间。那么具体到底是做到什么样的?纳木达的 时候我们是停止的,我们就看这而言,他会给你画一条线,这个线是什么呀?就是说这个线啊,就是说他的横横坐标是最小的, 就这个线啊,他在横坐标啊,他这个值啊,他是最小这个地方就可以取到一个比较优秀的值了,那你说我取其他的值可以吗? 因为数据维度太高了,也不是说不行,那我们会需要做一些实验去验证一下我们的计算结果。 那么好,同学们,我们了解了拉索回归的具体的两个图形的这个方式和方法,以及筛选电量的这个过程,我们下一步就开始进行 啊,拉萨回归的这个计算,拉萨回归可以用尔语言进行,计算方式和方法也非常简单,大家一看就会,也希望就是说通过拉萨回归的学习,对于大家, 呃,遇见一些测序数据或者一些高位数据,作为一个初步的删除不必要混杂因素的一个重要的方法和手段。 那么好,这节课就讲到这里,谢谢。

同学们大家好,我们这一次继续讲一下拉索回归啊。首先啊,我们看一下拉索回归的基本假设是什么?基本假设是 y 等于白塔加白塔一 x 一,加白塔二 x 二,白塔三 x 三,是什么意思呢? 好,我们看下这个测序,这是不同的病人,一二三四五六七八个病人,对吧?这是他测序的这些 因素啊,测出这些蛋白基因,对吧?他有成千上万个基因,哎,我们成千上万个基因,难道每一个基因对于这个这个疾病的发生发展啊,以及他的预测,他都有一定有贡献吗?我们说有,但是呢,他的这些贡献也是有大有小。拉 回归的目的是什么呢?就是从这非常非常多的这个基因里筛选剩下啊,不重要的都剔除了剩下非常重要的因素。在这个 ppt 里,我们就可以看,他是以一个惩罚系统啊,也就是那么的 进行一个限制,限制完了以后,我们会剩下很多因素。我们看右边这样,这每一条线 就相当于什么呀?我们这里头的每一个基因,他会有非常非常多的线,非常非常多的基因,在最开始的情况下,随着 nama 取值啊,这里头显示是取 nama 取了一个落落,随着 nama 取值的不同,这些 因素啊,对于模型的影响度啊,在不断的下降,直到他下降到为零,对吧?我们就怎么着把 这个因素啊给他剔除了,那么他就不重要,有很多下降速度非常快的,比如说这个,这个他下降速度就非常快,然而这个这个因素呢,他下降速度就非常慢,那么相对于来说,这个因素呀,就比这个下降非常快的因素呀更重要一些。然后你看啊,这个拉姆的 取直了以后,我们从这画一条竖线,上面这个坐标是什么呀?上面坐标就是说你剩下了 多少个基因蛋白,剩下了多少个基因的要素,对吧?我们在这个,因为我们是单纯处理测序数据的时候,他是全部都是这个 蛋白质啊,测试基因啊等等,我们也可以在这里头加入临床因素呀,我们加入临床因素以后,我们这里头这些线,有些线它可以代表临床。我们在这个确定了 一个拉木的纸以后啊,我们画一条竖线,我们看见他到底剩下多少因素,这些剩下多少因素分别是什么呢?我们在这画一条竖线,哪个 因素的这条曲线和这条竖线相交呀?那哪个就是我们剩下的这个因素,那到底选,那么那值到底选多少还是合适呢?那我们就看这边的 这张图,甭管他怎么变都会出两个竖线,甭管他是实线还是虚线,反正他都会出现两个虚线。竖线,我们首先看第一个竖线,这个第一个竖线是什么呀?第一个竖线是在这个小红点点取值横坐标最低的时候,那这个时叫什么呀?纳木纳密旁边这个这个竖线是什么呀? 旁边这个数据线是 number e s e, 就是这么样取一个军方误差范围内的这个啊,他可以往右边取了一个 情况误差啊,他为他,为什么我不往左边去?因为这个模型的变化的过程是这么大变化,对吧?因素越来越少的,我们这个拉锁回归是逐渐的删除不重要的变化,留下重要的变化,他他的会越来越少,对吧?那么我们选择模型时候选择哪个?一般都会选择 namamin, 那选择 namamin 的时候,我们就知道了一个 number, 我们知道了一个那么大的情况下,我们就知道了有多少个因素剩下,这到底是哪些因素剩下了?我们在这张图上画一条直线, 跟他相交的这些就是剩下的因素,那么我们就可以怎么样建立下面这个回归线性回归的这个模型了。哎,我们剩下了十三个因素,在这张图上我们剩下十三个因素就是 x 一 啊,一共有 x, 一共有十三个 x, 每一个因素 x 都有它的具体的变量,我们计算出它一个 bet 值啊,一个 bet 值啊,也就是最后 这个回归系数的这个值,重新建立了一个模型,我们新测序的数据,别人的数据的过程中,我们同样会有这十三个 基因的表达量,对吧?由于我们已知贝塔一,贝塔二,我们在我们自己的训练的这个建模的过程中,我们已知算出来的贝塔一,贝塔二,贝塔零,一直到贝塔十三。在别人的数据里,他们只要提供 x 一, x 二, x 三, x 四,也就是说他们的这些基因测区的数值,那么我们就可以算出一个 y 值,对不对?那么这个 y 值到底是不是符合 我们第一次建立模型的这个结论呢?如果符合证明什么?证明我们模型建立的准啊,如果不符合呢?那证明我们的模型建立的不准。然后在这个建立模型他的年 礼盒程度的这个问题啊,可以看我上一个视频,什么叫过礼盒?什么叫欠礼盒?什么是合理的一个礼盒,对吧?我们是需要建议一个合理的礼盒。从经验上来说,我们经过了拉索回归以后,再进行一个单因素或者是多因素的 老 disc 回归,或者是拉斯回归完了以后再进行一个单因素或多因素的 cox 回归啊。 cox 回归是有生存时间,有时间变量的啊,所以用 cox 回归 完了以后,假如说就这张图啊,还会在这十三个非常重要的因素里,再去筛选这十三个中哪个更重要,哪个是独立危险因素? indian python, 然后呢,我们把剩下那些不是 indian, indian pyta, 不是独立危险因素这个东西再进行一步的删除。那么我们在剩下 这些变量的过程中,我们建立一个模型, y 等于贝塔零,加上贝塔一 x 一,他就会非常非常具有泛黄性,他一定比你单个的一个基因 啊,就比一定比你随便选以几个基因或者是单个的一些基因,他更具有什么呀?更具有泛化性。也就是说别人的数据在我们这里头运行的时候,运算时候他他的预估值会更好,那么我们看第二张图啊,第二张图也是一样的,我们看一下动作标,动作标反应的是什么呀? 一看到这个单词,我们就可以知道他是一个二分类啊,用各种测序数据去预测一个二分类变量,比如说肿瘤、非肿瘤,比如说得病不得病,最终预测变量是二分类变量,肿瘤或者是非肿瘤得病或者是不得病,又要 管事,或者是不管事。这个呀,就是一个二分类变量的一个拉锁回归的这个图形啊,我们看一下啊,把这个 log 去那么大的一负三点六的时候,是吧?剩下了多少?二十六个因素?我们看下,这样 啊,这样不行,我们首先看左边这个,还是这还是有两条虚线,具体虚线他对应的 x 那么大, log 那么大的徐 log 以后他值是多少?我们可以在这个虚线里啊,可以可以看出他这个动作标志也是一个什么呀?也是一个二分裂变量。他左边这张图呀, 就是一个,到底哪一个因素?甭管他长什么样,他都会是这样,到底是哪些因素呀?在拉姆达取值的时候,拉姆达取值的时候,哪些因素和这个竖线相交,对吧?哪个竖线跟他相交,那么这些因素啊就留下来,其他的 因素都抛去。我们再看下一张,这个也是一个什么呀?二分类变量也是预预测的。一个二分类变量预测的是什么呀? 他是不是这个肿瘤啊,或者是非肿瘤啊等等的这些啊?因为他这个最终结局变的是二十六变了。右边呢,只是给你把这些画了个盖,指向一下这根线分别是哪些因素?他这上头,你从这上头我们可以看到四到六之间,这个是五,四到六之间是五, 但是他选择了四,看了吗?他选择四,剩下几个因素啊?剩了六个因素,他为什么选择四呢?哈哈,我们需要看一下他的这个 文章啊,他这个地方就不是选择咱们刚开始的这个 nama mia, 他选的是 nama ese, 我们再看这张图啊,这张图就比较特殊点,右边这个一样,左边这个呢?他用的是一个 a o a u o c 曲线下面积,也就是 l c 曲线, l c 曲线也是预测一个二分类变量的问题,我们都知道 l c 曲线下面积越大,那么它进行实验性诊断的结果就越准啊,就这个这个因素啊,它就越准,它曲 l c 曲线下面积 a o c 啊,它是怎么着啊? 它是根据你不同的基因算出了一个 y 值啊,用这个 y 值,它是个连续变量啊,对不对?然后根据你二分类变量的结局变量啊,比如说你是肿瘤,非肿瘤得病不得病, 一个连续变量加一个二分类变量,最终会做一个 l c 曲线,看这个 l c 曲线下曲线下面积最大,那证明什么呀?我的这个模型建立的越准,我们再看下一个这个呢,就是什么呀?拉 socox, 就是说有生存时间变量了啊,有生存时间变量了,进行了一个什么呀?拉索回归, 所以说拉萨回归是一个筛选变量的前奏,因为我们有太多了最终需要纳入模型的因素,到底是哪些因素去纳入呢?我们测试完了,有成千上万个因素,我们剩下 十个、二十个最重要的因素,进行什么呀?我们在后续的进一步分析,这个思想的提出啊,就是什么呀?简化了模型啊,让模型的这个 我们建立模型的时候简化了啊,这个 y 就是一个评分,叫 score 啊,有时候很多人写的这个 risk score 啊,等等等,这些东西就是这么建立起来的,因为我们在拉丝回归的过程中,我们会建立这个模型,我们知道它的系数。那么好,这节课就讲到这里, 谢谢大家。

关注深信的小伙伴。大家好,我是深信人牙,可接下来给大家简单分享一下拉索回归结果的解读。拉索回归的特点是在你和广音线线模型的同时进行变量筛选和复杂度的调整, 其中复杂度的调整程度是由参数拉姆达来决定的。拉姆达越大,对变量较多的线性模型的惩罚力度越大,从而最终获得一个变量较少的模型。 首先我们看第一个结果图,即自变量运动轨迹图,图中的每一条曲线代表了每一个自变量系数的变化。轨迹中坐标是系数的值,下横坐标是 log, 那么大, 上横坐标是此时模型中菲林系数的个数。比如说我们可以看到黑线代表的自费量,一在拉姆达值很小的时候就有菲林 的系数,然后随着拉姆达值不断变大,系数不断收缩而趋近于零。接下来是交叉验证图,交叉验证对于每一个拉姆达值,在红点所示的目标餐量的均值左右,我们可以得到一个目标餐量的振兴区间。 两条虚线分别代表了两个特殊的 lambda 值,即 lambda ming 和 lambda e s e。 lambda ming 是指在所有的 lamed 值中得到最小目标参量均值的那一个,而 lameda s e s e 是指在 lamptamine 一个方差范围内得到的最简单的模型的那一个 lampat 值。因为 lampat 值达到一定大小之后呢, 继续增加模型自变量的个数及缩小 lamda 的值并不能很显著的提高模型的性能,所以 lamd ese 给出的就是一个具备优良性能 但是资本量个数较少的模型,一般情况下我们在常规的分析中也是选择拉姆的 e s e 作为最终的分析结果。感谢大家的关注,想了解更多生性技能的小伙伴可在评论区留言,我们下期再见!

大家好,我是顾维,本次案例汇报的问题是拉索回归模型建立以及变量筛选问题。 首先我们来看一下拉索回归的基本思想、用途以及意义。 拉锁回归又称为套索回归,是 robert 于一九九六年提出的一种新的变量选择技术。 拉锁是一种收缩估计方法,其基本思想是在回归系数的绝对值之和小于一个常数的约束条件下,使残差平方和最小化,从而能够产生某些严格等于零的回归系数。 进一步你就可以得到可以解释的模型, 那它的用途主要是可以用于 变量数、变量数量较多的大数据及传统的线性回归模型无法处理这类大数据,因此可以用拉索回归来解决标准线性回归的过拟和问题。在你和广于线性模型的同时,可以进行变量筛选和复杂度的调整。 因为对于线性模型来说呢,复杂度与模型的变量数是有直接关系的,那变量数越多,模型的复杂度就越高。更多的变量在拟合时往往可以给出一个看似更好的模型,但是同时他也就面临着过度拟合的危险。此时如果用全新的数据去验证模型,通常效果就很差。 所以一般变量数大于数据点数量很多或者某一个 lisa 变量有太多独特值的时候,都有可能会过度离合。因此我们做这个拉索回归呢,其实 主要的就是想要去降维,用较少的变量值来呃解释我们的模型,那意义就是随着科技的进步,收集数据的技术也有了很大的发展。因此如何有效的从数据中挖掘出有用的信息,也越来越受到人们的关注。 统计建模无疑是目前处理这一问题最有效的手段之一。在模型建立之初,为了尽量减少因缺少重要自变量而出现的模型偏差,人们通常会选择尽可能多的自变量,但是实际建模过程中,通常需要 寻找对响应变量最具有解释性的自变量子级,也就是做模型的选择, 以提高模型的解释性和预测精度。所以说模型选择在统计建模过程中是极其重要的问题,那么拉索回归就可以解解决 有这样的问题,接下来看一下拉索回归具体的实现过程。首先我们有了一一组数据之后呢,我们需要对我们的数据进行一一处理,比如标准化。 接下来就是使用阿中的这个 gamnite 来建立拉锁回归模型,然后使用阿中这个包的另一个函数 cv gamnite, 然后进行变量筛选,最后呢,做出最终模型的系数估计, 然后进一步我们可以使用最终的模型呢,再进行一个预测,看一下我们这个模型,呃,筛选出来的这个变量,他对于我们预测的预测级,他的解释解释性是好还是不好?首先第一 第一步就是数据与处理,这里我们视力数据准备了有五百个观测数和二十个变量数,接下来将 x 它做了一个矩阵化,因为我们这个 gam net 包,它只能够识别矩阵型的。 然后他计算出了标准化前的均值和标准差,将 x 标准化,之后呢,又计算出了标准化后的均值和标准差之后再将 y 变量, 然后这个外边的话呢,我们再给他做一个标准化之后就是使用这个 gamnite 来建立拉锁回归模型了。 那么在这个 last 会模型中比较重要的一个概念就是 lam 的值,这个 lam 的值呢?它实际上是说 这个栏目大值呢?它实际上是说是说一个 呃,就是说栏目的越大的话,那么各估计参数它相应的会被压缩的更小,那栏目的达到一定值以后呢,一部分不重要的变量就被压缩为零了,代表这个变量就被剔除模型了。 下面这个代码就是可以做出我们后面的这个变量动态过程图,就是这个图。 那么有了这个图之后呢,我们想要用这个图来做一下变量的筛选,得到了模型和拉索筛选变量动态的过程图后,如何筛选变量呢?我们就还得再确定一下栏目的值,也就是说在上面的这个这个图中, 我们做一做一条 x 轴的垂线,那么这样我们才能够知道哪些变量他被压缩为零了,以及未被压缩为零的变量的系数的估计值究竟是多少。那么如何来选择这个栏目的值呢? 我们可以使用阿中的 game net 中的另一个函数,这个 c v game net 这个函数呢,使用的就是交叉验证来挑选栏目的 具体的实践过程是这样的,这个这个函数呢,就是把我们的这个呃栏目大的这个平均误差图给他做出来,也就是随着栏目大对数他的变化呢,我们可以看出不同的栏目大的对应的这个呃军方误差。 然后我们这里取的这个蓝的值呢?它可以取两种形式,一种就是蓝的的最小最小值,一一种就是 在一个标准差,就是平均误差在一个标准差以内最大的这个栏目的值。 那我们这里就是选了一个 lamba 的最小值,让它为我们这个案例的最优朗的 求出来,他是零点零一五四七之后就可以得到最终模型的系数,估计也就是把我们这个栏目的这个值带进去之后呢,我们可以得出我们这个模型的系数,看这个图就是多么得到的结果, 那么这个图怎么看呢?这个变量如果说后面这个系数他没有显示出来,比如说这个点,那么就说明拉索回归他的收缩系数为零了,这就意味着 这一项的变量他被排除在了模型之外了,比如说这个 v 九和 v 十这两个变量他就被排出去了,因为他的影响力是不够的,也就是说他被 筛选出去了,而剩余的这些他都是有一些影响力的,他就留下来了,也就是剩余的飞能的变量就是我们筛选出的重要的特征。 如果说他是正值的话,那我们可以说他这个对于我们想要的结果,他是有一个正向影响的,他影响是更大一些的,如果是负值的话,他就是有一个逆向逆向影响的抑制作用的。 那得到了最终模型之后,我们还可以做一个进一步的预测,比如说用最终的拉索回归模型对新的观测在进行预测,并且在训练数据上来计算出我们这个模型的耳方来检验预测的效果, 那么这里我们可以看出这个在做了一个预测之后呢?他这个二方是等于,呃零点,呃零点 啊,这里写错了,应该是零点,零点,零点八零四七,那么也就是说最佳模型他能够解释训练数据响应值的变化是百分之八十,那么我们这个模型他的这个 绿色效果是也就是比较好的。

lesl 回归 least absolute, shrinkage and selection operator regression 是一种线性回归的变体。他在模型你和过程中不仅考虑了你和数据的准确性,还考虑了特征选择和模型简化。 在赖索回归中,目标是最小化损失函数,同时加上一个正泽画像,这个像是模型系数的绝对值之和。这个正泽画像有助于压缩某些系数,将他们收缩到零,从而实现特征选择的效果。 letso 系数指的是在 letso 回归中得到的各个特征的系数。由于 letso 的正泽化特性,他会对一些不重要的特征给予零系数,从而实现了特征选择,使得 模型更加简单且具有解释性。这种特性使得 laso 在处理具有大量特征的数据及时很有用,能够自动的进行特征选择和降维,提高了模型的泛化能力。


各位小伙伴们大家好,欢迎收看本期视频,在这一期视频中我将向大家分享一下如何用阿语言来做拉扫回归的方法。 对于我们这些搞临床的小伙伴来说,拉手回归只解决一个问题,就是变量筛选的问题,比如我要做诺基斯蒂回归,我有很多的这个变量,然后呢我从当中我只要筛选出几个,然后呢来完成回归。 我们这期视频呢就用最简单的方法来给大家演示如何达到我们这个效果。首先呢我给大家来看一下我们的数据啊,这个数据是我通过一个赛尔用随机数来生成的,其实生成的不是特别好,但是展示足够了。第一列我们是作为这个 id 来给我们进行一个个研究的我们的 case, 然后这一练呢是我们的结果,我用这个零和一来表示分别来表示我们这个是否来,比如说离换,我们的癌症看事,然后其他的这个从 a 一直到我们接就是我们的这变量,总共我们有十个变量, 分别来代表着我们带纳入研究的这么一些变量。好,我们现在来给大家展示一下,首先还是我们的包的加载, 这个拉索回归呢,其实最核心的是咱们这个 lemon 这个包好,然后我们把这个数据给进行这个读取,小伙伴看到这是刚刚给大家展示一个赛奥表的数据,已经全部读取进来了 啊,现在呢我们做一个小的处理,就是分别来去利他的这个自变量和应变量,应变量呢就是我们的这个看似这一列自变量 是我们这个除了就前头这两列以外所有的。好,然后我们来进行一个这个拉扫回归的一个首先一个初步操作,现在呢我们可以看到啊,这么一张图, 这个呢就是一个我们的参数,随着我们的一个这个参数的增大,我们变量系数变化了一个轨迹, 总共我们是从 a 到结有十个变量呢,这总共就有十条线,这个红线和这个绿线重合到一起了,一二三四五六七八九十, 总共十条。然后我们可以看到随着我们的这个啊阐述洛克拉姆达的一个不断的这个递增的一个过程,他们呢回归系数都是一个朝零的这么一个收敛的这么一个过程啊,最终全部都收敛成零。 好,然后呢我们这个刚刚说的这个劳格拉姆达,这是我们这里一个用来筛选的一个统计量,那么怎样筛选 出一个最合适的呢?我们可以用我们这个 c v lemont 这个函数来进行一个这么一个处理。然后呢在这呢我们一个评价指标,就是用这种结果的 auc 纸来进行一个评价。好,然后我们各位可以来看一下, 稍等一下,这里这是一个回归过程,他要进行这么一千次,稍微会有一点点的慢。 好,各位可以看到我们这个结果已经出来了。好,在这里呢,我们这总共是有这么两条的这个虚线, 这个虚线呢分别是指向了两个特殊的这个拉姆达值,一个我们叫做拉姆达命,一个叫做拉姆达 ls 一,这两个值我们都可以认为它是最合适的结果,其中拉姆达 二十一,他是属于构建的模型最简单,也是我们使用的变量最少的一个,这个但是因为我们这个数据是拿一个赛尔随机生成的,他这个太少了,只有一 啊,我我们就不用他这个,另一个呢就是我们这个拉姆拉姆达命,他呢就是说是属于那个准确率也是我们 auc 值最高的这么一个筛选的这种地方啊,但是他的变量会更多,实际情况呢,我们这个就是要根据大家的这个实际情况来选择, 但是在这因为我这个数据我是随机入生成的不太好,所以我用的还是这个拉姆拉命。好,我给大家再来展示一下,那就我们这么一个处理之后,大家可以看到我们总共一二三四五六七八,总共筛选出来我们这个 八个,这个呃边量就是 abc, 然后 fghij 这几个,我们认为他最终和这种结果有关。好,然后我们 最后再做一个这么一个处理好,小伙伴们就可以看到,那总共就包括他们的这八个变量是哪八个,以及他们的回归系数啊,全部都展现在这里了,这样我们就把我们的这个变量进行筛选完了,由我们原先的十个,现在我筛选的只剩了八个 啊,这就是我们这个如何用阿语言进行拉扫回归。本期视频就到这里啊,欢迎各位小伙伴的收看,我们下期再见。

好的朋友们大家好,今天我们来画一张图,拉锁在老机的这个回归中的应用。 对这个图印象比较深刻的是我的师兄在硕士毕业的时候,硕士答辩的时候就展示了这样一幅图,当时就觉得好美观,好高端,又过了 三四年,现在的感受呢,就是有一个体会,就是知识就在那里,学会的越早收益越多啊。今天大家来一起来捋一下,其实这个图啊,也不难,那个套索方法呢?又称拉索回归, 近些年来回归分析中的一个重大突破就是引,就是引入了正泽化正 的话回归这个概念。而最受关注和广泛应用的正策化回归 就是在一九九六年,有现任斯坦福教授 robert 提出的拉锁回归。拉锁回归呢,又叫套索回归。这种方法呢,是在最小二乘法的基础上增加了一个惩惩罚项, 增加了一个惩罚项来对估计参数进行压缩,当参数压缩到小于某一个预值的时候,就令他变为零,从而选择出对因变量影响较大的自变量, 并计算出相应的回归系数,最终能得到一个比较经典的模型。拉锁方法在处理存在多重空 天性的样本数据是具有明显的优势。我们来一起看一下这个图怎么画的。 首先设置工作路径,然后把这这些包安装和加载一下,然后接下来是读取数据。呃,这个数据呢?这个视力数据呢?都放在了这个 rwok 这个文件夹里边 啊,我的数据全部都放在地盘下边, arver 和这个文件夹里边, ctrl 加 inter 减 啊,这个是不能有缺失值的。然后我们来看一下这个数据,因变量是死亡,然后这个就性别、体温、输状压、收缩压、谷草、转氨酶这样一些 一面两,其中呢这个总共有总共有二十列,第十九列是这个隔入数和这个随机种子数,第二十列是生成零到一之间的一个随机数字。然后呢他是按照七三拆分,然后 那个开发级呢,就是即为一,然后验证级就即为零,进行了期三拆分。所以说第十九和二十列不是一,不是 自变量。然后我们再看一下这个总共有总共有二十个平量,这个第一个是因变量,然后从第二列到第十八列是自变量,十九是分组 啊,这个这个是松哥统计提供的一个视力数据,死亡性别,这里这里我添加了注视, 嗯,在这个松哥的这个原书里边,他提供的数据,那可能是他提供的模拟数据太多了,然后他他提供的代码和他的数据匹配不上,嗯,不知道是不是松哥他搞的数据太多了,还是说教 给那个出版师印刷的时候,别人给搞错了,搞混了。然后这里我添加了,就是根据他这个,根据他这个数据添加了注视、 死亡、性别、体温、收缩压、树上压、枯草、传媒、白细胞、 c 份、原蛋白、钠离子、假离子、尿素氮、血小板年龄、呼吸频率、心率、乳酸、血压、饱和度、血糖分组随机数。然后这个是对数据及进行拆分, 这个格鲁普计为一的时候,就是开发开发数据计,然后验证数据计啊,说它比较简单的,其实我们来看一下,它就是自变量,就是对 x 进行定义,我们是对这个开发数据计,然后进行拉索,然后呢它的这个自变量就是 一面呢,这边呢就是第二到第十八,也就是从这个性别到这个血糖, 然后音变量就是第一列,就是这个死亡。然后接下来是你和模类模型 x y, 然后这个画图这个图,然后画这个 lamb 的路径图,一般来说用的是这样这样一个图,这里这里的数字可能太密集了,我们把它去掉,不要标签,一般这个图是用的就是这个图, 这个是添加这两条线,然后, 嗯,打印这个礼盒的过程可以看到经过八十二步迭代,然后最小的 number 值是零点零零幺零八,这个数值一般要写在文章中, 嗯,这局代码的话是这个,你看这个开发数据机有七百六十八个样本,这里是这里七百六十八和这个我们得到的零点零零幺八,这个你自己的数据是要进行替换的, 然后进行 c b 拉锁, 这个设置随机种子数是为了别人能重复你的,重复你的这个过程和这个图片时装袈裟验证,然后就绘制这个袈裟验证图, ok, 这两个图就画完了, 就几行代码,所以说知识就在那里,学的越早,其实也没有那么难,我都能学会,我相信大家都能学会。这个上面其实我们这个代码已经添加过了,所以说 然后这个值一般是那个文章中是要提供, 然后看他的放叉系数,把这个菲林的给选择出来,然后定义菲林系数所在的列,这几句代码其实都不用改的,显示菲林代码所在的列, d, 一三四五等等等级列,然后选示这个非零的系数,嗯,最主要的是要显示非零系数的变量名,嗯,这些变量呢就是进行后面的,可以进行后面的多音次回归,确 最终预测变量的模型。 这个代码其实也没什么需要改的,就是这个七六八,在用自己的数据的时候就改下,这改一个这个就可以了。 然后这个是十五个变量的时候,就是已经显示完了。然后再看一下五个变量左右的时候都是有哪些变量,这个代码基本上都不用改,就是就你拿去用的时候就基本上就都不用改。 ok, 这两张图其实已经画完了。嗯,这本,这这个我们这个小视频的视力数据来源于这本书,嗯,那个作者是 是我们的武松老师,然后他的这个是精灵统计,嗯,是武松老师的微信公众号,有很多预测模型和机器学习的知识。 我把我把松哥的视力数据和书拿过来讲, 会不会侵犯他的版权啊?我等一下去问一下他。 ok, 你看我朋友圈里面其实有两百三十一个人关注了松哥,就说明这个公众号的质量是杠杠的。 ok, 今天就到这里了啊, thank you。

在本视频中,我们将介绍 lasso 套索、回归、领回归等政策化的回归方法的数学原理以及 r 软件实力。 为什么要 lasso 套索回归?套索可以通过选择最小化预测误差的变量子级来帮助选择与结果相关的变量。简约子级 选择模型取决于数据级和您正在处理的问题陈述了解数据级以及特征如何相互交互至关重要。 当我们增加回归模型的自由度,增加方程中的多项式预测变量可能高度相关,多重贡献性可能会成为一个问题,这可能导致模型的系数估计不可靠,并且具有高方差。也就是说, 当模型被应用到以前从未见过的新数据及时,他的表现可能会很差。 有许多独立变量或预测变量,以至于调查人员无法将所有预测变量放入模型中,或者可能怀疑许多变量与我们有兴趣预测的结果无关。 因此,如果数据极具有高维度和高相关性,则可以使用套索回归。套索回归会惩罚数据集中不太重要的特征,并使他们各自的系数为零, 从而消除他们。因此,他为您提供了特征选择和简单模型创建的好处。 在我们进一步讨论套索之前,让我们回顾一下回归。什么是回归。回归是一种统计技术,用于确定一个应变量与一个或多个自变量之间的关系。 简而言之,回归分析将告诉您结果如何因不同因素而变化。例如,什么决定了一个人的薪水。许多因素,儒、学历、经验、技能、工作角色、公司等都会对薪酬产生影响。 您可以使用回归分析来预测应变量。 y 等于 m 乘以 x 加 c。 你还 记得我们学生时代的这个方程式吗?它只不过是一个线性回归方程。在上述等式中,应变量估计自变量。用数学术语来说, y 是依赖值, x 是独立值, m 是直线的协律, c 是常数值。在机器学习或统计世界中,相同的方程像的名称略有不同。 y 是预测值, x 是特征值, m 是系数或权重, c 是偏差值。在普通最小二乘法方法中,我们将残叉的平方和尽可能小。换句话说,我们最小化损失函数。如果用 d 表示图中实际数据点与模型线的距离,损失函数可以用点之间距离的平 方盒来表示。在线性回归中,以最小二乘最小化的方式选择最佳模型,同时也获得了 ols。 参数估计 在统计学中,需要考虑估计量的两个关键特征,偏差和方差。偏差是真实总体参数和预期估计量之间的差异, 他衡量估计的准确性。另一方面,方差衡量这些估计中的分布或不确定性。 其中未知误差方差 sigma 平方可以从残差估计为偏差和方差都希望很低,因为较大的值会导致模型的预测不佳。下图说明了偏差和方差是什么,想象一下,把心是我们正在估计的 真实参数。 bater, 他的镜头是我们的估计值。这些估计值是由四个不同的估计量得出的偏差和方差以及他们的组合。 事实上,模型的误差可以分解为三个部分,大放差导致的误差、显着偏差导致的误差以及剩下的无法解释的部分。 由于过度,你和该模型将具有低偏差和高方差。模型你和在训练数据中很好,但他不会给出很好的 测试数据。预测。当预测变量高度相关时,多重贡献性可能会成为一个问题。这可能导致模型的系数估计不可靠,并且具有高方差。有很多预测因素,这反映在上面给出的方差公式中,方差接近无穷大。 正则化开始发挥作用来解决这个问题。什么是正则化?正则化解决了过你和的问题,他将这些错误学习的系数缩小为零。 政策化的一般解决方案是以引入一些偏差为代价减少方差。这种方法几乎总是有利于模型的预测性能。让我们看一下下面的图。 随着模型复杂性的增加,也就是在线性回归的情况下,可以被认为是预测变量的数量。 估计的方差也会增加,但偏差会减少。无篇的 ols 会将我们置于图片的右侧,这远非最优,这就是我们进行政策化的原因。最小化变量的数量降低模型的复杂度的同时, 以一些偏差为代价来降低方差,从而在图上向左移动,向最优方向移动。 套索回归。套索回归类似于线性回归,但它使用了一种收缩技术,其中决定系数向零收缩。 套索回归允许您缩小获证则化。这些系数已避免过你和,并使他们在不同的数据集上更好的工作。 第一、第二、第三等表示上图中实际数据点与模型线的距离最小。二,城市绘制区线的点之间距离的平方和在线性回归中以最小二乘最小化的方式选择最佳模型。 在执行套索回归时,我们在最小二乘中添加了一个惩罚因子。也就是说,模型的选择方式是将以下损失函数降低到最小值 d 等于最小二乘,加上 land 乘以系数大小的绝对值的总和。套索回归惩罚由所有估计的参数组成, land 可以适龄到无穷大之间的任何值。该值决定了执行政责化的积极程度,通常使用交叉验证来选择它。 套索惩罚系数的绝对值之和。当 lamder 等于零时,模型变为普通最小二成回归。 随着 land 值的增加,系数减小并最终变为零。通过这种方式,套索回归从我们的模型中消除了无关紧要的变量。尽管我们的政责化模型的偏差可能比线性回归略高, 但对未来预测的方差较小。解决了过你和问题。 套索回归和领回归都被称为正则化方法,因为他们都试图最小化残差平方和 rss 以及一些惩罚项。 换句话说,他们约束或规范模型的系数估计,但是他们使用的惩罚有点不同。套索回归仕途最小化 rss lend the sigma better j。 领回归,仕途最小化 rss lend the sigma better j 的平方。 当我们使用领回归时,每个预测变量的系数都缩小到零,但没有一个可以完全归零。相反,当我们使用套索回归时,当 lamder 变得足够大时,一些系数可 可能会完全变为零。用技术术语来说,套索回归能够产生稀疏模型,模型只包含预测变量的一个子级。 这就引出了一个问题,领回归还是套索回归更好?答案是视情况而定。在只有少数预测变量显著的情况下,套索回归往往表现更好,因为它能够将不显著的变量完全缩小为零,并将它们从模型中删除。 然而,当许多预测变量在模型中很重要,并且他们的系数大致相等时,领回归往往会表现的更好,因为他将所有预测变量都保留在模型中。 接下来,我们在 r 语言中建立套索回归, richlin 回归和 elastic net 模型。 弹性网络惩罚由 alpha 控制。套索的 alpha 默认等于 1, 领回归的 alpha 等于 0。 调整参数 land 控制惩罚的总强度。 领回归惩罚使相关预测因子的系数彼此缩小,而套索回归倾向于选择其中一个而丢弃其他预测因子。弹性网络则将这两者混合在一起。 你和模型 可是话系数。 如果我们只是输入对象名称或使用 print 函数,则会显示每个步骤的路径摘要 获得一个或多个 lamber to 的实际系数。 还可以使用新的输入数据在特定的 lander 处进行预测。 交叉验证可能是该任务最简单,使用最广泛的方法 绘制对象。 我们可以查看所选的 lander 和相应的系数。 landa mean 是给出最小平均交叉验证误差的 lander 值。 根据你和的 cv go net 对象进行预测 模型可以根据用户自定义,例如弹性网混合参数 alpha。 我们设置为 0 2, 并对后半部分的观测值赋予两倍的权重。 为了避免在此处显示太长时间,我们将其设置 lamda 为二十。 但是实际上建议将 land 的数量设置为一百或更多,然后执行上面类似的过程。 我们还可以对多元正态分布、二项式分布数据或泊松分布建立模型。