接下来讲讲鼠标的编码器,和微动不同的是滚轮的信号源自编码器,滚轮编码器分为机械式和光山式。机械式编码器的原理比较简单,刻度滚轮带动转盘,转盘上的触点和底座上的触点接触,产生 通断性好,手感好,精度高,但问题是寿命短。光山编码器使用红外信号检测滚轮的运动,和滚轮本身没有接触,优点是稳定性好和寿命长。引擎就是鼠标的传感器,他就像鼠标的心脏,为鼠标的运算提供动力。目前市面上较受欢迎的还是原向开发的相关引擎。 记得引擎客户请关注我以后的视频。我们常说的 dpi 或者 cpi 是指鼠标的定位精度,指鼠标移动中每移动一英寸能够准确定位的最大信息数。刷新率的不同指的是你鼠标所踩到的位移数据和电脑之间的通信频率不同,越高说明越能和电脑及时交换数据越快。一千赫兹呢,就是每零点零零一 刷新一次,当刷新率的鼠标可以在用户高速移动时,保证不会出现丢震的现象。响应高度, led 是一个容易影响使用体验的参数,他决定了鼠标抬起来多少高度后停止响应。现在很多鼠标都可以自己设定才成高度,而每一款鼠标都有自己的优缺点,并没有完。
粉丝8153获赞4.2万


这是一个编码器,然后编码器的主要参数给大家说一下。这边的话呢? a 体表示的是我们有 a 项和 b 项,四百表示的是我编码器的分辨率,旋转一圈发送四百个脉冲。 n 表示的是编码器属于 npn 型的啊,我们之前说过编码器就相当于是一个传感器,对吧?然后这是一个供电电源。 好,可以看一下对应的啊,咱线的颜色是吧?这个两个呢?我们是接固定电源的。啊,这两个呢?我们是 a 项 b 项啊。

大家好,现在为大家介绍一下这个太和变马器的使用方法,咱首先按开机键对他进行开机, 然后按这个开机键可以对灯光进行亮按的切换。 咱首先对这个声光报警器进行编码,咱用夹子夹住这个 j 这,然后按写出个数字 写入成功读出, 然后这个编码器可以提供好几种编码模式,咱同时按住七号键的九号,九号键进行切换,咱切换到 t 模式 这个电源监控模块进行编码,一下 按写数个数字 毒也是这样。 然后咱们对这个泰安这个舒展指示牌进行编码,因为现在的舒展指示牌都是 t 三个模式, 拍完这个书上只是拍啊。 最后咱们介绍一下这个编码器后面有两个爪子,这两个爪子默认出厂,他是没有生出来的,然后你可以用螺丝刀把这两个生出来,这个可以对于这个泰安这个新款的这些火灾报警设备进行编码, 咱先给他切切换到 t 三模式, 然后对这些设备可以直接进行编码,也是跟 j 这样接触, 如果还有什么问题,评论区给我留言。


同学,请你把这种绑起来然后举起来啊。好的好的,面试官啊。嗯,请你介绍一下传说中的基本架构啊。你好,面试官,传说中的核心的架构是?它主要是分这个编码器和解码器的两部分,编码器主要是有多个相同的神器堆积起来的。

今天这期视频我们来讲一下编码器,其实编码器和议码器它是两个互逆的过程,那什么叫编码,什么叫议码呢?首先我们要知道一下码制是什么东西啊? 马志,我们平常用的这个二金志呢,他是八四二幺马,这种马他每一位的位权是固定的,说白了呢,一零零零这一个二金志,他代表什么呢?代表第一位乘以他的位权是八, 加上第二位零乘以它的位权是四,以及后面乘起来肯定都是零了嘛,所以一零零零它代表的实进制就是八,这个就是它的位权。前面我们也都介绍过了,还有其他的一些马制,比如说于三马、二四二幺马、 五二幺幺码、于三循环码,还有格雷码、右移码很多的码,这些编码就是用来对于不同的运算处理过程当中来使用的。像我们前面讲卡 卡路图的时候提到过的格雷马,其实也是这里边的一种不同的编码形式,他在计算不同的问题的时候,会有各自的特点,能够使得一些问题进行化解,更方便的去计算。 那么这边也就不再太多的展开了,因为这些比较多的涉及到了逻辑电路的编程过程,以及这些计算机的知识了。我们来看一下编码器的逻辑电路他是什么样的一个过程,其实很简单啊,我们看这个编码器,他有零一二三四五六七 七个输入,他输出呢是零一二三个输出,说白了他输入端这八个输入只能有一个是真正有效的,其他所有的都是无效。什么意思呢?就是这前面相当于来说他是零一二 二三四五六七,那么对应后面输出呢?就是二禁止。比如说我们前面如果让 i 零有效,也就是说输入的是一 出,应该就是零零一吗?因为一的二进制他就是零零一。那如果我前面输入的是七,二进制是不是就是一一一, 它输出就变成一一一,这个就是编码器,就是把输入端的这个十进制的数字可以给它变成二进制。当然编码器还有其他的种类,前面有不同的码制,它可以编码出不同的东西来,那 里边的逻辑电路肯定也是有区别的呗。那最简单的就是这种八四二幺码,给它编码成这种二进制的形式,对应的 的编码表就是这个样子的。如果输入是 i 零的时候,那么它输出 y 零, y 一 y 二全都是零。因为输入 i 零相当于我前面告诉你编码器要 编码一个数字零,那他输出的二进制就是三个零。如果我告诉你输入编码是一,那输出就要变成零零一,对吧?那么 i 一 i 二 i 三一直往下,不同的输入对应的 需要编码的数值就不同,那么他输出的一个编码也就不同,所以对应下来就是这样一张类似于针织表的这样一个表格,然后我们可以对这个表格进行一下化解,和针织表是一样的操作。那么 y 二它等于什么呢?它等于前面二四二五二六二七这些,有一的都给它加起来。二一等于什么呢?有一的都给它加起来,对应的二二二三二六二七。好,那么五二零也是一样的。最后加起来之后,我们再根据这个输入的这些变量画出它的逻辑图, 这是四输入的后门,也就说输入端只要有一个是一,那么对应的 why 它就变成一了。我们会发现这个 i 零它这边其实没有用,因为这些输出呢,它和 i 零都没有关系,因为根据前面的图表可以得出, i 零无论输入是一还是零,好像对这个输出 都没有什么影响。因为 i 零是零的时候,代表它输入端不是零,输入需要编码的东西不是零。如果 i 零是一,它代表输入端需要编码的数字是零,那么它输出零的编码对应的就是零零零,也就是说 i 零这个引角 其实不影响他的输出,所以这个引脚呢,其实有和没有是一样的,就可以悬空在这了,这就是这个图所表示的一个, 那当然也可以用雨飞门来实现,那就把这个逻辑表达是再给他画一下嘛,就变成了雨飞门的结构。当然这种编码器有个缺点,就是你只能输入一个是高电瓶,其他所有的都是低电瓶,或者说你要看这个地方它标注的输入 低电瓶有效还是高电瓶有效。如果像上面这种呢,他是高电瓶有效。下面这种在字母上面写了一个横杠,代表他低电瓶有效。也就是说低电瓶输入的时候,比如说 i 一输入个低电瓶,我就认为现在输入的需 编码的数字是一,就是这样的一个意思。这种电路他只能输入端有一个引脚有效,其他的引脚都是不能有效的。如果两个引脚同时有效,那么他输出的这个逻辑状态就错乱了,就不知道他是什么样的情况了。因为我需要编码一个数字,结果输入了一个零,输入了一个七, 到底是要编码零还是编码七呢?这个输出的结果就就不对了呀?所以说这种编码器他有一定的缺点,再往下看还有优先编码器,什么叫优先编码器呢?就是说他输入端是有优先级的,那一般的优先编码器他可能是第七个输入端,优先级 要比前面的输入端都要高,七六五四三二一,数字越大的,他优先级越高。你输入七,输入零,那他编码出来的是七,而不会是零。你输入七,输入五,他出来编码的是七,而不会是五。就是这样的 一个过程,对应的把它的编码表可以列出来,那有些情况它是不存在的,这个时候呢,可以把它打叉叉掉,类似于针织表里边的约束项,我们再把它列出 对应的一个逻辑表达式,再经过前面的一些公式化解,比如说这边用到了吸收率,就可以变成一个比较简单的形式,然后再根据这个形式画出 对应的逻辑图。当然这个过程呢就比较复杂了,这里边呢还是和之前一样,画的像五线谱一样的,他每一条横线代表的是不同的变量, 比如说第一个它代表的是 i 七,第二条线呢,代表的是 i 六,第三条线代表的是 i 六。飞,以此类推,需要哪个变量对应的逻辑门,就在哪根线上面取一点出来。当然这里边有些点他没有画这种实心的圆点,他其实是连接在上面的,他没有画这个点,这个图有点没画好,那么当然 还可以使输入是低电瓶有效,那么我们可以把输入端这些变量都加上飞门,输出也加上飞门,把这一块再套到这里头来。总之输入端是高电瓶有效, 是低电瓶有效,那就取决于你这个内部的电路结构设计了,这个就是编码器的知识,当然他也有一些其他结构的一些组合的,或者说集成的逻辑门芯片。那么下期视频 我们就来讲一下易马器的结构又是什么样的呢?它其实和编码器是颠倒过来的,易马器说白了就是我输入一个二进制输出呢,变成 对应的哪个引脚为有效值?输入的一个零零一,他输出就是对应的第一个引脚,输出有效,这就是一码器,他这个编码器和一码器有什么作用呢?其实我们很明显可以看出输入一大堆的引脚,其中任意一个有效输出呢,可以 变成三个银角,这样的话可以节约这个银角,那密码器也是这样的,输入是几个银角输出,对应的变成更多的银角,那么也可以节省一些银角。比如说我们这边用一个单片机,一个比较集成的芯片,他的银角数量是有限的,那么他输出几个高低电瓶,要控制这一大堆的设备 怎么办呢?那就通过密码器实现一定的功能。这些东西用在哪里比较多?用在我们在室外比较常见的那些 led 的大屏,我们知道那些 led 的屏幕,它上面有很多的像素点, 很多颗小的 led 灯珠组合而成的,那么这些灯珠是如何去轮流的点亮,甚至说它上面那些字还能往一个方向移动,怎么去控制的呢?有没有一颗芯片,它有这么几万个银角,能够控制这么多的 led 呢?显然没有,这个灯片机上面那个主控它的银角也就那么几十 十个,那怎么控制上万颗 led 去点亮?他就是通过这种编码器,我这边芯片只需要输出一个二音质,通过这样一个编码器芯片出来,这边就有这么多影角,他每个影角有可能这一时刻是 i 零有效,这一时刻 是 i 七有效,不同的引角他连的不同的 led, 哪个引角有效,哪个 led 就亮,那当然这种他出来只是那么几个 led, 我可以把这两个编码器,一个控制行,一个控制列,这样的话就变成了八乘八, 等于六十四颗 led 就可以控制起来了,只用六个引脚,那当然你前面还可以再加一些逻辑电路,把它再进一步处理一下,可以实现用少量的引脚,还能通过持续逻辑电路分时复用一下,那出来的就可以 停的刷新这个 led 大屏,能够不停的让这个 led 对应的点亮熄灭,实现上面的字符移动,以及显示我们看到 到的那些 led 大屏。如果用手机去拍摄,你会发现那些屏幕上面的这个 led, 它其实是在不停的闪烁的,它其实就是它在刷新的一个原因,刷新的频率和我们手机拍摄的 频率不一样,所以导致他有的时候呢发出了光,被手机捕捉到了,能够拍出上面的字,有的时候呢拍不到了,所以就会导致它上面的一个字呢?感觉好像一跳一跳的,这就是这样的一个大屏幕 led, 他是怎么通过这种编码器 控制的?当然有这种集成芯片,这种一块大屏他可以分成好几段,每一段里边有几百颗 led, 通过几颗编码器行列分别控制,通过一颗单片机去控制他。好了,今天这期视频我们就讲到这里,感谢各位朋友的观看,我们下期再见。

搞自动化必学的十种传感器光电开关依靠光的发射与反射来检测各类弓箭的有无接近开关,通过电磁感应检测是否有金属类物件靠近 磁性开关,借助磁场感应调节或检测气缸伸缩位置。编码器利用光山信号检测四伏电机转速、移动距离。光纤放大器依靠光的强度区分色差与小件物料 温度传感器通过热敏原件监测设备油温,防止过热。压力传感器借助压力感应检测弓箭按压受力大小。色标传感器利用光线对比识别物料颜色,实现物料分选。 安全光山通过光束遮挡检测人员闯入,起到安全防护作用。位仪传感器依靠感应信号变化检测油缸滑台移动形成。

大家好,这个电动四轮车现在的毛病是有电,但是车子呢,他不是仪表盘,这里是有电的,并且呢控制器这里他还发出了一场气短的报警声音,咱们听一下, 一长期短,这个控制器和电机它都是交流的,不是直流的,像这种大一点的四轮用的是两千五百瓦或者三千瓦的,基本上都是交流控制器和交流电机。 像这种异常气短的报警声音,他就使电机里面的编码器损坏,咱们换一个编码器就可以了,像这种交流电机里面的任何零件损坏,他都会发出滴滴的声音,不同零件损坏他所发出的低声多少呢? 还是不一样的。咱们这个视频的最后啊,我把这个低声多少所代表的故障原因发在最后,大家感兴趣的话可以收藏一下。现在呢咱们就换这个编码器,这个编码器上面是四根线,咱们把这个插头呢把它拔掉。 编码气囊赛点击到这个位置啊, 这个呢是新的编码器,这个橡胶圈呢,它是防水防尘的, 新的编码器上面的电源线包括信号线这些呢都要对好他才能正常工作。现在呢咱们再测试一下一键启动, 加油们测试一下,听下声音。


嗯,大家好,今天给大家分享一下细微变频器编码器角度之学习的一个操作步骤。通常情况下,我们在更换完编码器,更换变频器或者变频器主板后, 都需要做一个变化器的原点子学习,那接下来呢,就把这个详细的步骤分享给大家。呃,首先我们变频器要送电,如果是电梯的话,就是也要打上检修。送电之后啊,先检查变频器是否有故障出来,我们检查故障的方法是 按一下线的,再按一下 rlam, 这是检查我们的一个实时故障,就是说,呃,我们现在是有故障的,我们要把它清掉,清故障是按一下确认,这个时候我们是 loler 就是,对了,那我们现在是没有故障了,然后按一下退出,往上 翻一下,进入 sorrys, 按下确认,再按一下确认,再按一下确认,显示输入密码。那我们这个时候输入一个密码,密码两种,一种是从右往左的二二六八二,还有一种是从右往左的五四三二一,那我们就输一个二二六八二,这个时候 把密码输进去二二六二六八, 然后按确认,然后确认完了之后按一下退出,这个时候显示你 sorry, 拍死我的,千万不要按确认,很多朋友在这个时候按确认,然后就说密码说的不对, 我们往上翻一下,显示一个切克拍斯波尔,按确认,呃,然后往上翻六下,一下,两下,三下,四下,五下,不好意思按五下, 然后是 bruss plus, 是答案确认。这里是一个奥特 facelusturt, 我们不管他,这个是一个动态的自学习。我们往下翻一下,进入一个奥特 face dlat 是一个静态的止血型,这个时候我们按一下确认,那再给上呃齿轮和方向就可以了。然后你们就是现场的话,就是按下确认,按按一下检修往上或者往下运行就可以了,确认 呃百分之十到百分之五十好出现 end, 我们按把十人和方向断掉,然后按一下左键退出,然后再退出,再退出我们要去保存一个参数,是往下翻两下,然后按确认 spa 里面进去一个 stop kego, 往上翻一下是一个 cctope 格,然后点一下确认这个是我们的参数,就已经保存好了。然后我们这个电梯就可以开了, 可以看一下我们的速度也上来了,电机运行没有问题。

我私下跟你讲啊,我一句话跟你讲透所有的自动化设备。减速机说白了就是把转速变慢,力气变大,四伏说白了就是指哪打哪,位置特别的准。那你说自动化 其实就是机器人自己干,不用人盯着。变频器就是控制电机快慢,还省电。那我要问你了, p l c 是 啥?就是设备的大脑发号施令的电机就是通电就转,提供动力。连轴器就是连接两根轴平稳传递,最后一个编码器就是一个测位置测速度给系统反馈的东西。

今天我们学习一下编码器的分类及工作原理。编码器在各行各业有着广泛的应用,那我们今天说的编码器呢?主要是用在四伏电机上用来做反馈装置的编码器, 他是四伏系统做病房控制不可缺少的一个部件。 那我们的内容主要分为以下六个部分,一、编码器的分类和基础知识。二、光电增量式编码器三、光电绝对直视编码器四、磁电式编码器五、旋转变压器六、编码器常见参送 从编码器的检测原理和它产生的信号上来分,编码器可以分为模拟量编码器和梳子编码器。模拟量编码器又分为旋转变压器、 蒸鱼泉变马器、磁电式增量变马器这三种,他们检测产生的信号都是蒸鱼泉的模拟量信号。 现在的编码器内部集成度越来越高,他们都带有模拟量数字量的转换装置,所以他们最终给到四伏驱动器的信号都是经过处理的数字量信号,而四伏驱动器内部不需要再做模拟量的处理。 数字编码器又分为增量编码器和绝对值编码器。增量编码器常见的是光电式的增量编码器,他输出 a、 b 两项信号,同时还有微箱信号。微箱信号一圈只有一个 绝对之编码器,他输出的都是绝对的位置信息。 他的位置编码一般分为自然、二进制码和格雷码。 什么是变法器?变法器是将旋转信号转变成电器信号,它主要应用在轴的闭环控制和大多数的自动化过程中,他为闭环控制产生速度和位置的实际测量值。 右头呢,是增量式编码器和绝地质编码器的一个示意图,嗯,增量编码器它输出 ab 两项脉冲 啊,绝对是编码型的,他输出的一般是数据。嗯,他又分为单圈和多圈。下面我们看一下增量型编码器和绝对 变马器他的一个主要区别。增长型变马器呢,在运行过程中如果发行断电再上电,那我们就需要进行原点复位 啊,绝对执行变化性的,不需要再进行原点复位,他可以直接继续运行,所以他的安全性和生产效率都会较高。 我们再看一下增量编码器的基本原理。光电增量式编码器是一种常见的增量编码器,它主要有发光管、码盘、光电接收管以及放大整形电路这四部分构成。 我们先在马盘上镀上挡光材料,然后呢再在马盘上刻出 n 道通光孔及马道,马盘转 一圈呢,就会产生 n 次的通光和遮光,那光电管接收到这个光信号之后就会产生电流信号,电流信号在经过放大整形电路就会输出脉冲信号, 因为马盘是跟随电机转子转动的,所以我们驱动器对脉冲进行技术,就可以得到这个位置信息,同时也能求得单位时间的转速。马盘呢,一般有金属马盘,玻璃马盘,还有塑料马盘。 玻璃马盘呢,是在玻璃上沉积很薄的刻线,他的热稳定性及轻度都可以达到很高,但是比较容易碎,所以我们在安装四伏电机的时候一定要小心,不能大力的敲击电击轴,否则容易造成变把器的这个损坏。金属马盘的直接与通和不通刻线玻璃碎, 但由于金属有一定的宽度,他的精度就一定的限制。另外金属随着温度的变化,他比较容易变形,他的热稳定性呢,比玻璃码盘就差一个塑料机,塑料码盘是经济型的,他的成本比较低,但是精度、热稳定性、寿命和前两者都有一定的差距。 呃,编码器呢,他输出 ab 两相的信号的周期是相同的,但是他们相位上相差九十度,结合这两个信号呢,我们就可以判断出电机的转动方向。 如果 a 项超前于 b 项,那他就是顺势中旋转,如果 b 项超前于 a 项,他就是逆时针旋转。除了 a、 b 项之外呢,他还有一个 z 项型号, z 项型号就是 每圈只有一个表示编码系特定的位置的一个参考。 同时编码器增量。编码器呢,它还有一个背屏的技术,就是如果我们只利用 a 项的上升盐和下降盐,那我们就实现编码器的两倍频。如果同时利用 a 项、 b 项的上升盐和下降盐,就可以实现四倍频。 比如说我们比较常见的两千五百线的这个编码器,如果用四倍屏之后,那我们就可以得到两千五乘以四一万的分辨率。两千五百线呢,就是指我们在马盘上刻的这个马道啊,他有两千五百个。 同时编码机还带有 uvw 型号, uvw 型号 用来给转子做措施定位,这三个脉冲相互之间降位相差一百二十度。我们都知道我们现在常见的四伏电机都是交流泳池四伏电机, 他的转子呢是永磁体,那我们上电需要知道这个转子的磁极的一个具体位置,那我们就可以用 uvw 来来知道这个位置。 我们看一下这个头最上面这个波形呢,是一个正选波,他是反向电动式的一个波形,有电机反向电动式的一个波形, 中间呢这三个就是 uvw 的波形。最下面这个零到二派表示四伏电机就是转动一圈,就是物理上从零转到三百六转动一圈,那反向电动式的一个脉冲呢?呃,一个周期 表示四伏电机转子转动一个磁极周期,也就是说比如说我从一个 n 级,然后转到下一个 n 级,那这个就会有一个完整的一个呃,一个正选拨,我们可以看到在一个周期内, 然后 uvw 信号呢,一共分成六个,六个六个位置,那通过这种方法呢,我们就知道这个转子的一个具体位置, 下面我们看一下绝对值编码器。什么是绝对值编码器?绝对值编码器由机械位置决定的,每个位置是唯一的一个编码,他不需要记忆,无需找原点,也不用一指记数,什么时候需要知道位置就直接去读他就行了, 他的抗干扰特性以及数据的可靠性就比较高。绝对值变化轻的又分为单圈绝对值和多圈绝对值。单圈绝对值呢,就是只能 记三百六十度以内的这个数据位置,当超过三百六十度,他又回到原点。多圈绝对值呢,是在单圈绝对值的技术上又增加了一个记圈的一个一个装置,两者结合呢,就实现了一个多圈的一个多圈的一个技术。 那我们看一下单圈绝对是变化器,他在转动中测量光电马盘上的刻线, 已获得唯一的编码。当转动超过三百六十度,编码器又回到原点,绝对编码器的每个位置都有一个唯一的编码,他不像 能量式的编码是通过技术偏离远点的脉冲来得的,绝对是编码器可以直接读取位置信息。我们可以看一下,这几个码盘就是绝对是编码器的码盘的一个事宜, 这个绝对是麻烦自然而精致的。我们可以看到从内到外他是有三圈,对吧?一二三有三圈啊,然后呢, 每一圈他都有刻有呃通光和遮光的地方啊,然后这三圈结合起来呢,就形成了一个个的这个编码。比如说这个编码是零零零, 他的顺序应该是从外到内,这个的编码是零零零,这个编码是幺零零,这个编码是 零幺零,这样呢,我们有三个,三个圈,那这个就可以实现八个位置,也就是二点三四方,所以绝对是编码器,他的这个精度和我们科的这个圈数有关系。 这个是自然二进制的编码的一个码盘,然后这边是格雷码的一个码盘,格雷码的一个特点是每相邻的两个位置他只有一个 呃一个数是不一样的。比如说看这两个零幺幺和幺幺零,对吧?这只有零和一不一样,然后零幺幺和零幺零,这这两个 只有零和一,这个这个是不一样。所以呢,根据这种特性呢,他的可靠性就会更高, 相邻的两个他只有一个位是不一样的,这样就是我们可以通过这种方式来教育数据,让这个位置的编码更准确,就是出现一些异常的时候,我们可以通过这种方式更可靠的来判断这个位置信息是否正确。 多圈绝地质编码器是在单圈的技术上增加了 g 圈装置, 常见的有机械绝对值机圈以及电子增量机圈,这两种机械绝对机圈是采用中表齿轮机械的原理,当中心马盘旋转时,通过齿轮传动另一组马盘, 在单圈的基础上再增加圈数的编码。它的圈数呢,是有一定的限制的,比如现在我们比较常见的有四零九六圈和六五五三六圈 这两种,他的圈速不是无限制的,是有限制的。另外一种呢,就是电子增量机圈,通过电池记忆圈速实际上是单圈绝对值多圈增量,好处是增加了一种机械齿轮,经济体积小且没有圈速限制, 但是呢,他实际上还是呃不是真正意义上的绝对值啊,就是在电池如果没有电了,那这个就实现不了多圈激素了。 下面我们看一下磁电式编码器,它也是一种角度或者位移测量装置,其原理是采用直走或者霍尔原件对变化的磁性材料的角度或者位移进行测量。磁性 材的角度或者是位移的变化会引起电阻或者是电压的变化,通过放大电路对这个信号进行处理,然后就能得到脉冲信号或者模拟量信号,从而达到测量的目的。 磁性转盘磁极的数量以及磁组传感器的数量以及信号处理方式决定了磁性变化器的分辨率,它的优点是不会受到灰尘以及湿度高温震动的影响。 这个这个头呢就是采用直走元件这个编码器的一个原理头 这个词随着词部的呃旋转,这个词组原件周围的这个磁场会发生变化,那他的组织就会发生变化。如果我们把这个原件 通上电流,那他的电流就会发生变化,通过这种方式呢,我们就能测得这个他的位置的一个变化。 这个呢是霍尔人间的一个原理图,就是我们在半导体上,然后通上电,然后再在半导体的正上方放上永磁体,那么这个半导体的上下两个位置就会产生一个感应电压啊, 磁场强度不同,那这个电压也不同,就通过这种方式呢,我们就能得到这个位置信息。 旋转变压器呢由钉子和转子两部分组成,其中钉子绕走作为变发器的原边,接受绿色电压,转子绕走 作为变压器的负边,通过电磁组合得到感应电压,通常负边使用两个绕走互相形成九十度的向回插。 通过这个呢,我们就能在负边得到正鱼旋的一个一个模拟量,然后呢我们再对这个正鱼旋的模拟量进行速速化处理,就能得到这个位置信息。 相比于前面的光电变化器,旋转变化器更适合于各种恶劣的外部环境,比如说油污比较大,震动环境 这些场合,光电编码器的码盘容易受到污染,或者是因为震动比较容易损坏。但是呢,旋转变压器编码器就可以,旋转变压器就可以克服这些缺点。 旋转变压器的缺点是模拟量容易受到噪音的干扰,分辨率不高,在有些场合他控制的效果不太理想。 我们再看一下编码器的常见参数。首先看一下分辨率,分辨率是指编码器能够分辨的最小单位。对于中量式的编码器,它的分辨率表示为编码器转轴旋转一圈所产生的脉中术, 即脉冲数。美转马盘上透光槽的数目其实就是分辨率,也就是我们常说的多少线,常见的有五到六线线。 另外如果是在四分频,那比如说六千线的,他就可以达到两万四的一个分辨率。对于绝对支持的编码器,内部马盘上所用的位数就是他的分辨率,单位是位。具体还分单圈分辨率 和多圈分辨率,也就是前面我们所说的他在马盘上有多少圈,一圈就是一位。精度,精度是指编码器每个毒素以转轴实际为之间的最大误差,通常用角度、角分或者角秒来表示。 一度等于六十角分,等于三千六百角秒。绝地质编码器有些参数里面比如会写上正负二十角秒,这个就表示编码器输出的毒素与转轴实际为止之间存在正负二十角秒的误差。 另外精度有马盘克线加工精度、转轴重新度、材料的温度特性、电路的响应时间等各方面因素共同决定。最大响应频率是编码器每秒输出的脉冲数, 单位是赫兹,它的计算公式是最大小安瓶,等于分辨率乘以轴的转速除以六十信号的输出形式。对于增量式的编码器,每个通道的信号独立输出,输出电漏通常采用节电机开漏输出、推管输出、插分输出。 对于绝地质的编码器,由于直接输出几十位的二技术,为了确保传输速率及信号质量,一般采用川航输出或者走线型输出,例如我们通常 熟悉的比如说同步川航接口 s s i, 另外还有一些其他的,比如英对特,还有贝斯等等, 另外还有 rs 四八五,卡欧本,一四 k 的,从这些总线输出。 好,我们今天的内容就到这里,谢谢大家。

我们继续学习 nlp 这个视频,来看一下 encoder decoder 和 sequence to sequence 架构。 了解 transformers 的 同学看到 encoder decoder 肯定不会陌生,没错, encoder decoder 架构呢,也是学习 transform 的 基础,所以这个视频还是特别重要的。 前面视频我们已经介绍到了 r n, l, s, t, m 和 g r u, 它们都能做很多 n l p 的 任务,但是呢,其实这些做完之后呢,还人类呢,还是没有解决机器翻译问题。那么是为什么呢?我们就来看一下。 首先 r n 它特别擅长处理 n l p 中的一类问题,它是一种输入式训练输出呢,是一个单值任务,这是什么意思呢?比如说我们读到了一个句子, i love this movie, 对吧?就是 r n 不 断的阅读,阅读到了最后呢,他会产生一个隐藏态,最后一步的隐藏态,把这个隐藏态交给全链阶层基,然后进行预测,预测了之后呢,可能输出的就是这个文本的感情的分类。他把一个续列读完了之后呢, 直接在最后做了一次分类任务,这是一个正向的类似的,无论是情感分析,新闻分类,还是有垃圾邮件的识别呢,其实都是这一类,这是 r n 非常擅长的 这种一个输入序列对应一个任务的输出呢,我们就称之为序列到单值的任务,就是 sequence two one。 但是现实世界中大量的 l p 呢,并不符合这个特征,因为我们很多 l p 任务呢,输入的时候是序列,输出也是序列,它不是一次性的任务,不是一锤子买卖, 你要对它进行连续的输出,比如说这点,刚才说了,机器翻译就是这样子的,我输入是一个英文的句子,输出并不是让你给我说它是英语还是俄语, 我要求把对应的中文给我输出出来,它里面这是一个很复杂的,它并不是一次性的任务。还有就是文本的摘要对话,系统用户说一句话你就回一句话,还有语音识别,给你一段音频,你要把对应的文本给解析出来, 这种时候呢,其实它都不符合 sequence to one 这种形态。那很多同学也说了不对,你把最后的一个隐藏态才交给了一个任务头去做分类。前面介绍 rnn 的 时候,我们提到过, rnn 的 每个隐藏态都可以接一个任务头,如果你每个隐藏态都接任务头,它输出的不也就是一个续列了吗? 啊,当然这种也是可以的,比如说呢,我们有一个输入,我不喜欢电影,它经过了每个 r、 n、 c l 的 处理,里面也可能是 l s t m 或者是 g i u 啊,都是可以的,它产生了一个隐藏态,这个隐藏态你不要着急往后传递啊,传递传到最后一个隐藏态你才去做分类, 每一个隐藏态你都截一个任务头让它去做分类。比如说我是代词,不是副词,喜欢是动词,电影是名词,你输出来,这不也是输出的是一个续列吗?用类似的方法不就能做机器翻译了吗? 但其实还有点不一样的这种呢,其实没错,它其实就是续列标注,我们也称之为 sequence labeling, 这种做法它是有有特点的,它第替个,比如说第三个输出,它就肯定是对应第三个输入的, 你输入是有多少个 token, 你 输出就会有多少个标签。它呢,不只是说个数是完全一一对应的,它顺序也是一一对应的这种,它擅长的是这种任务,但是明显机器翻译不属于这种任务。比如说我有一句话, there's a cat under the table, 但你翻译它的时候怎么翻译呢?桌子下面有一只猫,你会发现啊,不止语句不一样, under the table 呢,但是翻译之后变在了前面了,而且呢, token 的 数量也是不一样的,它们不但是个数对不上,顺序也对不上,是不是啊?所以说,肯定没法用 sequence leveling 的 方法给做出来。 而这种时候,我们的期待是什么呢?这个模型要有一种什么能力呢?它得让输入序列和输出的序列对,输入和输出首先都得是序列,但是它们得让这两个序列拥有着彼此独立的长度和时间轴。 就你的长度呢,也可以是不对应的,你处理出来的时间步骤呢,也可以是不一致的,这种时候才能做机器翻译。所以说呢,它一直解决的比较晚,终于到了二零一四年前后的时候才迎来曙光。 在二零一四年六月之前啊,就是本杰奥团队发表这个篇重要的 r n decoder decoder 论文。之前呢?是机器翻译呢?还是普遍是统计学上的?我们之前也介绍过统计学的机器翻译,也就是 s m i t。 它呢,实际上在翻译的过程中,它认为,比如说一个句子啊,是由非常多短语组成的,比如说这个短语关系, 我要把它想翻译成英语,怎么办呢?我就找到了这个中文,是关系到英语呢,有个词表,有一堆词,我看看哪个跟关系最像,我把它给挑出来,我把这些挑的像的,我再做组合,就把这个中文翻译成英语了。传统的继续学习确实就是这么干的, 在班统计学是这么做的,其实就是圆与圆的短语和目标语言的短语呢进行匹配,而这个环节肯定是非常重要的,本届团队呢,就在研究如何改进 s s m i t 的 时候,把这个匹配环节呢交给了神经网络进行学习,不用统计的数据了,我就是用神经网络来学习, 他其实就怎么办呢?他先同时啊,在这篇论文中,我们前面介绍的 g i u 也是在 r n encoder decoder 这篇论文中给提出来的,所以这篇论文还是很厉害的啊,既提出了一个划时代的思想,又提出了一个具体的模型,他怎么办呢?利用 g i u, 首先呢,把圆与圆的短语 给编码,把它压缩成了一个固定维度的向量,其实我不用统计的个数去找,你对应中对应目标语言中,谁跟他出现的频率最高了,我干什么呢?我用神经网络学习看看呢,根据这个向量,哪一个是跟他更像的短语,把它生成之后呢?这个短语不就有了吗? 其实就是前面我们称之为编码,到后面就称之为解码,所以说它就是 r n encoder decoder, 当然因为 g r u 也是 r n 的 变体嘛,所以就是 r n encoder decoder 这思想,但是它其实并不是用来做翻译的对不对啊,它只是用来找这个短语和谁更像,你最终呢,还是要各种像的短语呢,重新顺序, 因为英语和汉语的顺序也不一致嘛,这种时候才能。所以它整体的架构还是传统的统计学的机器翻译,只是把一些谁跟谁更像交给了神经网络来做,其实就是交给了这个 encoder decoder 的 模型啊框架来做,帮他来找出更合适的翻译的解。 所以说呢,它整个一文还是传统的机器机器翻译, encoder encoder 只是一个辅助打分的模块。我们再多提一下本杰奥跟他的团队啊,这个一作是他的研究生, 其实前面我们就介绍了,他也是深度学习的三巨头之一,新墩是做了各种各样的深度学习的反向传播等这些理论研究。我们前面介绍 cnn 的 时候呢,也提到了杨立坤,他是在图像识别领域做出了非常多贡献的, 而本杰奥作为人工机器学习的三巨头之一呢,他大部分贡献是在 nlp 领域。其实前面我们介绍 inviting 的 时候,也是他团队先研究出来的,是吧,他们三个呢,也都得了的图领奖, 它这篇论文呢,同时 g r u 也是来自于这篇论文,所以说呢,还是很厉害的。后面还有一些它的贡献,我们慢慢看。 呃,同年就是一四年呢,这篇就上篇论文呢,实际上是一四年六月发表的,在一四年九月的时候呢,来自谷谷歌,谷歌的伊利亚苏斯克夫呢,也发表了一篇论文,就是大名鼎鼎的 sequence to sequence, 它俩的时间非常的接近啊,只是稍晚一些,它也看到了 encode 的 论文,也有了一些引用,但 但是他还是有点不一样,他也是用的 in color 底 color 的 先编码再解码的思路,两个实验室是同步进行研究的,只不过那篇论文发表的比较早。但是呢,他比较厉害的点在于什么呢?他并不是把 这个 in color 呢就作为一个短语的一个匹配的,他是把整个句子,把整个完整的句子都交给神经网络,你就给我编码的时候,你把完整的句子都进行编码, 在解码的时候也在把整个句子都解码成对应的语言。因为中间就没有什么所谓的打分系统啊,什么统计之类的了,就没有统计学的机器翻译这一步了,就是完全交给神经网络来干了。 同时呢,他把单层的 g i u 呢也改成了四层的 l s t m。 因为 g i u 呢本身就是这篇论文发表的,伊利亚苏斯克福在研究的时候也没有他,所以他还是用的 l s t m 就原码器读完整个原句。解码器呢,在逐词生成论文,跟现在的大模型打字机一样,哒哒哒的输出是一样的,它也是逐词。这个架构呢,就称之为序列,到序列就 sequence to sequence。 一 听这名字我们就感觉很厉害,把所有的序列 to 序列的问题呢都能给解决了。 所以说呢, encode to 呃, decode 是 思想,先编码再解码,这是思想。而 sequence to sequence 呢是具体的架构了, 我们可以看一下四层的 l s t m 把整个语句都读进去,把经过四层的进行转译之后呢,变成了一个压缩了一个向量,一个隐藏层,我们称之为上下文向量, 就 context vector, 我 们编码完了就把它交给解码,也是通过四层,渐渐的就把它给解码成对应的英语了,就是这样子做的。 当我们来看一下具体 sequence to to sequence 这个架构呢?这个模型又是怎么工作呢?它一次完整的生成是什么样子呢?可以简单理解,有六个步骤。第一步是编码,它是把整个输入的全部的 token 都给读进去了,得到了一个最终的上下文儿。 我爱自然语言处理,其实就是一个个的 l s t m 的 style, 就 不断地是用隐藏态,不断地去呃,处理,终于这个是 endos sequence, 就是 结束了,变成了一个最终的上下文了。 ok, 第一步就完事了。第二步干什么呢?其实是编码器用它这个上下文呢做抽象,把它给抽象成了一个 s 零这种, 这就是解码器的初始的隐藏态了,在干什么呢?接收 b o s 就是 b o s, 或者是以后我们看到 s o s 都是一个意思啊,就是 start 或者 begin o sequence 就是 这个开始了,你要开始进行解码了,我把第一个 token 给你。第一个 token 呢,肯定说文就这个开始了,就预测下一个, 所以说它这个就把它的隐藏态给进行驶驶化,之后变成它的驶驶的隐藏态。 ok, 你 第一次我开始解码的时候,肯定是 b o s, 你 开始吧,它就解锁 啊,经过解码出一个 i 来,再把 i 当成下一步的输入,但它这个隐藏态也一直保持在更新着啊,虽然它驶驶态的时候是根据它生成的,但后面因为它也是一个个的 l, s, t, m 的 cell, 也是有对应的隐藏态的。这块儿如果大家不太清楚的话,最好翻一下前面 r, n 的 视频,还有 l, s, t, m, g, i, u 的 视频就会清楚了。 再把 i 的 当成第二个,你根据 i 再去预测 like, 再根据 like 预测 n, l, p, 预测叹号,叹号预测应该是这个是 end of sequence 就 结束了, ok, 那 就翻出或者是翻译的长度超了,就停了下来了。它其实就是这样一个个不停地循环,循环,直到它认为该结束为止。 它如果说生成是 e, o, s, 就 说明我翻译完了,就停下来就行了。这个其实就是 sequence to sequence 的 工作流程啊。输入在编码器内部加工,输出呢,在解码器内部推进 两个时间轴也不必等长,我也不管你,你是多长的,我反正最终会把你所有的都进行编码,我只是拿着你编码后的结果进行处理,至于你编的流程,我不参与, 所以说呢,它也没必要去做位置的对齐。那如果我们通过一段尾代码来理解这个过程怎么办呢?首先编码器它的过程呢,很简单,我们把输入 token 呢都弄啊,把它进行编码,它的可能呢就会给我们了一个 context 的 上下文了。我们认为得到这个上下文之后呢,就进入解码器了。 我解码器先促使化一下我的解码器,用你给我的这个上下文,你把所有的输入呢都进行编码了, ok, token 呢?我弄一个开始的符号 out push 呢?其实就是输出 开始呢,这个叫自回归,他为什么叫自回归呢?其实就是因为他每次是生成的时候都是用的自己上一步的输入。回归是什么意思啊? 就根据输入得出,输出就叫回归,自回归呢,就是他的输入呢,来自于自己,所以就叫自回归, 直到输出。 eos, 我 模型认为我该结束了,或者是说模型还认为没结束,但是输出已经到我们容忍的极限了,也可以主动让程序停下来。好,它就判断只要是 token 呢,不等于 eos 或者是长度呢,没有超标我就开始进行, 怎么样呢?我解码就是 token, 我 第一次的 token 就是 b o s 啊,就是文章的开始,还把 decoder state。 decoder state 是 什么?其实就是根据 encode 内容抽象来的东西,我把它输输入给解码器,解码器就根据第一次的 token 就是 b o s 生成一个, 这个 logis 呢,就是一个概率分布。我们比如说我们实现一个,这是伪代码,没有做实现处死方法,来上这 logis 里面去选一个最佳的 token, 生成这种 token 就 把 b o s 给取代了,是不是啊?比如说呢,我们可以用贪心策略,谁的概率最大,因为这 logis 是 一些对应的 token 和它的分布概率 也可以呢,其实是用各种其他的彩样,或者是让它生成多样化啊,这都没关系,最常用的呢,可能是说谁的概率最大,我就输出谁,我得到了新的 token, 我 把把它给拼到 outpost 里面来, while 里边,它只要是不是 eos, 比如说它是 i 了,就是 i like nlp 嘛,那我接接着进行输入,只不过这时候的 token 就是 i, 我 第上一次我输入的结果不再是 bos 了,我输出的结果其实它就是,所以叫自回归嘛,直到输出 bos, 我 就认为我该停下来了, 这个就是 sequence to sequence 的 伪代码实现啊。那我们就来看一下它训练的过程的一些细节。刚才我们讲的是推理生成的过程,在训练的时候呢,它还是有一些小技巧的。 首先呢,虽然说在生成的时候,我们知道他每次都在用自身进行训,刚才给大家看啊,他每次都是在用自己进行预测,比如说第一,第一次给预测出了 i 来,我就把把他给输入到第二次,当成他第二次的输入 like, 第二次的输出呢,又当成第三次的输入, 在生成的时候或者在推理的时候就是这么干的,但在训练的时候是不能这么干的。为什么呢?比如说啊,我们的目标是我喜欢深度学习,我的目标的意文,我想让你翻译出这个来,我给你的是可能是 i like, deep learning, 结果你翻译的时候,我,比如说我 翻译对了模型,预测的是对的,是不是啊?第二步,我把我给输入进来了,结果呢,其实我们是应该输出喜欢,但是 i like 有 点像想输入是想了, 如果说我把想给传给第三步,那就就是我想深度呢,它又给翻译成了深入,深入呢?它 learning 呢?它又给理解成了反思,你会发现它一步错下去,它就会步步都错下去了。 这个其实是问题越来越大了,是不是啊?就你越预测,你只要错一下,后面你就会一路错下去,我就没法训练了,那怎么办呢?因为我们是监督学习什么的,我知道我想让你翻译成我喜欢深度学习, 我们是知道正确的翻译结果我们就要用起来。所以在训练的时候,无论是说模型在递递减一步预测出来了什么,我们都把真实的标签当成下一步的输入,让他去去预测去。 比如说我喜欢深度学习,我们怎么干呢?其实这个在上节课的时候我们也讲到过,其实就是诱移,我们只要把目标训练整体诱诱一次,当成解码器的输入。 我不管你预测出来是喜欢还是想,但是呢,我只是用这给你算一下你的概率,你这一步预测错了多少,但是让你进行下一步预测的时候,我会把并监督, 也就是 label 中的内容呢传递给你。可能你刚才预测出来的是想是不是啊?你预测错了没关系,但是我让你预测下一步的时候,我会把喜欢正确的一文传给你, 就不让你接着用错的。训练的时候是能这么干的,因为你明明知道后面正确的是什么嘛,就防止他一路错下去。第一次呢,输入的是 b o s, 我 知道你就应该预测出我来, 你预测不出这,你预测出来的不是我,我只是给你做一个错误的打分。但是在下一次输入的时候,我会把我给传给你,让你对我进行下一步的预测。 下一步预测出来是想你预测错了,我会把喜欢传进来,不会用你生成错的想的,防止连续错下去。其实呢,这个就叫做 teacher forcing, 有 老师在这强制我不说你错没错,我不管你说预测的是什么,老师强迫你都回到正确的路径上来。大家一看到 teacher 这个是不是有点想起蒸馏来了,蒸馏也是叫做老师模型,是不是啊?是一样的,但是我们计算损失的时候是不变的,其实这个就是我们在 计算手,我不管预测的是什么,我反正下一步给你输入的都是你我又移后的结果,相对而言,插入一个 b o s 嘛,又移了一下, 是这样来保证每次的你都是用的。我们就是 label 上的内容,但是我在计算损失的时候,可是按照你预测错了,我就给你计算损失的,不会按标签来给你预测的,不然就永远是对的了。是不是也是用的交叉伤损失?因为这中间是有多个步骤的嘛,我们每次这 只有把最后 e o s 给预测出来了,我再一次前向传播才结束,是不是啊?这种时候在计算损失的时候,它有非常多种啊,我也可以把每一步你错的损失呢,做一下求和,也可以做一下平均啊,等方向让反向传播的时候更新参数。 所以说呢, t c f c 这种方式呢,并不会改变损失函数,它改变的是解码器下一步要输入什么,不用模型预测的错的结果,只用标签的内容, 这是训练的时候的一个小巧思,另外还是伊利亚他引入的一个训练的小巧思,是什么呢?他训练的时候,比如说我们原始的语句呢,是 i like deep learning, 但其实他给解码器输入的时候啊,其实也并不是说 i like deep learning, 他 实际上是把它做了一下翻转 判倒着输入了,为什么要倒着输入呢?其实这样的源源语句,开头的 i 其实就变成最后一个了,跟解码就进入了编码的末尾,进入模型了,对不对啊?但解码器最先生成的我的时候距离是最近的,我们上节课在讲,无论是在讲 r n n 还是 l s t m 的 时候, g r u, 虽然他们改 l s t m 和 g r u, 虽然改善了 r n 的 短记忆,比较呃短的问题,但它也只是改善了而已,并没有根治, 我们会担心他已经忘了前面的爱了。所以说呢,把他给放到最近,这样他最开始对下去的概率就比较高。所以说这只一个技巧啊,没有解决他的循环依赖的问题,但是缩短了源语言和目标语言 token 之间的依赖路径了,这样让他训练起来呢,就会更简单一点。 倒过来也没有关系,就是反正模型都能认 sequence to sequence 架构的原理实际上比较简单,为了加深理解,我们动手做一个实验,从零训练一个迷你的英中翻译的模型。 这个模型只认识两种句式,在其中呢,一种是语序有变化的,英语是这样子的, next to the dot 在 后面,但是呢,翻译成中文的时候呢,它就会变成前面。 另外一种句式呢,顺序是中英文是一致的。这两种啊,它是怎么来的呢?实际上是我们写了一些动物啊,颜色,位置,物体,还有数量这些词,让他们不停的组合成句子。 而中英文呢,都是一对,所以说呢,叫做受控与对。我们划分成八比,一比一的训练级,验证级和测试级,看一下整体的数据情况,数据就是刚才介绍的了,词表的话,英文有七十一个 toc, 中文呢有五十八个,我们每个单词呢会给他对应分配一个 id, 这个 id 不是 为了做 embeding, 只是为了我们查询的时候比较快,同时呢,我们在 embeding 的 时候呢,让它变成一个六十四维的 gre, 里面的隐藏层呢是用一百二十八维,训练方式就是刚才介绍的 teacher, forcing, 还有源语句的顺序翻展,这样下来呢,模型的参数量是十六万左右,很多同学一看到,哎,怎么会有 gre 呢? 没错啊,我们就出于复杂度的考虑呢,编码器和解码器就不用,就伊利亚论文中的 l, s, t, m 了就行了, 这样呢,其实比较简单,因为我们训练出来的这个模型也比较简,只认识两种句式嘛,虽然说和 sequence to sequence 的 论文中并不完全一致,但是思想还是一样的好。我们先来做第一步就是把元语句呢做一下翻转,并且呢在前后分别加上开始符和结束 符,代码就不带着大家一一的看了,最主要的呢还是这一句,给它加,开始的时候加开始符号,结束的时候加结束符, 我们后续都会对这个句子进行处理。看一下我们那一次训练的时候,每个 batch 是 用了一百二十八个句子,就每个 batch 里面就有一百二十八个句子,但是这一百二十八个句子,因为你是在同一个 batch 中呢,长度是要保持一致的, 可是自然的训练它长度就是不一致的,对于我们就会找出这一百二十八个,一批是一百二十八个中最长的那一个,其他的在后面就补一个占位符,这样就行了。 我们可能认为英语最长是十个的,我们就是十。汉语呢,翻译过来 target 就是 翻译成的汉 语,表达能力比较强嘛,就八个就够了。所以原始的英文是这样子的,我们翻转之后就是这样子的,我们完整的目标系列。目标系列是什么意思啊?我们期待它能够变翻译后的嘛,开始 翻译后呢,并且生成一个 eos, 告诉我结束就行了。汽车 forcing 的 输入是什么呢?把它做一个截断就行了,因为每我只要告诉你上一个,你给我预测下一个,我,我告诉你汽车的时候,你告诉我 eos 就 不再进行了嘛。所以最后一个是没用的, 对应的监督目标是把它又移一位,其实就是这一个不要了,就是这一位不要了,我只要你这一位。也就是说你 b o s 的 时候,就应该预测出亨利来,把亨利传进去呢,你就应该预测出有来,你预测错了,我也给你传有,这就是 teacher forcing。 所以在监督监督学习的时候,我们就已经有 label 了嘛,所以把 label 我 只是不要开始的就行了,因为你第一个预测出来了,结果就应该是亨利嘛。所以说呢,完整的序列头尾都加了标识的,而 teacher forcing 呢,是不要尾部,而对应的监督目标不要头部。这个大家理解了这个逻辑,后面看代 就是看代码的时候就会简单一点。好,来看一下我们最最重要的三个类,只要这三个类理解了,就会简单一点。首先是 encode, incode 就是 我们编码器的部分,其实它的道理非常简单,只不过第一步呢,就是 embedding, 你 要怎么做? embedding 的 时候,首先呢我们要把词表的大小告诉它,它是做多少维的嘛,多少行多少列的。但至于你是多少列呢,其实就是你一共 embedding 是 多少维。 再把判定的 index 其实就是你填充的话,你填充的 id, 你 告诉我,我就在 you binding 的 时候就能输出零了。对,它因为 you binding 的 就不算嘛,只是为了占位而已,让它保持一致,能够训练,但是模型也得知道它是零。好,再定义 g i u, 一 层的 g i u 就 够了。 这个道理都是跟前面介绍的都一样了。 embedding 的 维度是多少?你的隐藏层的维度是多少?再一个就是 batch first 就是 输入的形状呢,要先是你有一批,里面有,在我们这就是一百二十八了。 s 呢,代表就是我们的 source, 就是 原序列,它的长度是多少?你的维也决定了一个维度, embedding 的 维度也是另外一个维度,一个三维的数据吧。好,再看一下它的全向传播的过程,也是另外一个维度,一个三维的数据吧。好,再看一下它的全向传播的过程。用 g i u 也比较简单,其实也不用我们一次次的写循环了, 这就是 g r u 呢,都可以帮我们来做这个事情,你把你的输入把它进行一下隐编码传给他,他就能告诉你隐编码出来的结果是什么了。 那照常理来说,我们把这个结果就是最后一个隐藏态嘛,把最后一个隐藏态就是返回就行了,但其实不行,因为你的句子可能就做做过判定了,对比对于比较短的句子,我要把你的真实长度拿出来看看,我我我不见得用最后一个隐藏态,比如说呢,我控制所有的都判定成十位的 十个 token, 但如果说你只是三个 token, 你 的长度是三,我其实就应该拿你第三个隐藏态就够了。后面的七个隐藏态我不要的,因为都是零出来的,越往后面零越多嘛,我只要第三个就行,那对应的 index 就是 二嘛,所以我先拿出你长度来,长度减一,就是我想要的那个 index 了, 有了这个 index, 我 们再把这个隐藏态给拿出来,这样隐藏态我们再把维度呢也给他去掉,这个就是格式对齐的问题了,就是把最终的隐藏态就返回了,比如说编码器的工作就结束了,我就拿到实际有效的最后一个隐藏态。 那我们再来看看解码器怎么处理它呢?首先第一步呢,也是编码,编码跟刚才一样词表的大小,还有就是你就是编码的维度,还有就是你要填充的 index, 它对应词表中的 index 是 多少? 也是传入一个 g r u, 这个 g r u 里面呢?其实跟道理跟刚才都几乎是完全一样的,它当然还得做一步就输出嘛,它最后还有一个限行层的,是不是啊?来算概率嘛, 来就也就是说给我们的每一步去进行打分, ok, 传入它就行了。限行层嘛,隐藏,把我们的隐藏态的维度还有词表对应的这个就是中文的词表的长度了,应该是,好, 我们看看它前向传播的过程是什么呢?首先,呃,虽然说它也是一个一个的生成的,如无论是训练的时候,我即使用你标签的,还是说在真实推理的时候,我是用我上一步生成的,但是 g i u 内部的都帮我们把这个循环写好了,我们就不用 管它了,就这样写就行了。传入来,把 target 的 input 传进来。 target input 其实在大家注意一下,在训练的时候和推理的时候是不一样的。训练的时候是什么呀?就 teacher forcing 又遗后的那一个续电就传进来了 一次呢?可能是有好多 token 的, 而推理的时候我只要你上一次预测的那个,我又没有真实的答案了,我只能老老实实地用你单个的 token。 这个其实是稍训练和推理的时候是不一样的, 但是没关系,在这都是一步自动都给做了。好,我们拿到了,就是 output 了,对不对啊?这样就是把 output 呢?用它定义的 output 就是 把它传给限行层,让它做一下打分就行了。 再看一下解码器部分也完事了,我们就写一下 sequence, sequence 把它们两个连起来就好了。连起来非常简单啊,利用你刚才定义的编码器,我把 source 你 对应的向量传进来。输入元嘛,你要翻译的句子是什么呢?再把它输入的长度传进来就行了,我算出它的隐藏态是多少来, 我再对它进行解码,你只要把它的隐藏层告诉我。还有就是 target input, 其实 target input 是 什么? 刚才跟刚才说的说的一样,你只要是在训练的时候和在推理的时候是不一样的,没关系,告诉他他就能给我们输入一个未归一化的一个分数的分布。也不是分数吧,是一个反推理出来数字的分布,其实就是没有经过 soft max, 是 为什么没有经过 soft max 把它变成概率呢?其实就是在损,我们知道交叉伤损失会自动帮我们做这个事情啊。先这个是原始的分数,多给大家提一句啊,其实这个数字对 在模型做蒸馏的时候也是非常有用的,模型蒸馏的时候之所以把大模型能蒸馏出小模型来,其实也就是因为他不但返回了结果,还把每种结果可能性都返回了,这个知识是非常丰富的,到后面我们专门介绍蒸馏的时候再给大家讲,所以大家知道这是一个原始的输出。 好,这样我们就把这个类似把编码器和解码器都传进来一下,模型就定义出来了。我们在过程中传入了各种各样的数据啊,带着大家来看一下这个数据的情况。我们说 b 的 时候代表的就是 bash 的 size, 我 们在这里面可能的例子用的是一百二十八, 就是一批里面有一百二十八个数据,就是一百八十个二十八个句子。 s 实际上是指原始的语句就是 s, 它补齐后的长度,比如说我们这个用十就行了,我们的句子普遍比较短嘛。 t 代表 target, 这个代表是 source 目标,我们翻译结果的长度应该是每次,也不是翻译结果每次生成的 token 的 时候输入长度是多少呢?我们这个呢,对齐之后就是七 一百二十八呢,就是它的隐藏层的维度,五十八就是中文词表的大小。 ok, 在 过程中我们可以看到各种各样维度的变化啊, 但是它们编码器和别解码器之间是互相不干涉的,编码器的并没有把全部的输出都交给解码器,我们只要编码器最终算出来的那个隐藏层就行了,这是它俩唯一沟通的东西。 而正因为这个呢,其实我没有干涉你编码的过程,所以你是多长的都没关系,我就要最后的这个隐藏层。所以说呢, sequence to sequence 呢,就摆脱了就是刚才讲的 sequence labeling 带来的位置对其位的问题。 ok, 那 我们就来看一下训练过程。首先定义一下损失函数,用交叉伤损失,我们要求它得把那个就是 pad, 我 们占位符呢,就如果不够长度,占位符给取消,就不要计入损失,补齐的部分也不要产生梯度吧。再定义一下它的优化器,我们这个用 adam 优化器就好了。 好,我们再看看每个 epec 在 那个进行训练的过程了。首先我们把模型就是 cening, 这个是一个布尔值啊,其实我们因为训练和验证训练的时候,验证本质上实际上已经是在做推理了,但是我们共同用一个整体都用这个函数,所以说呢, 我们需要看看它该不该进训练训练模式呢?其实传进来一个参数,只用一个 true false 就 行了,把 toto 的 损一次训练过程中产生的损失加起来啊。再一个就是它这一个句子总共有多少个 token, 其实这俩一除就是它的, 这我们就用的是平均损失了,好,验证阶段呢,我们就用 no grand 来关闭梯度,这样这样就更快了。训练的时候才需要用梯度呢,验证和推理的时候是不用的, ok, 因为我们这一个是走了验证级了,不只是有测训练级,还有验证级,测试级是最终的测试啊。好,我们来看一下。 在训练的时候呢,我们就把那个元语句,还有就是 target, target 就是 我们刚才说的那个目标的语句都给传进来了。 toys, 实际上吧,如果有 s, 就 把它把数据呢放到对应的位置上去,如果有 gpu, 训练就大幅提升了,对吧?好,那继续看 logis, 刚才已经介绍了,就是模型预测出来的结果, 看一下。我们需要把 sos 传进去,把 sos 的 长度传进去,然后它 get 这个,最后这负一是什么?其实就是去掉最后一个作为解码器的输入,就解码器并不需要最后一个,对吧?因为 eos 应该是出来了,就不需要,如果预测出 eos 来,就是结束了,然后呢? labels, 然后 label 是 什么呢?就是去掉第一个,对吧?因为第一个呢,其实就是 bos, 我 们不需要的,不需要对齐的,其实就是这个,其实就是用的 teacher forcing 的, 就我们知道 label 是 什么, ok, 然后呢?再继续,其实就是计算损失了,计算损失的时候,其实我就把模型预测的结果和对应的真实的标签都传给你,你就给我计算损失就好了。 如果在春运的时候就干什么呢?如果是预测的时候,这样就是就行了,就是在验证的时候,这样就完事了,就知道损失是多大了吗?但是在训练的时候还不行,你知道损失了你还得干什么?反向传播吗?对吧?把梯度给清了之后呢,就反向传播,反向传播的过程中呢,这个有一部特殊的,在我们就是为了防止梯度爆炸 的时候呢,需要把做一下 t 度剪裁就行了,然后呢,在反向传播之后就算出 t 度来了,只有在春天等于处的时候才做这个事情啊,然后呢,就把它用那个优化器, t 度下降的优化器呢,更新一下 t 度,更新一下参数就行了。 然后呢,这一步是干什么呢?实际上就是来计算,计算我们的损失总共有多大,其实之所以算看出来不能用落就落死点 item 来直接取,就是因为它里面不是有些 pad 带来的损失吗?我们不要看看就是说一共有多少个 pad, 我 们把 把它给去掉,把真实的 token 的 数量给统计出来,然后让平均损失,这个取得是平均损失,乘乘上真实 token 的 数量,然后逐渐的加权,最后我们返回总共的损失除以真实的 token 的 数量,就是平均的一个 token 带来的损失是多大了? ok, 其实这样其实就是在做训练了, 训练了,因为我们就是在做翻译嘛,定义了一下最大的生成长度就是十二位 防止模型一直不输出 us, 就 形成了死循环了,对吧? ok, 我 们调用 model 点 evl 就是 让它切换到推理模式,对吧?然后呢,首先就是因为我们在训练的时候原原语句都进行翻转了,所以在推理的时候虽然给了我们一句正常语序的英语,我们也要把它翻转一下, 翻转之后呢,就是也是把它编码成一些个编,做一下编码就行了。把它呢就是然后呢把它的长度给算出来,然后就开始对,把这两个传给编码器就行了 啊,对它进行编码,计算出了引初使的就是计算出来隐藏态了,其实就是它一个固定长度的上下文向量。 ok, 算出这个来了,就可以把它交给解码器了,对不对啊?但是呢,在交给解码器之前呢,我们先把解码器的第一个输入给拿到, 第一个输入就是 b o s, 我 们在此表中把这个 b o s 渠道呢把它然后转一下 turn sir, 然后把它给送到对应的,如果有 g p u, 就 放到 g p u 里面去。 ok, 好, 看一下 trace 是 什么,然后就是生成的 id 是 什么,都提前定义一下,开始自循环啊,自回归循环,一次呢只生成一个 toker, 我 们呢最这个是循环是干什么意思啊?其实就是 我们最多呢就循环刚才定义的十二次,是不是啊?就是你十二次还不生成,我也不生成 e o s, 我 也结束了, ok, 但是呢,跟训练不同啊,解码器呢,是用的上一步自己的输出,而真正在推理的时候,我是不是就没有标签了,对吧?给我一段陌生的英语,我哪知道翻译是多少什么呢?我不知道真实的标签了,我就要用我上一次自己的结果了,这个要注意啊,就不能用 teacher forcing 了。 ok, 我 们就是对它进行解码,解码的时候都是 carry, 我 们第一个 carry 是 什么?就是 b o s 对 应的那个就是一张量嘛,对吧?第一次呢就传入就是 b o s 就 行了,这个呢是我们上一步算出来的隐藏态, 就是交给它解码就行了。我们那同样,其实解码出来之后呢,我们是得到一个就是 log 字,是不是啊?我们这一个呢就用贪心解码,就是直接在就是把它算出来的得分中最高的那一个就行了,就是概率最高的那个,我们取出来就行了。 取出来之后呢,我们我们得看看取出来的这个 id 和词表中 eos 对 应的词表的 id 一 不一样,实际上就是我们算出来的这个 token 呢,是不是 eos 如果不是的话 就把它给就是就就如果是的话就把它给加进来,然后把它给 break 掉就好了,就是整个输出就结束了,如果不是的话呢,我们就把它往那个生成的 id 中呢不断的去加,其实我们得出来一堆 token 对 应的 id 是 什么? 最后呢再把这 id 给它转成一个 token 的 列表就行了,然后 trace 实际上是为了追踪用的,这个没关系了。然后呢我们再把 current 给改成当前这一步的输出的内容就好了, 然后干什么呀?用做下一次循环是不是啊?每一次都用上一次预测的结果,不再能用 teacher forcing 给你提供的真实答案了,你没有答案了,开始就用自己的预测连续生成就行了。最后呢我们再把因为我们每次都是拿到一个 id 啊,谁要再把 id 呢转成还原成对应的中文 token 让它输出来就行了。 这样呢,我们就完成了刚才说的处理数据,就是把整个数据给它进行处理之后呢,然后进行训练,训练完了呢可以做验证,做推理, 实际上就是 t c f 领域自回归,在代码里面几乎就是只差一行啊,一个就是在训练的时候呢,实际上我们传入的是什么标,把标准答案给传进去了,是不是啊? 然后他还是,但是他还是一步一步的生成的,只是每步的生成都是用标准答案,然后呢来预测下一个该生成什么,但是在推理的时候就没有这个标准答案了,是不是啊?所以每次呢就是用当前的在进行解码了,就是 就当前就是你上一个,你自己预测的,你就用做下一次的生成去吧,然后但是呢我会把整个输入训练的隐藏态都告诉你,你就循环调用就好了,这种时候就其实就是训练和推理的一个区别, 最终呢我们可以看看我们这个结果,虽然我们只训练了三十五轮,因为我们的数据比较少,就即使用 cpu 呢,其实训练出来也是非常快的,就是六点九秒就训练完了,可以看到啊,就是逐渐的就是损失呢,其实就在下降了。 然后我们预测的结果呢,三百八十四对,就是让他在验证的时候呢,都已经是预测对了,因为他非常简单啊,可以看到啊,就是我们的英文输入是这个 对应的,译英文呢,是这个就是正确的英文,应该是这个,我们模型输出呢,也是这个完全匹配,可以看出来训练的是非常好的,因为只有两种语句嘛,所以说太简单了。 ok, 这种时候其实就是怎么看看,就是模型,我们可以看看就是携带吧,看一下它具体执行的过程,比如说呢,我们传入一个就是整个的,就是为了验证我们这个模型究竟好不好用啊,我们可以自己再拼一个, 就是我们这个整个数据中没有的句子,把它给它,然后让它进行 translate, 我 们会把它生成的过程,不是它是逐渐生成的吗?我们把它生成的过程给他啊,看一下, 第一步的时候就是把 b o s 传给他了,是不是啊?在第二步呢,你就会发现他把门门旁边,最后呢一步步输出 e o s 之后就结束了, 所以说可以看出来他也不是死记硬背,还是虽然训练的特别快,但还是真的把一些变化,还有就是停止条件都已经学会了,比如说这就是 sequence 经典的 sequence to sequence 架构带来的威力了,他也呢几乎可以说彻底改变了机器就是机器翻译这个领域了,让 n l p 呢更往前走了一步了。 呃,但是呢,其实我们用的句子是非常短的,而且词表也特别小,英语呢就七十一个,汉语就五十二个,非常小啊,而且只有了两种 语句的魔法,虽然说是百分之百都预测对了,但是这也并不具备,意味着就是说我们今天就训练出来了一个翻译模型,这还是不行的,如果说进入真实的翻译任务,句子特别长,因为我们整个的就是编码器的隐藏态,用的是一百二十八位的,也特别的小啊, 如果说我们句子特别长的时候,就会发现它就越来越不准了,因为还是整个到了后面注意力的问题,到后面它就记不住了。 所以说经典的 sequence two sequence 架构呢,虽然彻底改变了机器翻译这个领域呢,但它还是有一些局限性的。首先我们也看出来啊, 它还是它是把两个 r n n 相当于就用了两个 r n n 而已,所以说它没有突破 r n n 底层的架构,无论是在编码的过程还是在解码的过程,它都是一次一步一步推进的。 也就是说我们说的是串形的,无论无论是在训练还是在训练推理过程中,都是串形计算,没法并行训练,这个就是造成效率会偏低。这个是 r n n 一 直带到 s, l, s, t, m, j, r u, 再带到 sequence two sequence 一 直带过来的问题。 再一个呢,其实就刚才讲的固定上下文,我们把整个的输入呢,还是都给压入到了一个一百二十八位的向量,但是你可以把它变得更大一点。但是呢,这种实际上是有一个问题,就是说我们翻译的句子,无论是一句 hello 点, 就这样两个就完事了,还是说一个数百个词甚至数千个词的长的文章让它去,因为 sequence to sequence 不 止能做翻译啊,还是能做一些,做一些文章的摘要等。这种如果说我一个文章特别长,它也是用一百二十八维,或者是我们把维度变成一千零二十四特别大了,总归 对吧,编码器最终输出的都是一个固定长度的上下文向量,应付短的还行,应付长的呢,还是要出问题, 因为就是这这个维度呢,随着后面他就会把前面的都忘掉,到了最后一个,几乎把前面可能三分之一三分之二的内容都给忘掉了。这个呢,也是, 即使是用了 g i u, 用了 l s t m 这个问题有了改善,但是还是存在的,其实就是他这个架构呢,实际上是特别先进的,对吧?解决了就是输入训练和输出训练长度呢,不见得一致的问题,但是呢, l s 既然它一托于 r n 及其变种,所以说它们无论是说训练病情的问题,还是说是这个这个损信息损失的问题,还是都是同样存在的。 我们再来形象的看一下,固定上下文向量为什么就能带来信息平静啊?其实刚才说的也算清楚了,对于短的话,我压缩成一个固定的维度还行,我还能把你大概的问题都记住, 但是说如果我是一个超长的续列,甚至是一篇文章,你还用一样的一个维度的长度的向量来记,我解码的时候早,你自己这个里面早就忘了前面输入的是什么了, 语义呢,都有了较大的损失了,就越长它就问题就越大,就相当于拥挤,对不对啊?就长文本的翻译和摘要的时候,性能就下降了,即使是门控呢,引入了 l s t m 和 g r u, 他 们也会改善了这个问题了,但是还是没有消除的。其实就是刚才解释的内容啊, 那怎么办呢?实际上就是引入了 attention 机制,注意啊,这还不是 transformer 的 self attention, 我 们就是这个,是我们下一课要介绍的 attention 机制 这两个,当然你如果这两个都理解了,理解 transformer 就 会简单多了,它呢,其实就是让解码器动态的关注输入系列了。 怎么来讲呢?就你不是说你刚才的最大的问题,就是你给了我最后的表达的隐藏态,他把前面的东西都给忘了吗?那我注意力是什么意思呢?他就是说我每每一步,我在做的时候,每一步的时候我不只是要你最后一个隐藏态了,对吧?我都要你前面所有的隐藏态,我都要 我每一步的时候,我都其实都算算我这一个词,至于到了这一个词的时候,我跟你前面这一堆隐藏态中谁更接近, 我就重点去看谁去。比如说啊,就是 i like deep learning 在 深,在它在就是翻译的时候,它在翻生成深度的时候,它注意到我得跟你这个 deep 特别相关,所以我就会看一下你的 h 三 关注的更多,你即使给了我 h 四 h 五,我都认为它已经跟 deep 这个信息都已经有所损失了。 到下一步我翻译到学习这个词了,对吧?我就会发现我跟你的冷静应该更相关,前面的我就我所有的我都要参考,只是我参考谁参考的更多,其实也就是把我们前面编码器在注意力机制中啊,就是我们下节课会给大家具体讲,这节课就是简单介绍一下它的核心机制, 其实就是我不只是参考最后的隐藏态了,我把你过程中每个隐藏态都要关注,而且呢,我会自己算出一套来分数来,我翻译到哪一步的时候呢,我就跟你哪一个隐藏态更相关,我就去参考它参考的更多, 这种时候其实我就不怕你到了后面丢信息了,对不对啊?就是我翻译 deep 的 时候,就是这个,关注你原文中的 deep, 就是 我就知道是深深度了,对吧?这种时候我就不怕你过最后把前面的信息都丢掉了,因为我翻译前面的时候,我参考的就是你前面 h 一, 你那什么时候时候只编码了最前面内容,还东西还都记得呢?其实这就是注意力机制最简单的原理了, 也就是说从 sequence to sequence, 它就是我们下一节课要讲的注意力机制,还是对 sequence to sequence 的 优化,还不是 transform。 而且我们就是如果说大家理解了之后呢,就能理解 transform 的 论文为什么叫 attention is all you need 了。 就是为什么 attention 都已经发明了 transformer, 还要再说一遍它为什么叫 attention is all you need all 是 什么意思?就是之前我们不只是关注 attention, 我 们还有过程中的,对吧?就是过程中的隐藏态呢,到了 transformer 呢,就是隐藏态,这些我都不要了,我只要注意力。所以说这是就是为什么 attention is all you need 的 原理。 好,先回到 sequence to sequence 啊,它就一个向量,所谓这一个向量就是解码,就是编码器最终输出的那个隐藏态,就是所有的编码的时间步呢,都在一个固定的上下文,导致了它各种各样的问题了。而到了个 tencent 的 时候, 它就是说每一步呢都各取所需。我不只是看你最后一步的隐藏态,我要把你前面的都看看,我只不过会算一下分数,知道我对于哪一个隐藏态最关注。所以说呢, attention 机制就显显著的缓解了固定上下文带来的信息的平静, 就大幅提升了长序列建模的问题。就是可以说啊,很大程度上就解决了机器翻译的问题了,到了 platform 就 不只是解决机器翻译了。 那么我们就接下来看看后面 attention 机制刚才只是介绍了它原理,那它又是怎么知道在翻译的过程中,每一步和上面我应该怎么计算分数?怎么知道我和你前面哪个隐藏态更相关呢? 知道更相关注了之后,我应该怎么关注来让我这一次生成的内容更靠谱呢?就是我们下一节课隐藏就是 tencent 机制要介绍的。当然理解了还是刚才说的,理解了这两步之后,我们再去看 transformor, 你 就会发现你的理解的难度至少要降低一半了。好,那我们这个视频就先到这里。