兄弟们,如果说这个视频你能看懂,月薪八千的红度你也可以,你也一定能行,一个视觉工程师必会的一个技能,九点标定,九点标定。九点标定顾名思义就是我们把它的像素坐标转换为真实的物理坐标, 把图片的像素坐标转换为机械臂的物理坐标,从而实现机械臂正确的拿取物料。这种像九个点的标定板在以后你们入职之后肯定会用到的,我们需要把这个标定板放到相机下面,我们在采集里面点击图像源,把图像源拉入框中,在图像源里选择相机, 关联相机,我们打开快速匹配,将图像源与快速匹配连接,创建他的模板。执行九点标定中,我们需要把九个点依次按顺序进行,一个一个的位置记录,在我们每次拖出来之后执行单次执行,重复九次。 在 vm 中它已经对这九个点生成了九个像素坐标。现在我们要做的是把机械臂打开,将对应的机械臂的物理坐标传到 vm 中,生成标定文件,像现在这样,将它移动到对应点位之后,我们查看它的 x y 轴,对它进行记录,将对应的 x y 填入到寻找到的点位中。九个点依次操作,将物理坐标填入到正确的位置中,最后点击生成标定文件,我们将标定文件保存在桌面中,至此整个九点标定就已经完全完成了。现在我们把标定文件替换掉,来验证一下我们的标定文件是否可行,我们把物料放上去, 相机正常拍照。九点标定完成了,兄弟们。
粉丝1542获赞2.4万

三分钟教会你龙门无需抓取,内容包含工业常用的手眼标定以及西门子运动控制。手眼标定也广泛应用与机器人,原理都是通过视觉拍照后发坐标位置,但是相机拍出的坐标是像素坐标,并不是抓取坐标,所以要通过手眼标定,让像素坐标与实际坐标重合。 好,那现在手把手教会你龙门配合视觉无需抓取,我会从标定方法、程序编辑到通讯一一教会你。我们先说一下标定的逻辑,先让相机拍标定板上的九个点, 然后龙门也去对应标定板的九个点,把龙门对应九个点的坐标记录下来,把图像坐标和龙门坐标导入进去,然后软件就可以自动算出你所需的坐标值了。好,我们找一张标定板,手画也可以,现在我们来进行标定。我们先配置好相机,这里选择全职相机, 然后选择我们相机型号即可。触发方式有很多,我们选择软件触发,这样相机就配置完了,其他的根据需求设置即可。添加图像源进行拍照,图像源选择相机关联全局相机,然后把 model 八勾选项,意思是可以输出黑白图像,点击拍照测试一下图像没问题后,我们来进行标定,用一个快速匹配来匹配模板, 注意快速匹配只支持灰度图像,然后创建一个模板好,匹配没问题,位置修正作用就是能动态调整匹配框,点击执行,然后创建精准就可以。然后我们用一个原查找匹配原星,用原星当做图像坐标位置, 红色代表匹配失败,因为输入原式灰度图像,所以这里也要改过来。好,可以看到原星像素坐标已经显示出来了,现在我们来进行标定,拖一个 n 点标定工具,图像点就是我们抓取的箭是圆形, 所以角度可以不用输入,旋转次数改为零,其他默认即可。标定点我们选择触发获取,也就是拍照获取。好,我们先标定一个点,看一下框中第一个点后点击拍照, 点击这里,这里就是第一个点的图像坐标,物理坐标,待会儿我们手动输入,我们继续依次标定剩余的八点。 好,这样图像坐标就标定完成了,标定顺序按照这样来即可,可以看到九个点的图像坐标都过来了,然后我们让龙门阵依次对应这九个点圆心,记录下每个时机点坐标,输入进去即可。 输入完成,点击确定,然后生成标定文件。 有了标定文件后,我们再拓一个标定转换,把我们的标定文件导入进去, 直行一下拍照,可以看到这个圆心的图像坐标转换后的坐标也显示出来了,我们测试一下,把龙门移动到第一个点, 这是第一个点的物理坐标,这是第一个点转换后的图像坐标,可以看到图像坐标和物理坐标几乎是相等的了,这样就标定成功了,因为我们弓箭也是圆形,所以只需把模板换一下即可匹配,这样相机就能正确识别弓箭了。我们再来处理通讯,看坐标如何发给 plc, plc 这边不需要写程序,建立好通讯数据即可,注意要把优化快访问关闭 设备组态中勾选 parkkik 访问好。再来看相机的通讯配置,我们采用西门子 s 七通讯,这里只需输入 plcip 地址即可,然后点击创建,再新建地址。先添加拍照的 int 型数据,是十六位,通讯数据在 db 七里,所以这里填七编一辆就填 db 块里的编一辆。因为这个拍照是要接受 plc 中的值,相当于读 plc, 所以 把轮询读取打开,再添加一个发送坐标的数据,方法是一样的,这里不重复了。好,通讯数据添加完了,再添加一个接收事件,用作触发拍照, 绑定设备就是 s 七通讯地址,选择拍照,例如这里是一 plc 发送一则代表这个事件成立, 触发拍照,这里就选事件,触发事件成立后就会触发拍照,然后再添加一个发送坐标数据, 选择通讯设备,选择坐标,把转换后的坐标 x y 发给 plc。 好, 这样就配置完成了。我们测试一下 plc 发送一相机拍照好,通讯成功。我们再来看程序,具体编辑程序非常简单,我们分为了两部分, x y 轴式封装的 f b 块。封装方法主包往期都讲过。然后就是流程控制了,流程也非常简单, 首先就是满足一些条件才能运行,有启动条件后就开始走流程步即可。第一步就是先拍照,收到坐标后跳下一步,然后让龙门走到坐标位置,这个时候气缸就下降进行吸取。后面的也是这个逻辑,运行完一步就跳下一步,也是非常简单。那这期就到这里了,我们下期见。

十四步,学会机器视觉第一步,此科光学基础第二步,摸透相机成像第三步,拿捏图像处理基础第四步,精通定位与匹配第五步,搞定测量与标定第六步,玩转识别与读取 第七步,此科缺陷检测算法第八步,掌握至少一门上位机语言第十步,打通 plc 通信 第十一步,修炼打光绝技第十二步,疯狂积累现场项目经验第十三步,学会摺写视觉方案与技术文档第十四步,关注萝卜,我们已经做机器视觉十六年了!

你用工业相机做测量,量出来的尺寸总是偏,你拍的直线在画面边缘怎么都是弯的。问题不再相机不再算法,而是你没有做标定。什么是机变?为什么必须矫正? 理想情况下,现实世界里的一条直线,拍到照片里应该还是一条直线,但实际上相机用的是透镜,不是理想的小孔,代价就是引入机变。机变主要有两种,镜像机变 切向基变。镜像基变让画面像鱼眼一样膨胀或收缩,切向基变让图像发生倾斜偏移,结果就是你测的圆不圆,你测的直线不直,你量的尺寸不准 做视觉检测,基变不矫正,后面全白干。那标定到底在干什么?其实就做两件事。第一件是矫正基变,标定板上的图案排列方式、直径、中心距,这些数据我们是精确已知的。 当相机拍下标定版,画面中的图案因为机变发生了形变,算法把变形后的图案和真实的图案作对比,就能反推出相机到底把图像扭曲成了什么样,这就是相机内参和机变参数。然后我们根据这个映涉关系,把机变掰回去,画面就正了。 第二件事,建立像素和真实尺寸的换算关系。图片上量出来的是像素距离,一百个像素到底是一毫米还是十毫米?标定后,我们知道了像素和物理世界的精确比例关系,测量才有意义。 那标定怎么做?咱们四步讲清楚。第一步,准备标定版描述文件,告诉软件你的标定版长什么样,几行几列,间距多少,直径多少,这就是建立世界坐标系的精准。 第二步,设置相机参数,输入相机的相圆、尺寸和焦距,这些信息在相机手册里都能找到。第三步,多角度拍摄。标定版一般拍九到十六张,要覆盖不同的角度和位置。 注意,标定版要占画面的百分之三十到百分之八十,太小了。特征点提取不准,拍摄时一定要锁定对焦,否则焦距变化标定全废。 第四步,计算标定结果,软件自动算出相机内餐、外餐和机变参数,看一下重投影误差,一般在零点一到零点三个像素以内,就说明标定结果可用。 最后说三个很多人忽略的点,第一,相机的机变和内餐是固有属性,标定一次可以一直用,除非你换了镜头或相机。第二,每次标定用不同的图片,结果会有微小差异,这是正常的,重投影误差小就能用。 第三,也是最关键的,标定版本身的精度决定了你标定结果的上限。用 a 四纸打印的标定版,原点位置误差可能有零点几毫米,你的测量精度要求零点零五毫米,那从源头就错了。 所以标定不难,但标定板要选对材质、精度、图案类型都要根据你的实际场景来定。我们是光效世界,专注标定板和测试图卡,从玻璃光刻到陶瓷印刷,从微米级精度到大尺寸定制都能做。

首先先拍个照啊,这边指定区域我们再点一下,我们点这个左上角框一下,哎, 到那个右下角衡梁的右下角, ok, ok, 看到没有?这边左边,这边右边,这样相机跟这个梁之间就平行了。好的, 我们再拍个照, 再点一下指定区,我们再来框一下左上角到右下角,是不是? ok, 好 了,这开始标定管理啊,打点校正就 ok 了,相机安装成功。

局部视觉眼在手上的场景首眼标定完成之后,如何进行精度验证以及物体的高度。为什么对手眼标定结果那么重要?这节课给大家讲解我们使用支持固高雷赛真运动和 p r c 的 通用上机原码来讲解,然后我们看它有没有标定用过,我们就点这个双击,然后让这个 磁力中心移动到这个点啊,移动过来说明它是准的,然后移动到这里,这个我可以让这个相机 在这个实时中心移用到我们小区的像素点,就可以实现轨迹定位,轨迹纠偏啊。这里我要和大家说一下,因为这个物体是我们标定的物体,它这个是有一个高度差的,那如果说我在这个平面进行定位的话,你是不能用这个手眼矩阵的,因为他们有不同的这个高度差。 好,我们可以给大家看一下效果,假设我要移动到这个位置,你看他肯定不准,他是偏的,偏在这里点啊,如果说我在这上面定位,那他就是准,所以这个 你进行首页编辑的这个物体是什么样的高度,你在这个物体的平面上就能定位的准确。我们如何进行拍照位的设定以及轨迹的录入,我们下节课讲解,想要视频中的原码,并且想和我有更多交流的,可以在吴大拿那里搞个加密狗。

然后我们现在来看一下手眼标定这一张其实是整个课程的这个基础,也是所有后续算法推导的起点,嗯,大家有没有想过,就是手眼标定的本质, 其实素颜标标定的本质,它其实就是大家理解就是我是一个坐标系跟另外一个坐标系建立一个映射关系,对吧?我们要求得这个映射关系之后,这个就是我们要求的啊,所说的求解过程。 但是因为实际上我们的手单纯,我们叫它机械手,对吧?啊?包括眼睛,我们要 camera 相机, 因为它是机械臂或者机械手和我们的相机之间做了一个整体的一个关系,所以我们叫它首演标定,对吧?这是字面的含义,其实本质就是不同坐标系之间进行坐标关系的求解。 从我们机械手的世界坐标系,对吧?也叫物理坐标系,到我们图像的 p pixel, 嗯,坐标系,对吧?这是这个过程。然后嗯, 或或者说我们把这个东西的含义再去做一下,就是说更浅显的一个分析,就是说,呃,我们实际上就是说我相机要看到了一个东西, 那看到的东西,我现在让我的机械臂或者说机械手去走一个地方,不管是做抓取还是做放置,那实际上我要把我眼睛看到的东西转换到我机械手看到的这个东西, 对吧?这就是字面意思的分析。 ok, 我 们接下来会去深入的拆解一下这个过程,从基础的这个坐标性定义开始,一步一步的构建一个,构建一下这个完整的数学模型。 ok, 大家看一下这张非常核心的这个原理图啊,手眼标定它这张图呢?它其实大家能看到它不仅仅是一个流程,它,它实际上 这解释了我们机器视觉里头最本质的一个物体,我们现实生活中一个物体,或者说比如一个人,对吧?那是一个三维的, 我们最终呢?在图上或者说我们通过手机、相机或者相机拍到的图,我们叫它图像,对吧?我们这个三三维世界如何到我们的一个平面的图像这个世界,这个过程我们叫转换过程, 也就我们小的时候学到的一个内容,叫小孔成像,对吧?换句,换到计算机视觉里头或者说多,嗯, 就是说实际的投影方面,我们叫他针孔模型,标准的一个针孔模型世界坐标系通过 转相机,然后转图像到最终的这个过程。首先我们不去管中间这个内容,他实际上是做什么的。那我们先想一下我最终图世界跟我的图像之间他有几种关系,这个不妨大家可以去想一下,对吧? 我们实际上人在现实世世界中是有存在一个高度,包括 x、 y, 也就说我们在某一个点的某个什么地方,这个取决于我们选择的这个,呃,坐标系的原点,对吧? ok, 那 相机里头它又涉及到我们在图像上大家做实际的视觉的肯定知道我们坐标系,肯定这边是我们的 y, 这边是我们的 x, 对 吧?这边是我们的。 在这个过程中大家想一想,实际上是能想清楚的,肯定是现实生活中肯定是一定有一个相机坐标系的, 这个什么叫相机坐标系?就是说这是人,这是一个实际的物体,然后这是一个图像,我肯定要通过我的相机去拍这这个人,我们之前在之前的这个内容里头去讲过,呃,面征相机的 内容包括这边的这个成像原理,成像原理这边是给大家去做过一些介绍的,大家有兴趣的可以去看一下。 我们这个相机通过光进来之后到我们相机上,相机最终会在 sensor 上去形成一个我们的图像。 那我们要想一下人跟相机之间这一个有什么关系?是不是就是一个钢铁变换, 能理解吗?就是我在三维空间坐标系里头,这是我的一个物体坐标系,对吧?比如说是 word 这个, 那实际上我相机也在这,他俩经过平移或者旋转之后,总能够在这个空间里头去重合,对吧?我们叫相机坐标系,大家能理解的,其实他就是做了一个钢铁变换, 也就意味着经过平移跟旋转啊,他们就能够在一起,这是我们的相机坐标系,那相机坐标系实际上 之间呢?又会有一个图像坐标系,这个为什么会中间还有一个图像坐标系?大家可能很难理解图像坐标系和像素坐标系之间的一个关系, 我们姑且这样去认为,就是在这边我们实际上说过我们成像,成像是成像在什么地方,实际是赏识在我们成像的深处上面, 像,嗯,光通过反射进入到我们的 lens 里头去,最终会在我们实际的 sensor 上面呈现一个图像。但我们 sensor 里头大家可以理解就是这是我们的 x, 这是或者说这是我们的一块 sensor 板,就是图像芯片,我们图像芯片呢?中心呢?它一般都是以这个地方,也就是如果说是一个矩形的话,这是 x, 这是 y, 对吧?我们的所有的图像成像呈过来之后,都是在这个地方,在森色,你可以理解是一个物理版, g、 c、 b 版,对吧?都可以在这个地方我们去成像,它这个坐标系实际上是以这个森色的中心 横平竖直去建立一个 dk 坐标系,这是 x, 这是 y, 对 吧?但我们实际的像素坐标系,它是在这个地方,它俩中间差一个什么东西呢? 像素坐标系我们说的是横方向、竖方向,我们要他分辨率,对吧?之前在相机,包括呃,之前内容是说到过,我们的分辨率实际上可能是四零九六对吧? 或者说幺零四八对吧?是这么多的一个分辨率,但实际上对应到我们的这边呢,它又是一个物理坐标系,也就意味着我们 sensor 到底是比如说长是八,还是长是十,对吧?然后对应过来呢?其实是 这样的一个关系,也就意味着你可以理解这就是一个物理的 sensor, 长度多少毫米短宽 长多少?宽多少,对吧?我们的像素呢,是像素坐标系,他实际上说啊,是离散化了,对吧?我们代表几个像素在像素的第几个地方,对吧?那进一步的再去离散化,是不是就变成我们之前说的这个亚像素,对吧?这个道理都是通的。 ok, 这边呢,我们是给大家去做了一个这边的介绍,所以说从视物体的一个世界坐标系,到我们的实际上图像坐标系里头,像素坐标系里头,我们首先要经过物体到我们的 相机有一个缸体的一个变换,缸体变换之后呢,在这个地方 也就意味着这篇还是一个三维的一个坐标系,因为他们是一个三维的三维坐标系,要摁到我们的 sinon 上面去,这个地方是从三维到我们的二维,对吧?这个地方大家可以认为就是一个透视的一个变换过程, 都是变化的过程,会把三维的信息压到二维,也就意味着我们看到一个二维的东西,三维的东西在我们呈现上会把 z 方向的一个深度,就这个方向,比如人有多厚,人也不叫人的前后有多 多胖,或者说纵深是多少,这这个地方的信息一维的信息会去掉,对吧? 然后对应的这个深色跟我们实际的图像坐标系你可以理解,首先呢这个原点之前是在深色的中心,现在呢又挪到了这个地方,对吧?那我们可以理解他做了一个平移这个过程,对吧?另外呢就是实际上他这个是以毫米作为单位去 划分的,我们实际上像素坐标系又是以我们的,比如说幺零四八、四零九六,对吧?那这样过程它其实又会有一个比例的关系,对吧?包括我们这个 sensor 装的在这个方向,我们这个如果说 z 方向是从呃屏幕往外面去看的话,或者从外面往里面去看的话,就是 r z 的 这个方向 去旋转的话,是不是还有一个夹角,对吧?这个过程我们就是叫做纺织变化,当然这部分呢也是我们重要去讨论的东西, 这边说的比较多啊,只主要还是想给大家带来一个概念,就说我们什么是啊, 这样的一个过程,但实际上我们在做首演标定的过程中,很多的内容已经去做了啊简化,实际上大家可以理解,我们最终拿到的一些东西,就是我们的图像像素点,对吧?比如一百一百的这个图像像素点,对吧? 还有一个比如说,呃,对应的物理机械手的坐标是十十,对吧?那是这样的一个对应关系,他只是把这一套的东西没有去啊,或者说这一套的一些参数 已经融合到我们的像素里头的一百到一百底座去了,好吧,这个希望大家能够理解到,首先我们在首页标题的过程中不需要去考虑这个东西,除非我们,当然我们说的是二 d 的 首页标题,对吧?那大家很很显然去想一个东西,如果我们做三 d 首页标题, 也就意味着它是 x、 y、 z, 对 吧?那机械手那坐标呢?也可能就是 x、 y、 z, 对 吧?那它们肯定就是一个晶体变换,对吧?我之所以在这边介绍这么多的原因,就是说我们后面肯定会去讲三 d 的 首页标题, 对吧?在涉及到三 d 首页标题的过程中,很多的内容就需要我们再去回头了,对吧? ok, 我 们把这个过程呢,大家可以去看一下,这是再看一下这张图,这张物理坐标系,对吧?然后这是相机坐标系 camera, 然后这张图实际上因为我们之前说过这个应该是倒倒影成像,但是他为这个图为了就是说我们能够直观的去理解的话,他把这个相机,实际相机应该在这个地方, 对吧?这个像应该是在这个地方我们看的话才顺,但是因为他只要会这个图,你看这是一个 p 点,也就我们实际的物理的一个物体,最终在图像上只成像会呈现一个 x 跟 y, 对 吧?然后这个地方呢?他就是焦距, 对吧?然后我们来看一下这张图,首先物理坐标系跟物理到我们相机两个都是三维空间中的一个点,经过的肯定是一步的旋转跟一步的平移,对吧?首先做到这,做到这之后我们可以理解,那这个转换关系已经到了这个地方, 那这个地方跟我们实际上图像上这个地方,大家可以去细细看一下,这个地方实际上会形成两个相似相似三角形的关系,就我们的 a b 和 a b o c, 这是一个三角形,和我们的 o c o c e 就是 o c o c e 这样实际上是一个相似的一个关系,包括我们的 p b o c 和我们的呃 p c、 o c 有 一个相似关系。那通过这个相似关系呢?大家可以理解,就是说我们 这是成像的一个关系,这个我们说的是在三三上面呈成像的一个过程,对吧?然后 你通过这个呃相似三角形的这个对应关系,实际上是可以划到这个地方的,那简而言之,大家去看这是我们的像素, 对吧?然后这个是实际上的物理,对吧?那我们的 z 方向这个东西其实是丢失掉了,你把这个 z 换成矩阵的形式,它就是这个样子。所以我们的 camera 到我们我们的像素之间 实际上只是一个,呃,大家理解就是一个透视变换的一个关系,对吧?然后对应的这个过程就是 这个地方,对吧?相机到图像,然后最后一步呢?是我们的。呃, sensor, 这个是我们的 sensor, 它是以中心,这个之前说过了,以中心和我们的或者左上角,它要去移动一个 u 零和 v 零,这个过程我们叫光光,光心,光心的位置, 然后去给它先首先移到这个,嗯,先先缩放,比如说这个地方要缩放多少?先缩放一定的比例行驶之后,然后再平移过去,这就是一个过程。 然后对应的我们是物理到相机,相机到图像,图像到像素,这是我们的这个整个从现实世界的坐标系到我们的像素坐标系的关系。 ok, 这边我去给大家做一下内容的一个总结啊,说的比较多,或者说内容比较杂乱, 嗯,还是希望,嗯,大家这样去看。首先我们物理坐标系跟我们的实际的像素坐标系之间会经历到相机,还有我们增设上面一个转换,具体的关系是世界坐标系到物理作,嗯,相机坐标系有个钢铁变换,钢铁变换到我们的 三维到我们的二维有一个透视变换压缩 z 方向的一个过程,然后这个是我们的 sensor, 跟我们的实际上图像坐标系左上角为圆点的这个坐标系有一个仿实变换的一个关系,对应的公式整个展开来看就是这个样子的, 好吧?这边是对应的小孔成像,我们叫标准的针孔摄像机的一个呃,光路图,然后这边是实际的计算图,然后对应的这个内容呢,大家去可以看一下。呃,我找 可以看一下这个链接,在这个链接里头大家可以呃,对于这些内容有一个很详细的一个概括,很介绍,但基本上也都是这样的一个过程。 好吧,这个我相信大家能够在后续的这个学习过程中,对于这个东西的了解,一定是能够啊,有一些深入了解之后,肯定会对大家这个学习或者工作有很大的帮助的,好吧, ok, 我 们现在在下一页呢,同看一下这个九点标题,我们常常啊一直说的这个,嗯,软件里头包括我们的 hulk, 嗯,国产的 vision master, 或者说呃, vision pro 以及 open cv 里头都会 去做这个首页标定。嗯,我们看一下手眼标定里头常见的就是九点标定啊,这个是我们工业现场最常用的首页标定的方法之一,因为它简单,嗯,高效,且这个堵泵性还是比较强的。大家可以看一下左边这个实拍图啊, 就是我们机械臂夹着我们的,呃,相机,对吧?然后依次走九个位置,对吧?这个底下这个可能是不变的,走九个位置,每到一个位置,相机呢就拍一张照片,然后此时精准记记录下一下,就比如说我拍到这个特征点的这个点,对吧? 然后呢实际上九次的物理位置我们也要记下来。 ok, 那 在这个过程呢,我们就得到了九个像素点跟九个物理点,对吧?这是我们得到的这个数据。 在图像上的物理上面,我们可能就是这样去走了一个,这样去走了一个过程,但一般标准的像啊,或者说很多软件去常用的就采用这个几字型自己的几,对吧?这样去走九个点 补偿这个当然大家能去试走九个这个点,那对应的啊,我们如果这样去看物理的这个坐标系的话,他可能差不多会走成这个样子,对吧?啊? 那在图像上呢,大家知道这个是我们标准的物理坐标系,这是 o 点原点,那图像上坐标系里头这又是 o 点,是原点,对吧? 嗯,这个摄摄图它其实你可以理解,这就是物理坐标系,这是像素坐标系,那这个如何去得到?这个或者说大家很 平时就是最能理解,就说我要去求解这个转化关系,那下一次我通过一个物理点图像点,我就能找到物理点,或者说我们物理点找到一个图像点,对吧? 但是,嗯,这边呢,可能会有一些问题啊,首先我要让大家去思考几个问题。第一个呢,之前我们在嗯,前面的内容里头我看一下 哦,我们在第一节的时候给大家介绍过一个手系的一个问题哈。嗯,很简单,这边我再赘述一下我们在物理里头, 初中或者说高中数学里头学到的一个东西。对于常见的迪卡尔,也就是直角坐标系来说,我们逆时针这个方向才是我们的正角度,对吧? ok, 但是在像素坐标系里头,我们知道他是 这个是他的 x, 这个是他的 y, 对 吧?那我们实际上又变成了顺时针是他的这个正方向, 对吧?从我们用我们的右手定则去做处理的话,大家明显能知道这是一个右手坐标系,这个是一个左手坐标系,对吧?那大家想一个场景,我让你机械手转或者转一个十度, 我在图像上看到他要转十度,那实际上在物理里头他转多少度?是不是应该是负十度? 因为他们的坐标系不一样,对吧?我们要取反,这是一个,就是我们实际上在做标定的过程中,我们要确保手系是不是一致的, 这是第一个。第二个呢?就说我们坐标轴代表的含义是不是一致的?很简单,像素一定是几个 pixel, 对 吧?我在一百一百这个位置, 对吧?那它代表的是 pixel, 也就是几个像素,第几个像素?第几个像素?但实际上我们在物理里头代表的是毫米 啊,或者厘米或者米,对吧?这是我们 x 轴或者 y 轴代表的含义。 那你的像素跟你的物理要建立关系的话,是不是两个坐标系肯定要去做一下统一,对吧?第三个就是我们的像素坐标系, 这是我们的像素坐标,然后这边是我们物理。那现在有一个问题,你能保证你的机械手或者你的模组 y 方向跟你的 x 方向是绝对九十度垂直的吗? 机械手的很多像六轴的机械手很难去保证,因为它一定会有一点点夹角,对吧?这是一个。另外一个呢?可能在模组里头,我们不管是装的直线电机上面可能带一个 y 轴,你怎么样去确保你这个 x 跟 y 是 绝对垂直呢?我说的是绝对垂直, 对吧?那如果他变成了八十九点九九九度,对吧?那肯定是不是这个角度就不垂直了,对吧?这是第一个问题。第二个呢,就说我们在像素里头,我们的森 sir, 大家知道这个 是一个算的,算是一个半导体,对吧?那我们森 sir 切出来这个 x 跟 y, 他 是完全能够横平竖直的吗?也不能够保证吧,对吧?这个就是我需要去给大家强调的, 我们这边没有办法去保证我们的 x 跟 y 是 绝对垂直的,对吧?另外我们在装相机的时候,相机在装的时候,你怎么样去确保它是水平的?那如果它斜一点呢? 对吧?斜一点这个东西我们下面很快就能看到,大家想一想,你平着去看一个东西,跟你斜着看一个东西,他这个视野能一样吗?肯定是不一样的,对吧?所以我们这一节的内容给大家做一下总结。第一个呢就是说我们的实际上 在做首页标题,只涉及到平移啊,我们下节可能会去给大家说一下这个旋转 走九个位置,相机拍九次,对吧?然后记录得到像素坐标和我们的机构坐标,是这样的一个过程。 但实际上我们在工程领域里头又会出现一些很难去解决的问题。一个呢就说我们手系是否一致,就是一个是左手系,或者说一个是右手系, 对吧?也就意味着如果我让他转多少度的话,他不能够按我想要去去转。第二个呢,就说你没有办法去确保 啊?你像素跟你的物理,一个是以像素为单位,一个是以物理为单位的,对吧?首先标准不一样。第三个呢就说你没有办法去保证横平竖直这个过程, 这个如果没有办法横平竖直过程,我让他走一百,一百,那实际上他可能走的中间这个夹角肯定就不对了,对吧?第四个呢,就是我们很难去保证我们的相机是完全水平的,这个过程,对吧?大家对应到,嗯,对应到这个叫什么? 实际过程中大家可以看一下这个,我们这个国产的 wishmaster 里头,但能看到,你看这个里头,他有一个地方就叫 这是很多的参数啊,大家能看到这个里头, it's right, coordinate a, 呃,这是右,对吧?英文右 coordinate, coordinate 对, coordinate 手系嘛?右手系 是不是右手系,对吧?它应该大体有这个意思,对吧?那你看在国产这个软件标定文件里头,它实际上也有手系这个概念是在里头的,所以我们实际上在做预算的过程中,一定会把手系这个东西带入进去的,好吧? 在这边大家只需要就是说,呃,把上面的内容去吃透一些。另外呢,我们实际上是要求图像坐标跟我们的物理坐标细致的一个转化关系,那后面呢?就要去求解这个过程,这是我们核心要去做的一个内容。 然后我们这一节课呢,简单去把我们的旋转去做一些,九点就说我们九点只能去确保我们去啊,让他去平移啊,让你去平移多少 他能够去确保正确?那大家去想想,想一个实际的场景,我现在这个东西是一个多边形的场景,然后我实际的这个抓取点是在这个位置,我机械手抓到我这个东西之后, 我让他在这个地方去做放置,刚好有一个模具跟他差不多是一样的中心这个位置,对吧?那首先如果说让我把这个地方先擦一下, 如果他变成了这个样子,那我们拿这条边去,对的话,首先他一定要去转,如果因为我不转的话,我没有办法把他很好跟他去对上,对吧?那在转的过程中, 如果这个点不在他的这个中心,那你应该去我们抓取点,是保证是在这个地方去做抓取的,就机械手,他在这个地方,那如果说这个过程我们圆的话, 纯圆的话,在中间这个地方如果去抓,转多少度,他边上这个地方都不会有一些,比如说位置,对吧?他应该都是,比如说这后面有一个杆,对吧?那这个地方我绕这个地方去转,那是不是这个杆在哪他都是一个圆,对吧? 那现在这个问题,我如果绕着中间去转,我让他先平,先平移到这个地方,对吧?这是我们的点 x 在 delta y, 这是我们的 delta x 平移到这个地方再去转,那实际上在这个地方我们一定会有一个问题,你会发现你平移到这个地方再去转,它这条边是对对对上了,但这个中心一定是对不上的, 对吧?这个就是我们说的不共轴的场景。这边我们这节课主这一节的分享,主要是先给大家带一个启蒙,对吧?下节课我们会去,嗯,给大家详细带来一些不共轴的一些内容的标题,在实际的九加三,至少九加三吧,或者九加更多 标准的九加三里头,我们实际上会要去转三次啊,然后去标出这个机械手,你比如说在这个地方我让他去转,那他一定是绕这个地方法来末端去转,对吧?那我要把这个地方旋转中心去得到, 对吧?得到最终算出他还有一个旋转中心。比如说你看这个是一个点,两个点、三个点,对吧?两点,我们之前学过两点做垂直平分线,两点做垂直平分线交点就是这个点,对吧? 同样的像素里头也是一样,那对应的在首页标定九就是涉及到不共轴,有旋转标定的过程中时候,就涉及到会内容更复杂一些,可能在三点、九点的这个基础之上再加一个三点。但是大家一定也要知道一个问题就是,嗯, 一定不止,我们可能去做三个点,就很多这个教程上去给大家解释说啊,我有三个点啊,去做一个啊,旋转中心,对吧?那,那这个点就得到其实远比这个东西要复杂,对吧?第一个呢,我让你去转, 还是刚刚说的那个东西,你转的过程中你首先有手系的问题啊,对吧?你旋转一致,是不是一致,对吧? 因为有些这个机械手他设置的这个内容不一样。第二个呢,我这个坐标轴是否能够完全垂直,对吧?还是我们之前说的这个东西,如果坐标值不垂直,你这个圆, 我们如果横平竖直三个点,是不是就是一个圆,对吧?没有问题,那如果不横平竖直呢?圆就变成了椭圆,这个大家可以下去去记,就是画一下,好吧, 这边呢,主要主要还是给大家说了,嗯,在我们九点这个过程,呃,实际标定过程中,有的时候会有一些旋转的标定,旋转标定可能会去涉及到三个或者说更多点的一个标定,这个当然是我们下节课的一个主要的啊内容,好吧? 呃, ok, 这是我们的呃标定。呃,在这边做一下归哪一个呢?我们首演标定的含义啊,主要就是说涉及到我们像素坐标系跟手眼手,嗯,机械手或者说物理坐标系之间一个同一过程。在这边给大家去介绍了一下 啊,我们世界坐标系,也就世界的一个三维坐标系跟我们二维坐标系的一个啊转化关系,它实际上是通过这样一步一步的一个变换,对应到矩阵上面是这样去变,变就是变换的,然后对应的 在实际过程中我们可能会采用九点去做一个平移的标定。在标定过程中我们会涉及到手系包括坐标坐标轴的含义以及是否垂直以及是否完全水平的这个问题,我们后面要去考虑到这个因素,对吧? 这一部分第二个呢,就说我们在做旋转标定的过程中会涉及到啊, 呃,三次或者几次把他的旋转中心得到,对吧?得到之后我们不管后面是在做抓取不共轴的抓取或者纠偏或者对位贴合的这个过程,我们实际上都能够去得到我们的旋转平差跟我们的平移偏差,将两部分做一个加减 加紧之后就是我们实际上机械手在相机在看到一个物体之后,我们实际机械手要去抓取或者纠偏或者对位贴合要去走的这个问这这几个部分。 ok, 这个就是我们本第一节的第一章的内容,首页标定的含义。 好,我们继续深入一下啊,上一节呢,我们讲了一下基础的频域和缩放问题, 但实际上在嗯,实际工业现场不共轴或者说呃旋转的这个过程中,实际上会有很多的这个问题。

呃,我们刚刚讲了这个相似变换,它解决了大小缩放的问题,但有一个前提是它的 x 和 y 的 这个缩放比例必须是一样的。但实际上在真实的工业现场,这个前提往往其实是不成立的。 你比如说你像接的传感器本身就不是正方形的,对吧?你机械臂的 x 跟 y 安装的不完全垂直,包括图形可能会发生一些歪斜,所以我们就需要把这个模型再升级一下, 然后进入到我们第二张的第三个小节,仿生变换这一节我们要解决的其实是更复杂的这个形变矫正的问题。 嗯,大家可以看一下左边这张图,这张图其实是,嗯,特别是最后一个啊,这个地方是有一个斜切,就说我们的矩形或者正方形会变成一个平行四边形, 这是放射变化最核心的一个特征,就是我们刚刚说了,他是保持你某一条直线跟直线之间的平行关系是不会发生变化的,但角度和长度可以发生变,角度和长度这个比例是可以发生改变的。 你这个圆其实是可能变成椭圆,因为我们画一个圆的话,大家可以理解这是一个圆,对吧? 圆,嗯,这个方向我们可理解是 x 方向,这个是它的 y 方向。如果你的 x 方向的缩放跟 y 方向的缩放完全一样,圆还是一个更小的圆。如果 x 方向跟 y 方向不一样,就会出现一个长短长短轴的问题, 圆就会变成椭圆,对吧?所以仿设变换的一个基础就是它只是平行,会不变,角度和长度的比,角度和长度比例都会发生变化,而且圆我们很就是很明了的一个东西,就是圆会变成椭圆, 然后大家可以看一下它呢是有六个自由度的,我们可以去说一下这六个自由度是什么哈?嗯 啊,有两个平移啊,平移是有两个,然后呢这边叫镜像,然后包括他的缩放,他这边的缩放其实是有两个参数的,一个 x 方向和 y 方向,一个缩放,然后还有一个旋转,还有一个斜切。这边呢可能并不是特别的 理解,大家可以记住它就有六个参数就好了。我们下下一部分就是它有一个 a, d 就是 斜对角线 a 和 d, 它是控制缩放的,然后呢? b 和 c 它是剪切和旋转的,然后包括我们 t x、 t y 都是最后一列, 它,呃, t x, t y 肯定是代表的坐标原点的,会有个偏移过程,对吧?我们之前剪讲的这个剪切啊, 就是你 x 跟 y, 如果它变成了这个样子,它不是一个九十度,这个大家可以就在这张图上可以很明显的看到,这是一个剪切,对吧?包括你 x 跟 y 方向,这个 分辨率不一样,我们通过 a 跟 d 这个东西, x 方向去做缩放, y 方向去做缩放,对吧?会有这样的一个过程, ok, 这个图好像并不是特别的,这个明了,我们看一下啊,这张图 这意义啊,我们更深入一下,看这个三乘三这个矩阵到底是什么组合过来的。呃,我们先挨个带大家去看一下这个这个地方的一些东西,这个结合图形这个东西大家看的话可能会更明了一些。我们如果说 这是一个矩形啊,正方形,它这个在矩阵里头我们可理解,这是一个基,以基向量基作构成的一个这个正方形。 如果说我这个正方形只做平移,那就我们刚刚说的是钢铁变换,对吧?只做了一个平移,那我们刚说了 a 跟 d 是 控制它的缩放的,那如果说这个地方 w 就是 w 这个一个坐标系这边不是变成一,变成一个一的某个倍,哎,零点一或者二点一,对吧?包括这个地方它实际上这个 矩形它是相较于这个地方会变成了缩放,对吧?这是只有一个缩放。 然后另外呢我们再去看,这个是我们刚刚说的这个是也是钢铁变换里头的旋转,对吧?只有一旋转没有平移,你可以看到他是绕着这个方向转了一个 c 塔角度,对吧? 像角鱼之前, ok, 这个地方我们需要去详细去看一下,这个叫斜切,在 x 方向的一个斜切, 这个地方其实就是一个 f, 它这个地方会有一个夹角,那怎么样去看这个东西呢?就说我们之前如果说这个点是, 呃, x 方向这个点是零一,现在就变成了一个 tangent f 一, 对吧?这个地方会有一点点 啊,一点点变化,这个是我们在这个方向一个斜切,斜切呢?那如果说大家很理解这是一个基基本的原始的坐标系,那这个物理坐标系 它不是一个九十度,但它是一个九十度,那我只需要求出了一个这个斐之后,那这个数据是不是就能够 表示这个东西跟他的这个一个关系,对吧?这是一个很好的一个斜切的一个过程,同样的在 y 方向也有斜切,对吧?他只不过是在这个地方有一斜切,那之前的这个一 本身他应该是啊,一零,对吧?之前是一零,现在变成了一,它点外方向也有一定的东西,那我们同样跟他去做一个对比的话,我理解的是我 x 方向 啊,是朝 x, 就是 我们 d 卡坐标系朝逆时针旋转了一定的角度之后,它两个之间会形成一个夹角,对吧?那显然我们的纺织变化也是能够去处理这种关系的,这个叫斜切 x, 斜切 y, 对 吧? 包括我们坐标系里头可能会有什么呢?就是,呃,这应该叫反射,关于圆点的一个反射,或者说一个镜像,对吧?那这是一个圆, 呃,也不叫这,这是一个原本的,那我现在跟他如果变成一负一跟一,那他俩是不是就完全就是发生了一个变化,对吧?完全是不一样了。这个呢,其实你可以理解,也是从这个地方也能够去反向去看。我是不是旋转一个一百, 这是九十度,对吧?这个转到这九十度,转到这九十九十度,转到一百八十度之后,他俩就是一个旋转的过程,那实际上啊,也可以通过这个旋转东西去做一个规范,但是他我们叫反镜像,对吧?关于可以理解,就是关于圆点, 我们可以对于 x 有 个镜像,这个地方呢?不一样的地方就是,呃,这个地方你看就完全变下了,对吧? y 轴之前是上,现在 y 轴变成了下,那我们很难很很简单理解,之前是右手坐标系,现在就变成左手坐标系, 对吧?呃,就是手系的,或者说坐标系的一个概念,同样的这边也是一样, 对吧?这边 y 是 不变的, x 也是变的,那现现在这个逆时针,现在 x 从到 y 的 话,这个显然应该是要变成这个样子,变成了这样去旋转了,对吧?所以 大家详细的去看一下这个页上面的一些内容,这个对于我们了解方式变化,或者说对于一些内容的一些变化,实际上是对大家理解上是特别特别的重要的。就是 以上是纺织变换能够去覆盖掉的东西,首先呢会有缩放,这个我们,哎首先会旋转还有平移, 这个我们就把纺织呃钢铁变换包换进来了。然后我们现在可以对于 x 跟 y 方向的一个缩放,整个去分别做缩放,就把 similar 就是 相似变换的一个内容去自由度补上了。 然后在相似变化的这个基础之上,我们加了一个 x 方向跟 y 方向的一个斜切,以去保证我们传感器 不是一个正方形,以及我们机械物理坐标系不正交的这两个问题,对吧?把这两部分的内容去给他做了一个很好的呃,在数学模型上去考虑到这个问题,好吧? ok。 这个是我们整体的一个东西,但实际上大家可以看到我们 w、 h 这个两个地方,它实际上会跟我们这个地方会有一些重叠,对吧?包括我们只有平移这个地方是不会重叠的,我们的斜切在这个地方跟我们的旋转实际上也是会有一些重合的地方,对吧?你包括这个地方 都是一样的,所以我们不要去孤立的看待他一个旋转和一个缩放,我们可以怎么样去理解呢?把这个取正拆开,大家可以去看一下,如果 这是这是一个旋转,我们首先呢要去处理这个错切,也叫斜切这个过程,这个就是我们在这个方向, 我们的 a, 刚刚在这个里头,我们不是说斜切吗?剪切就是 b 跟 c 这个位置吗?对吧? b 跟 c 这个位置不就是这个位置吗?对吧?这边可能会有一个 k, 那 对应的是 x 方向的一个斜切,这边是一个 k 的 话,对应的是 y 方向的一个斜切, 对吧?然后在这个基础上,我们处理完斜切之后,那可以认为这个东西跟它 啊差不多有一个关系,对吧?然后这只只是啊这个,这个,这个就是这种矩阵的表达形式,那在这个基础上我们可能还会有缩放,对吧?就是这个样子,那缩放一定的 b、 d、 w、 a 跟 h, 我 们刚说了 a 跟 d, 对 吧?做一个缩放, 缩放完之后我们可能还会有旋转,对吧?旋转一个地方之后 再进行平移,对吧?然后整体把所有的这个内容,你看举正相乘嘛?在这个举正乘乘乘这边可能会变成一个特别复杂的一个过程, 这边一个过程,这边一个过程,这边一个过程应该是三乘三的,对吧?我们之前说过。其次这个东西没有看过,小伙伴可以之前回过头来去看一下我们之前这个,嗯,其次的这个过程在上一节吧。 对,其次坐标这个之前有分享过,大家可以去看一下。然后在这个模型里头,大家可以理解说我这边的 a、 b、 c、 d, 这个实际上是由我们的错,呃,斜切包括我们的缩放以及旋转统一进行的藕合, 对吧?也就意味着 a 里头肯定有旋转的分量,也有缩放的分量,还有斜切的一个分量, 这个呢基本上就我们会去把我们所有的这个内容基本上做一个很好的一个概括了,或者说我们基本上是能够满足掉我们所有的这个场景, 对吧?我们的平移,平移就是两个坐标系之间做一个平移的关系,我满足了旋转,满足了包括我们物理坐标系跟图像坐标系 x 轴一个是毫米,一个是像素,这个缩放的关系,包括 x 轴不垂直的这个关系,我们都可以通过仿制变换去做一个很好的处理,对吧? 然后需要给大家在这边说明的说,实际上我们这个仿设变换依旧依旧是有他的这个局限的,这个局限是什么呢?就是你没有去办法保证我相机倾斜到造成的一些透视的一些机变, 记住啊,这个是透视机变,不是机变,像就镜头机变这个时候我们就需要 呃升级,再去升级一下我们的这个模型啊,就是你没有办法去适合满足这个深度变换的一些东西。但是我们必须要去承认的一点,就是说它计算是很稳定的,仿制变换的计算是很稳定的,然后 在这个地方我们可以去给大家去做一下说明。呃,我们在为什么原理里头,大家可以看到它这个里头有一个运行参数这边,比如说你几个点,它这个类似于就是我们去算这个对应关系的, 在你的运行参数这边如果选择缩放,就是我们之前对应的钢体变换,对吧?他只有哎,箱子变换是吧?他只有一个平移, 一个旋转,还有一个缩放,这是等同的缩放, x 跟 y 是 一样的,然后升级自由度之后,我们在缩放的基础上加了一个纵横比, 这个大家可以理解,纵横笔就是我们的斜切,对吧?就是我们的 b 和我们的 c 那 两个部分参数去引导我们造成的。 然后在纵横笔的上更上一层之后会有一个透视,这个透视就是我们下面要去介绍的一个内容。我再强调一点啊,仿车变换是我们百分之九十场景去用的一些东西。
