rebook 视频行为分析平台,这不是录像,这是实时智能,二百多 ps 毫秒即响应。 u l。 二十六最新一代检测模型,更高精度,更快推理 检测跟踪、行为识别一步到位,摔倒越界、聚集闯入几十种规则,即装即用算法热更新,模型在线升级,无需停机。 x 八十六 a r m n v i d i a jackson 全架狗通吃,一台机器扛起一整个园区。 r t s p o m v i f g b 二八幺八幺海康以 home s d k。 直连零改造,接入海康大华与世音时全兼容。工厂园区、校园、加油站、智慧工地告警鸟级推送 rebo 卡,让摄像头自己看懂世界。
粉丝6928获赞2.9万

这是一块巴掌大小的开发板,搭载了一颗摄像头模组,不需要联网,也不需要云端服务器,硬件采集和 ai 推理全部在这块板子上完成,就可以独立完成对摄像头画面的实时的目标检测。这块板子呢,就是我们的荔枝派 nano 这块板子, 它的核心是 s g 二零零二芯片,内置一套算力的 npu, 专门用来跑深度学习推理,配合一颗 jc 四六五三四百万像素的 mpi 摄像头, 画面采集和 ai 推理在同一个芯片上完成,不需要额外的算力的盒子或者服务器,所以它的成本呢,相比价格较高的专业 ai 视觉设备,这套硬件的入门成本低得多,适合学生和开发者学习。切入十六克斯计算机视觉以及边缘 ai 模型部署, 也能够用于高校教学实验验证和科研探索,帮助学习者完整体验从摄像头采集模型转换到板端推理的开发流程。按照目前这套配置估算,芯片模组加摄像头的核心硬件成本大约在一百六十元左右,已经包含处理器 n p u 算力和摄像头模组。 对于高校实验室、科研团队和个人开发者来说,可以用较低的成本搭建一套完整的切入式 ai 实践平台。好的,这是我们这个模组的实体的板子,这个呢是带了一颗四百万像素的摄像头,然后这是一个天线, 这个板子是带有 wifi 模块的,可以连接我们的 wifi 热点。然后呢,我们可以通过 wifi 的 ip 地址去访问这个板子的系统。好的,我现在呢,这个板子已经通上电,而且它已经正在运行中,我现在先启动我这个板子的系统, 好输入这个板子的密码,我输的这个 ip 呢,就是我们板子连接 wifi 之后的 ip, 我 的电脑呢和这个板子是在一个局域网中的,我现在输入它的密码, 这个就进入到我们的系统中了,然后我先启动一下,运行一下我们这个,我们跑这个服务。好的,我现在打开我们的这个主界面, 这就是我们这套系统的这个主界面,我们这个网页呢,这个服务器呢是在我们这套板子的内部去部署的,它不需要安装任何 app, 只需要呢和它连接在同一个局域网里,打开浏览器输入这个设备的 ip 地址,加它的端口号, 然后就可以访问到我们这个系统的这个管理界面,然后我们就可以通过这个管理界面去操作它进行摄像头实时的识别和图片的识别。 所以这个系统呢,所有的画面采集和 ai 推理都在这个设备本地完成,不需要上传到任何云端,这对于一些重隐私,注重数据安全的场景来说是非常关键的。 然后呢我们这个网页上有两个主要的核心功能,一个是摄像头实时检测,打开摄像头之后就能看到画面里被检测出来的目标,并且实时空出来。另一个呢就是上传这个图片,可以选择上传一张已有的图片,让他去跑一次检测看看结果。 所以整套的检测框架是可以配置的,可以服用的,不限于某一种目标,换一批训练数据,换一个模型,就能可以变成检测不同类别的这个系统。然后我们看一下我们这个系统的开发语言,我们知道终端呢,板子上包括摄像头采集、 ai 推理调用,网页的服务器,全部采用的这个 c 语言开发的。对,这就是我们的这个摄像头的处理,然后这是我们这个网页的代码, 全是通过 c 语言开发的。然后这个系统呢?为什么要使用 c 语言呢?主要有三个原因,因为这个兼容式的这个设备呢,它的内存可用的内存容量只有一百多 兆,内存非常有限。然后 c 语言的运行效率非常高,几乎没有额外的运行时开销,能把宝贵的资源尽量留给摄像头采集和 ai 推理本身。 第二呢,就是芯片厂商,他提供的摄像头的驱动, npu 推理这些底层的 sdk 本身也都是 c 语言的接口,用 c 语言开发呢,可以直接调用,不需要额外的封装和转换层,减少出错和性能损耗。 第三呢,板端还有需要长时间的稳定运行 c 语言呢,对内存和资源的控制更精细,方便做长期稳定性优化。 所以正因为这样呢,我们连这个网页的服务器都是用 c 语言从零实现了一个轻量级的 http 服务。而在训练和模型转换这一侧呢,因为是在电脑端离线完成的,不需要考虑资源限制。我们用的是 python, 像 yolo 的 模型训练, olex 导出 int 八的量化转换 都是基于 python 生态的工具链完成的,这部分更看重开发效率和现成的算法库支持。简单地说,板子上跑的部分追求极致的效率和稳定,所以用 c 语言电脑上做训练和模型转换,追求开发效率,所以用 python, 两边分工明确,各自发挥所长。然后我们这个开发环境呢,我们训练的模型和模型的转换都是在 windows 下环境进行的,使用的是 python 进行训练模型,然后导出了 o n x 版本,然后使用 ink 八量化,在 linux 环境下,用芯片厂商提供的 tpu millimeter 工具链完成 编好的程序和量化的模型,最后拷贝到板子上运行板端的 c 代码也是在 linux 环境下,用锐 c v 六十四交叉编辑工具链编辑成二进制。 我们这个训练之后,模型的转化以及它的一个量化,全都做成了一个脚本,可以通过脚本可以一键生成我们需要的这个模型。好的,我现在呢,我演示下功能,可以看到屏幕中我的摄像头呢是对着我的另一个电脑屏幕,从这个右下角这个小视频可以看一下。然后呢我现在, 然后呢,我现在点击打开摄像头,好的,我可以看到它现在是能检测到钳子还有枪械,对吧?然后呢还可以看到我们这个检测设置这块呢是有一个类别过滤的,我们可以过滤我们想要检测的类别,比如说呢,我现在 我点击我先把它,让它检测到我们的这个目标,可以把它放大一点,因为这个头呢比较小,这个电脑显示屏显示的时候它会有一些模糊。 对,检测了之后呢,比如说我把枪械过滤掉,它就不显示枪械,然后把钳子也过滤掉,它可能都不显示了。对,这就是它有一个列表过滤的功能,然后呢这块呢是它的累计,就是每一帧数据呢都会把数据累积的累积到这个 列表里面累积的一个统计,然后这块呢是我们实时检测的一个数据, 然后呢这块也有一个知性度和这个交变比的一个参数调节。这个知性度呢我们比如说我们默认检测都是零点八几,比如说我把它调到零点九之间 没了,因为呢它的知性度都是低于零点九的,调低一点呢这个就出来了,这就是知性度的调节,我们这也都都是可以调节的。好的,我们现在呢选择一张图片看一下, 我现在呢可以选择一张图片,比如说,呃,我找一个我们的这个图片, 同样的我可以选择一张图片去检测,开始检测它呢就可以把这张图片中的这个目标都检测出来,还有钳子还有枪械。对这两个,然后呢同样的它的显示的和我们的这个摄像头的检测是一样的, 然后呢我们现在跑的这套模型呢,它是检测这个安检的这个 x 光射线图的,然后呢我们也有系统里面也有其他的模型,我们看一下。 好的,我们看一下我们这个命令。行,我先退出一下,然后呢可以看到啊,我这里面有,这是我们转换后的两套模型, 这个呢是我们的这个安全帽的检测,这个呢是我们这个呃,安检通道的这个图像的检测,这是安全帽的检测,我们刚才跑的是个安检的,比如说我现在重新跑一下我们这个安全帽的这个, 对,这个看一下,这是安全帽的命令,这个命令是什么意思呢?这块就是我们要用到的哪个模型, 对,然后这块呢是我们配置的使用哪个配置文件,这个配置文件里面配置的就是我们要检测的类别,它是和这个模型是一一对变对应的。然后这块呢是我们的这个图像参数,然后这个呢是我们的一个知性度,我们默认设置的一个知性度,我们默认呢都把它设置成零点五可以, 对,然后这个也是,然后我点击运行,现在呢我们再看一下我们这个检测,我同样的 我首先我要刷新一下我这个界面,它现在这个类别已经显示成安全帽了。好的,我同样的我把摄像头先放好位置,比如说我现在先打开摄像头, 它现在是检测不出来任何目标的,我找到我安全帽的图片,在这里面就可以看到,这里面能检测到有人戴安全帽,对吧?然后同样的可以过滤戴安全帽的未戴安全帽,这块呢也是一个类别统计,这下面呢是我们当前画面检测到的每个目标, 对这个执行度和胶面笔也是都是可以调节的,可以看到我这个画面的实时性还是非常好的,它的处理能力还是非常好。然后比如说我现在呢选择一张图片 一样的,我选择一张图片,然后开始检测,这个时候呢它可以检测出来带安全帽的所有的人,对,这个呢就是我们这个所有的这个功能的演示。最后呢我们再总结一下我们这个 ai 的 这个检测设备 有这么三个核心的优势,第一个呢就是成本极低,这套硬件的总成本呢,一百六十块左右,如果说是批量去买的话,它的成本会更低。 第二呢是本地的实时推理,可以定制,可以服用。第三个呢就是它的模块非常小,可以轻松的嵌入到各个设备中,低成本,可定制,易集成,让边缘 ai 学习与实践更简单。

周六了,今天不聊趋势,不聊概念,今天动手,这期视频我带你用三十分钟搭一套自己的 ai 监控系统,太原的,免费的,不花一分钱,项目叫热巴卡,看完你就能上手。 先说这东西能干嘛?多路摄像头同时接入实时画面预览, y o l 六二六赫目标检测,人车物体毫秒级识别,检测到异常, 大模型自动研判过滤误报,确认威胁,直接推送告警到你手机。一套完整的 ai 监控,从检测到告警,全自动技术站给你拆清楚, 后端 django, 前端 show, 稳得一批。流媒体用 zl media kit 多录视频不卡顿,检测引擎 y o l o h o u mb, 小 模型树莓派都能跑, 大模型验证层接任何 open ai 兼容接口,本地远程都行,这架构一个人就能撑起来。怎么搭?三不,第一, get up 克隆项目 peeping 到装依赖。第二,配置文件改一下,摄像头地址填进去。 第三,启动服务,浏览器打开,完事没?开玩笑,真就三步有多克尔的更简单,一条命令拉起来,周六下午一杯咖啡的时间搞定。市面上监控方案那么多,为什么选瑞巴卡三个字够聪明。 传统监控有画面没脑子,录了等于白录。 rebecca 不 一样,小模型做眼睛,大模型做大脑,眼睛七朝而四盯着大脑,只在关键时刻介入,误报率直接砍掉九成。而且 mit 协议商用,随便用,不用付一分钱。 所以这个周六别光刷手机了。打开 git, 搜 rebecca star, 一下 concierge 下来,三十分钟之后你就有了一套自己的 ai 监控系统, 能检测能研判,能告警,还免费,别人还在讨问 ai 能不能落地,你已经跑起来了,周末愉快,动手吧!

四十毫秒完成一次 ai 推理,每秒处理二十五帧图像,在资源有限的 f p j 上,我们是如何做到的?博彦 ai ip 和在国产 k 七系列 f p j 上实现了二十五帧每秒的实时 ai 处理能力,单帧推理延迟小于四十毫秒。 这背后是一整套卷积加速优化技术的支撑。首先是深度可分离卷积算子传统标准卷积,将空间卷积和通道卷积混合在一起,计算量巨大, 我们将其拆分为深度卷积和主点卷积两个步骤,计算量降低百分之八十以上。其次是 i n t 八量化技术,我们将神经网络的权重和激活值从三十二位点数压缩为八位整数,存储需求降低百分之七十五,同时充分利用 f p g a。 的 整数运算优 势,计算速度提升四个。第三是自然的算子融合技术,传统实现中卷积批归一化,激活函数各自独立计算,中间结果需要反复读写内存。我们将相邻算子融合为一体,大幅减少数据搬运开销。深度可分离卷积、 i n t 八亮化段子融合图优化四大技术协调作用,让博研 ai ip 和在资源有限的国产 fpga 上实现了毫秒级的实时 ai 推理能力。四大优化技术成就毫秒的推理博研 ai ip 和让实时 ai 在 边缘端触手可及。

触觉智能 purple pi o h r 开发版 d b n 系统优乐 v 五端侧实时检测演示基于 r k 原厂 r k n 的 优乐 v 五大模型详细部署实战教程可关注触觉智能获取 整体工作逻辑如图所示,完成交叉编印后, a、 d b 推送一键启动脚本进行测试,实拍演示如下,无任何预处理操作, 画面中书本、手机等物体均可瞬时识别,检测过程丝滑流畅。测试完成后,我们整理了开发版性能实测数据,如表所示, 得益于触觉智能 r k 三五七六开发版性能加持,开发版采用核心版加底板设计,全新高速 l p d d 二五内存, 超小尺寸邮票孔封装,支持用户二次开发底板用于项目量产,配套丰富的软硬件开发资料,产品经过全面严格测试,供货稳定,售后服务完毕。触觉智能开源鸿蒙硬件生态领跑者。

什么是 yolo? 它的全称叫 you only look once, 翻译过来就是你只看一眼。在计算机视觉里, yolo 是 目前最重要也是使用最广的实时目标检测算法之一。这篇内容我会讲清三件事, uolo 到底是个什么东西,为什么它会让目标检测这件事发生质变,以及它的核心工作逻辑是什么?让你以后看到任何带 uolo 字样的模型,都能立刻理解它大概在干什么。我们先从一个最朴素的问题开始,机器怎么在照片里找到物体? 传统思路很像是拿一个放大镜,在整张图上一块一块的扫。先选一个区域,问分类器,这是猫吗?把所有可能的位置和大小都试一遍,这叫滑动窗口。 问题是一张图可能产生上万个后选区域,每个都要跑一遍,神经网络慢到根本没法实时处理。 后来出现了两阶段方法,最有名的就是 r、 c、 n、 n 系列,它们先找出可能有物体的区域,再对这些少量区域精细分类和修正边框,这就比华窗聪明多了,精度也高。但找后选区这一阶段本身就很耗时,还是做不到实时。 yolo 的 思路完全不同,他直接把目标检测当成一个回归问题,输入一张图,只让神经网络看一次,就一次性输出所有物体的位置和类别,没有反复扫描,也没有分阶段出,这就是只看一眼的含义。那他是怎么做到的?我们把它拆成三个可示化步骤来理解。 第一步,划分网格。尤洛会把输入图像分成 s 乘 s 的 网格,比如七乘七,一共四十九个格子,每个网格负责预测那些中心点落在自己地盘里的物体。也就是说,一只猫的中心。如果在某个格子里,这个格子就要对这只猫负责,它不需要操心整张图,只需要管好自己的小区域。 第二步,每个格子要同时做两件事,一是预测多个边界框,二是预测类别概率。边界框通常用四个数值表示,也就是框的中心坐标 x、 y 以及宽和高。此外,每个边界框还要附带一个致性度,这个致性度反映了两点,框里到底有没有物体,以及框的位置,预测的准不准。 简单说,致信度越高,说明这个框里大概率有东西,而且这个框的位置是靠谱的。类别概率就比较好理解了,就是当前格子里如果有物体,它可能是猫、狗还是汽车的概率分布。注意,每个格子只预测一组类别概率,不管它预测几个边界框,这些边界框都共享同样的类别。 第三步,把所有预测组合起来。一张图经过优洛网络后,会同时输出几百个甚至上千个边界框,每个框都带着类别分数和致信度。 接下来要做两件事,先扔掉致性度太低,明显没有物体的框,然后再用非极大值抑制去掉重复检测。 非极大值抑制的核心逻辑很简单,对于同一个物体,可能会有好几个高致性度的框,都圈住了它。我们就选出分数最高的那一个,并抑制掉所有和它重叠率超过一定预值的其他框。最后留下来的就是干净的检测结果。 这三步走完,一张图从输入到输出中间没有反复循环,只有一个直通网络的前向计算过程,所以速度可以做到非常快。 早期的 ulo 在 gpu 上就能轻松跑到四十五帧每秒,更小的 fast, ulo 甚至能上一百五十五帧。这对于自动驾驶、视频监控、无人机跟踪这些对实时性要求极高的场景来说,就是降维打击式的进步。 而且 yolo 还有一个容易被忽略的优势,就是它的大局视野。基于划窗或后选区的方法,很容易在一张图的不同区域局部决策。比如把背景里的一块云当成物体,但 yolo 在 训练和预测时看到的是整张图的全部像素,所以上下文信息更丰富,背景误减率天然更低, 也更能理解物体之间的相对关系。当然,没有完美的方法, yolo 也有它天生的短板,因为每个格子只负责一个物体, 如果多个物体的中心挤在同一个格子里,比如行人挤在一起,椅子堆在一块, ulo 就 很难全部减速。再加上它的边界框位置是通过回归直接输出的,不像两阶段方法会做精细的边界调整,所以对小目标和密集排列物体的定位精度会差一些。 这些短板也在后续的版本迭代中一步步被改进。从二零一五年 ulo v 一 发布到现在,这个家族的眼镜刚好能反映整个目标检测领域的发展主线。 uolo v 二用了更高分辨率的输入和毛框机制,速度和精度双升。 uolo v 三引入了多尺度检测,能更好地处理不同大小的物体。那篇论文到现在都是很多工程师的入门必读, 到了近年常用的 uolo v 五和 uolo v 八,其实已经集成了非常多的工程优化,包括数据增强策略、更高效的特征提取网络、更灵活的部署能力,让 uolo 不 仅在服务器上跑得快,在手机和嵌入式设备上也能流畅运行。 你现在看到的很多落地应用,比如停车场自动识别空位、工厂流水线上自动数零件,甚至手机相册里按物体搜索照片背后大概率都有优喽系的模型在默默工作。 它的最大价值不是精度本身上线有多高,而是在有限的算力下,把看得见、看得清、反应快这三件事平衡到了一起。 说到底,优洛的核心理念并没有变过,只用一个网络,只看一次图就给出所有答案。理解了这一点,往后你看到任何后缀带 v 几的版本,其实都是在把这个理念推向更准、更快、更稳的方向。 它真正解决的问题不是如何测量,而是如何感知,让机器在真实世界里第一次拥有了接近直觉般的视觉反应速度。

观众朋友,好啊,不好意思 给你们又拖更了好些天了,那么你们也在尽力的给我催更啊,我也不好意思给你们继续拖下去。那么基于上一次的项目呢,我们说到了呃, 基础的跑代码的一些环节啊,包括也是啊,对一些基本的,大家对一些这个基本的知识有也有一定的了解,那么再来回顾一下上一期的知识吧,上一期咱们讲到了这个灯塔是这个, 嗯,扣个幺二八,就是我们训练的一个路径,那么下面呢,这个一破曲呢,是我们训练的一个缓解流程的一个次数, 那接下来是白色赛事呢?嗯,这一个是将图片啊存到我们的显存当中的一个值 啊,其实这一个值呢啊,你的显卡特别好的话,甚至可以填三百,但是像我的,我们的显存比较低吗?显卡也不怎么样,我一般是填个五到三,给大家测试这边这个显存啊, 那么呃,接下来呢,关于这个一破曲,我还是要着重说明一下,一破曲呢,他在训练,呃,大家如果训练 那个数据比较多的话,再有啊,两千张以上的话,可以把这个一破取,甚至你就说想得到更好的一个有训练的效果,你可以填个五百,反正一般是呃三百到八百之间。那么还有下面这一个图片尺寸,就是 啊,我们将自己本地的图片输出到优龙威武模型当中啊,使用的一个尺寸,他会将这个尺寸缩小到啊六四零,并且 将这个图片呢进行翻转的一些检测训练啊,大概就说这么多吧,那么接下来呢, 咱们这本期的课程呢,将带给大家如何训练属于自己的自己的一个训数据节,也是为了实现我们 cf 这个实战的一个项目。那么首先我们还是一样,嗯,我们来到这个灯塔下面有一个 qq 那个幺二八的这一个文件,因为这边呢,他这边训练的用到的路径就是在这里吗?我们经常也可以自己创了,但是呢我基于让大家好理解呢,咱们 就在这里进行一个实战的修改,那么首先来到这一个文件这里,然后呢这个文件第一行呢,他是会下载啊, 扣我幺二八的数据集,嗯,咱们这一次改的话,建议大家这样子啊,嗯,首先这里复制,然后呢来到这个地方,把它粘贴出来,这边就会多了一个 copy, 那么将这个 copy 呢,把它改成自己的一个项目的名字,我这边就取名为 c f 吧,嗯, cf 的就这个 cf 吧。然后呢我们继续讲解一下啊,前面的一个东西啊,首先这边呢,嗯,他会 下载 qq 幺二八的数据集,但是我们有的是自己数据,就是我们是不需要下载了,所以说我们把将它注视掉。再来就是这一个地方是 他的类别,我们目前训练的话用不了那么多类别,所以说我们啊先弄比较少一点吧,先这样子弄着,然后类这些呢也,嗯,然后再来就是这一个比较重要的环节,这个地方我们需要改成自己的一个路径, 他这边点斜杠的意思是基于当前路径,我们目前就是基于当前路径的呀,所以说填 cf, 然后图片尺寸啊,这样子哦,我 cf 里面只需要这一个文件就够了,那么接下来之后呢,我们需要,呃 呃需要去给自己的那个数据集打标签,那么我带给大家一个方法吧,呃,就是说我们如果要训练自己数据集呢?我们需要,呃用那个 obs 去 录制一下,对吧?啊?录制一下自己的一个视频出来,再用那个呃视频猜图片的方式去打标签,其实这种方案呢是特别不错的,那么咱们首先呢需要找到一个打标签的一个平台,对吧? 我们要对自己的哪一个项目打标签,那么咱们这一次呢,我是用这个 cf 给大家打标签,对吧?那么我就用 cf, 这边我用 cf 的实战给大家讲解一下,这边跳过,那么咱们静静的等待进游戏, 那么咱们刚刚呢,呃已经通过 vgm 呢启动游戏了,嗯,就是说大家在嗯要要要打标签, 首先要有个目标,有个方向,你要对什么东西去打标签,并且你要你要呃标注他的识别他的哪些部位,并且呢他的每个部位呢?你需要给他一个那个标签的命名的分类,对不对?那么至于这一次呢,我我是通过这个穿越火线,对吧?然后那么咱们 呃随便进个频道吧,因为这是一个实战项目啊,啊,创建一个房间啊?不创啊,应该不是创建房间,我这边是用这个啊创建房间人工试验吧啊,这边 我需要创建一个人机来进行操作,那么咱们基于最简单的一个东西,我们就以这个新手推荐这一个进去吧。那么大家在进去的时候呢?呃需要用到这个 obs 对不对?要要要用到 obs 去这个录制视频,嗯,录制完之后大概是这样子的,我给大家看一下。嗯,我找一下我今天 今天弄的一个东西吧,嗯,就是我,我还是给大家说一下具体的一个情况,就是什么样的呢?就是说,嗯,最好的一个方案就是,嗯,我的方案是,嗯,通过录制视频, 录制视频内容的内容是,嗯,通过录制自己打自己打标签的 视频,然后呢通过代码将视频拆分成图片, 然后呢将图片一张一张的去打标签,嗯,标签 先,对吧,这样子的,嗯,那么这一期课程就到这里了,那么咱们下一期再见。 嗯,然后呢具体就是说一下。目前啊,这一个地方我是大,给大家稍微介绍了一下,因为我,为什么呢?这边停下来了,是因为我们都没有数据,急,我们怎么去填我们的类别还有以及类别的数量了,对不对? 大概是这样的意思,所以说咱们基于这一个在修改这一个配置文件,需要先准备好自己的数据题,对吧?然后再去 填好他的各个参数,再去服务器进行训练。那么如果大家喜欢我的视频,觉得我做的还不错的话,求必,求收藏,求转发,呃, 你们的支持就是我最大的动力,那么我们下一期啊,再见。

本视频耗时一小时,将讲解基于 open cv 加优乐 v 五曲线检测项目实战 全程干货,无废话,赶快上车。这样,我先给大家说一下咱们今天主题啊,呃,我们今天啊会给大家来去梳理梳理啊,就是先在视觉当中啊,我觉着做的比较广的,也是大家一接来肯定必须要面对的一件事,叫什么? 叫做 yolo, 哎,可能有很多同学啊,听过这个词,是不是有 only lucas, 然后大家都说这东西这么简单,为什么要去讲呢?呃,我们说几个事吧,就是首先第一个,第一个事啊,大家有没有同学,咱们是为了 论文做准备,论文做铺垫的?第一类同学啊,准备去搞论文上相关的东西。第二类同学啊,大家可能说,哎,那我就业,我要做一些项目,我可以这么跟你说啊,就如果说你连 yolo 你 都不会, 那就不要再谈什么项目了好不好?好了,这个东西我觉得对于大家来说啊,可以当做第一篇论文第一个项目幻觉来说啊,他是相对理解起来比较轻松的,这里边我不需要大家花特别多的时间成本,咱们就一个多小, 让大家把这些东西咱们能学起来,再能用起来好不好?好了,那我们在讲优喽之前啊,嗯,我先你们看看 demo 先,你们看 demo, 咱们说一说啊,这个优喽他是要去做啥的?我给你们举个小例子吧,来,咱们看, 在这里边,我们先来给大家放一个 demo, 这个 demo 它叫做一个检测优喽,它本身就是做这个检测任务的,来大家看一下,呃,在我们这个任务当中啊,大家你们帮我分析一下,就这里边你说检测要干什么? 检测其实我觉着很轻松的,也不能说很轻松,就很直白的一件事,我要画框找到这个物体所在的一个位置,是吧?好,那下面呢,我们就来说一说,嗯,如何才能找到这个物体他所在的一个位置?其实说白了就是给了我这么一个说数据 啊,这是我的输入数据,然后呢里边有一些目标啊,比如这块有飞机,然后呢比如这块有个人,好,那我说要找个,找什么找到这个人啊?他在哪?哎,那这件事咱该咋做? 嗯,我给你举个小例子吧,咱们任务当中大概要解决这样一个问题,这里边我要干啥?我要去逐窗口做一个便利。 什么叫主窗口边地呢?在我们任务当中你这么想,就是现在啊,我拿到手有这么个数据,有完这么数据之后啊,接下来,哎,我说通过卷积干什么?咱们能不能去提特征啊?提特征,大家来看我这个任务当中啊,是不是帮我得到了一些特征图,然后有一个特点, 特征图上的每一个点大家来看它是不是都会对应原始输入的一个去啊?每个点它是不是都会对应有一些去啊?哎,那下面我想问大家一个问题,如果说每个点它现在都会对应个去, 那我能不能做一个叫逐窗口的便利?什么叫逐窗口的便利?我说我去看看你每个窗口,比如第一个窗口,哎,我说你是什么类别?第三个窗口你又是啥类别好不好? 所以说我们现在啊,就是要把每一个窗口我接下来都去做一个预测,哎,比如预测啥呢?你的长宽,你的中心点位置,如果说每个位置当中咱们都能去做这样一件事,咱是不就能把这个结果给他做出来了? 所以说检测呀。呃,咱先往简单的去说,你不要把这事显得特别复杂,检测就去解决一个问题,我只需要干啥?我只需要把每个窗口 去看一看他有什么物体,这个物体在哪,这个事是不能解决了,是不是不难啊?好了,这是第一件事,哎,第二件事我再问问大家,嗯,就是在我们这个检测当中,呃,你说呀,我想把检测这件事 给他做的好,那我该怎么去做呢?下面呢,我会从几个角度给大家去分析这个问题。第一件事我先要分析这个事,就关于数据, 我问兄弟们啊,就是我问你们一件事,大家帮我回答好不好?就是你现在啊,比如说你想去做这个检测,好,那我们有两条路,这两条路呢,我让大家你们帮我选第一条路啊,就是自己的数据好写一个自己,咱们手里呢,自己都有自己的数据,是吧?还有一条路啊,叫做公开的数据。呃,我想问大家一件事,就是你觉着啊, 你想发一篇好的论文,咱们先说发好的情况下,你是用自己的数据还是用公开的数据?来大家帮我想想这个事。如果说现在你想用一个比较好的数据集,哎,做一个比较好的自己数据还是公开数据?来,大家帮我想一想,你觉着哪一个可能更合适一点? 大家帮我想一想,哪一个相对来说会更合适一些?其实我跟大家这么说啊,咱这这个这个东西非常关键,因为你在去做事之前, 首先你就要去选数据,选数据是非常有说法的,我先给大家写一写啊,你们听这么有道理好不好?就自己的数据干什么?自己的数据啊,就可以写一个字,这就是发水的东西,公开数据呢,就是去发好的东西,啥意思呢?就比如说你现在做了一件事, 你把这个东西啊,比如说你选数据的时候,你选公开数据集,我向大家说下,这个难度其实是很大的,这东西很难,为什么?就是我之前有同学,之前有学员啊,他跟我说,他说,老师啊,我现在去刷这个 coco 数据集,这个指标行不行? 我真有很多学员问我这个事,他们,他们都因为他们看了很多虽然比较好的论文都是在刷 qq 这个指标,他就问我,然后呢我就跟他说了一件事,我说 qq 这个东西啊,真的不是你能刷的了的,这种级别的公开数据集啊,你要能做出来,那你就是个大神级别人物了,你就在解决这个领域当中一些通用的问题了, 这件事怎么样?他特别难。所以我建议大家啊,就是你在做这个事的时候啊,首先思考一个问题,咱用啥数据?我们用这一种相对来说比较适合自己的,如果你代码能力强, 你就搞公开数据集训,如果说你代码能力弱,怎么样?你就搞自己的数据集。为啥?其实无外乎啊,就是你想发什么东西,你是想发好的还是想发不好的?这件事随你便啊,你们自己来去定好这第一件事,咱们说啥?有任务的一个难度, 大家很多说啊,就是我们今天先不想讲公开数据,因为我相信啊,来的同学,你们应该不是说必须发个顶会顶刊吧,不是奔着这个方向来的,是不是很多同学啊,应该奔着啥我自己的数据要去做这个事,那咋办呢?来,接下来我给大家说一下,我们怎么去解决这个问题啊?在这里面我给大家来看 看什么呢?给大家去搜一个东西啊,这个大家说怎么找数据,怎么找数据这件事吧,我给你们捋一捋啊,你听一听有没有道理好不好?咱们大概要去解决这样一个问题,就是到哪找数据啊?你看我现在打开,打开这个东西叫什么?这个东西啊,它叫做一个 coco, coco 是 啥意思? 我举一个小例子,你来听一听啊,大概我们要去做啊,不是 coco, 就是 卡狗,卡狗什么意思呢?我给你们举个小例子,咱们大概要做这样一件事,就这里边啊,它有很多的数据集可以让你去选的,你看这块有个模型叫 data size。 我是 建议大家做这样一件事,就是当你不知道选什么数据的时候, 你就是找看一看市面上有没有类似,有没有相关的数据,咱们在这里边先去找。大家可能说,那我如果说找的数据他没有标注怎么办?没有标注没关系啊,咱自己标数据都行,让我再给你说个方法,你听听有没有道理行不行? 我们这我们前两天真的有个学员,就是,其实我看你大家可能说他老师,你为啥给我讲这些东西呢?我给你们看一看,你看我带多少学员的量,就是我每天都要去回答这些问题,每天都要跟学员去讨论 啊,这我带的学员量挺多的,其实不仅是我一个人,我们整个团队每天都在跟学生打交道,读研的读我的兄弟,我们太知道大家需求是什么了。 就前两天有学员,他说呀,他的导师是主要做那个行人检测的,但是他发现一件事,如果搞那些行人检测的公开数据机,他做了大概差不多快半年的一个实验,始终指标刷不上去,就感觉做到极限了,刷不动了,那咋办? 他就问我,唐老师啊,咱能不能变通一下子?我导师要求我做行车检测这件事不能改,那我说数据上能不能变换一下子呢?这我跟他说一件事,我说啊,你们先拿到手这个数据啊,他是常规条件下啊,做这种行车检测,那都烂大街了,那你很难去刷了。那我说咱们能不能变换一下,比如说你找找这种数据啊, 在远光灯的条件下啊,在光照不足的情况下,你说再做行政检测,那这里面好像没有一个特别全的公开数据机能供你做这个事。那我说你这里面去找呗,你找一找有没有类似这样的一个数据,咱们变换一下场景, 有,你之前再去刷,再去卷公开数据机,变成现在你落到什么自己的场景,自己的一个数据机。 大家可能说,那,那我落在我这个自己的数据集上有什么好处吗?我给你们举个例子啊,就是如果说啊,大家肯落在你们自己的数据当中,这里边我觉着有一个挺大的好处是什么?就是你自己的数据集你自己说了算, 你的测试集是你的,就是接下来比如说你要做消融实验,你要做对比实验,跟谁比都是跟自己比,都是我的数据集啊,那你想一想我的数据集, 我想把他指标刷刷的稍微高一点,这件事是不可以,是不是没那么难了?好了,这是给大家去梳理了一下啊,来咱们任务当中,呃,首先第一个吧,我是希望大家就是后续做事的时候 一定要先考虑第一件事,就是你选数据集,让我顺便再给大家说一件事,就是还有很多,一会给你们看这个代码啊,还有一些学员啊,他总问我就是唐老师啊, 哎,咱们能不能做这我能不能做这,我能不能做那?其实我想说这样一件事,就是你不要问我你能做什么,你先告诉我你有没有这些个数据,如果说你有这些个数据,那咱就能做这个事。 幻觉来说,如果说你没有这些数据,那咱就做不了这个事,你能做什么?取决于啥?取决于你的数据咱们是有啥东西的。好吧,好了,这是给大家说的第一件事,咱们找数据开口当中啊,是找是可以的,那大家可能说找完之后自己标注行不行呢?标注也行,做检测,做分割啊,道理其实都是差不多的。 然后呢,我们说咱们今天的第二件事,第二件事当中啊,就是优喽,优喽,我不想给大家讲理论了啊,我给大家分析一个事啊,就现在我问大家优喽里面用哪个版本? 优喽,你用 v 几来问兄弟们,你们现在就这个事交给你了,你说你现在想去跑一个检测模型。优喽,你现在用哪个版本? 就是我家这么说,以前我们叫 v 八,现在叫什么?现在叫 v 十一了,但很多说他俩差了,差了三个版本啊,差了挺多东西啊。优,优喽 v 五,拉倒吧兄弟,优喽 v 五,你知道哪年的事吗?哎,问兄弟们,你们知不知道优喽 v 五哪年的事 救了 v 五?是五年前了,二零二零二零年的事了吧,如果没记错的话啊,是不二零二零年的事了,那这 v 五就拉倒吧,这个这个词有点太老了, v 八也不行,为什么?因为优硕,我又,我给你们打一个代码。优硕啊,他已经去更新了一下这个包,就是现在已经,现在已经没有 v 八了 啊,就是我们现在说这个 v 八啊,默认就是什么?默认就是 v 十一了,就是你现在说 v 八,他就是 v 十一啊。好,这是我们说了,现在你默认呢?就是装上给你们看,就比如咱们不是装这个包吗?这你们知道吧?咱们现在用这个优硕的一个包最早用过 v 三,咱们是不是干什么直接用这个包就行了。 优喽当中我跟你们说几件事啊,就是大家你们可以这么去理解,如果你是搞论文的,我教你们说两个方法。第一个,如果说大家搞论文的,我觉着你前面太多的理论吧,不用不用去了解, 就是优喽当各大版本他的理论上做什么东西,这件事我觉得你就不用去了解了,如果你只想考论文,因为一会咱们干什么?一会啊咱们就增删改模块就完事了,比较简单啊, 如果说大家你们想搞项目,想搞项目的话,那其实你要去一会看看原码的细节,搞论文,大家说搞论文用不用看原码的细节?搞论文还真不太用。如果说你只做优喽,我觉得这件事吧蛮简单的,你连原码的细节可能都不需要去做的。好了,那我们说说怎么去用?行吧。 第一件事装这个包,这叫就是优设这个包啊,就是优开头这个包,你们自己呢?到时候 p i p 给它装起来,行吧,好,第一件事,我们先装好这个包,装好这个包完之后啊,接来干什么?装好包之后我们来去用用包,其实非常简单。首先第一件事,我们去指定一个配置文件,我们来看一下这个配置文件,直接调包去做的。 呃,但是我们在说配置源之前啊,我想问大家一件事,就是这个优喽 v 八也好,然后这个 b 十也罢啊,你觉着他是不是只能做检测呀?那我问问大家,你觉得这个东西他是不是只能做检测任务? 其实我想给大家说这样一件事,就是关于这个优喽这个东西啊,它不仅仅是能去做这个检测相关的东西。为啥呢?你可以这么想,现在这个优喽啊,你就当做它是一个啥通用的特征提取模块就行。 什么叫做一个通用的特殊区域模块?就是比如说啊,在我们这个任务当中,哎,我说现在我有了一个输入数据,然后经过了,比如说优乐当中的一些结构,然后再往下呢?我说,哎,咱们要走一个输出层, 其实输出层我可不可以做成不同的?是要做成不同的。哎,我说做检测,好吧,做检测好,我说预测一个框,那当然可以了,那我说我除了做检测,我做分割行不行? 那除了做分割呢?我做姿态估计行不行?我做啥?我做分类任务行不行?可以啊, 所以说关于这个优喽,希望大家你们这么去讲,你就不要再去说啊,这个优喽他只能去做啥东西了啊?优喽能做的东西啊,其实蛮多的,在这里边呢,我们能套挺多事啊,就不仅检测了分割的,自带估计的分类的这个事其实随你便的,你都可以自己去选,都可以自己来设计的。好吧, 好了,这给大家说了啊,就是优喽你想做啥?其实这件事是你自己说了算的,我们自己来去定好,然后呢我们再来看啊,就是啊,咱们该怎么去用?我给大家先打开,这叫什么?这个就是我们所谓的一个配置文件,咱们来看一看吧,就是这个配置文件,我们来该怎么去做啊? 好了,来咱们看一看啊,在我们这个任务当中,这里边啊,就是当我引入了一个配置软件之后,你发现它里面有很多层级结构,你看比如说这是第一层,然后这是第二层,这是第三层,然后这是第四层,第五层、第六层,他有好多层次结构,是吧? 哎,然后我再问问大家啊,就是针对我们这些个层次结构来说,哎,如果说我现在有个小问题,你看这里边人家列了一个结构,比如 c、 r、 f 这个东西,人家这个结构,哎,我说我不认识怎么办?如果有一个结构,我说我不了解他是怎么做的,那咱们该怎么去做呢?来,我给你们看, 我给大家说一个方法,这个方法吧,我觉着挺重要的,这个方法我真觉得挺重要的。你要来去驴,来来来去会这个事了啊。呃,咱来看,比如说,比如说打开这个优乐,我给你们看啊, 来,咱们先拿这个这个图举例子,你看,比如说现在啊,我拿到手上一个结构图,大家看没看到?比如说论文上也好,论文当中啊,比如说可能说啊,就是我我们提出来什么结构,我设计什么东西好,你看有东西叫做一个 cf, 这个 cf 是 什么?就软件设计的一个模块。 呃,但是现在呢?我说我遇到了一个小问题,现在我遇到了一个啥小问题?就是在我们这个模块当中,这里边咋样?在我们这个模块当中,我先在, 哎,不知道他的细节是怎么做的,不知道这个东西该怎么去搞,那咋办?哎,那我说接下来咱们要不要这样,比如说在我们任务当中,我去 deblock 过一遍,把原码当中如果说每个细节我全都能过一遍,注意是每个细节我都过一遍, 那是不是我知道这个模块在干什么了?好了,那下面我给大家讲一个东西,这个东西吧,其实很关键,这个东西要干什么?就是我们要去看细节。来,我举个小例子,你听有没有道理啊?比如现在,现在呢,我看这个 cf, cf 模块,我说找得到一个模块, 那下一步我说进入到这个模块,我们进入到 bug 当中,这个操作啊,我跟大家说啊,你真的得把它学会,就这个东西是你,是我,就这么说,是你必会的一个东西,如果你不具备 bug 能力,你什么论文都看不懂的,你什么项目都不会理解的,就是后续大家你们会发现一件事,我经常愿意干这个事,为啥 我给你们来一遍,你就知道为啥这玩意有价值了。就比如 cf 这个模块,我不可能说打开代码我去看啊,就眼巴巴的去看,我肯定要进入到代码细节里边啊。来,你看,接下来我进入到这个 delete 当中,我们来去看看这个结果,好吧, 来,稍等一下。呃,你看,首先我们拿到手一个类,大家能不能看到一个 plus 类里边 cf 模块是不是有了?然后你看这有东西叫什么?叫做一个 forward, 在我们这个 follow 当中啊,我问大家一个小问题啊,就是这里边你看他是不是代码停在这了?代码停在这了,他有什么特点? 在这里边?你看,如果说我把鼠标往输入 x 这一放,能不能看到我这个输入他矩阵维度的大小,但能不能看到有很多详细的信息啊? 包括我这个矩阵四维的一个矩阵,矩阵当中每一个维度是什么,是不是都是一目了然呈现在我面前的, 所以说通过这种抵抗方式,我觉着最大的一个特点就是我很清楚的能知道这里边每个模块要去做啥,是不是好来这第一步,先给我一个输入, 哎,找我说啊,这回你看它是有个什么 c f 点 c f 一, 那我怎么知道这个模块干什么呢?你看,其实正常你看代码,你不可能看出来 x 是 什么,你也不可能看出来,哎,这个什么 c v 一, 它做一件什么事, 但是你看在我们的 bug 模块当中来,你看我把鼠标还是同样往这一放,当我把鼠标往这一放完之后,大家这回有没有发现咱们任务当中怎么样?来,你看一看,是不是它给你列出来了,我们要走哪些个模块?每一个模块是什么东西, 我觉得就是你需要去考虑的,就你需要去了解的每个模块是什么,他已经是不是呈现在你面前了呀? 所以说大家学会一件事啊,就是当你哪个模块不会,或者当你哪个论文看不懂情况下,咱们进入到原码当中,实际的去捋一遍,好不好? 如果你能把卷码捋一遍,是不是这个细节你就会了呀?好,这是一个事哎,然后你再往下,你看,往下跳一步,哎呀,我说这块有一个输出值,有一个返回结果,我把这个鼠标再往这一放,大家来看一下,把鼠标往这再一放,你看现在这个输入结果, 他是不是又列出来了呀?在我们任务当中,接下来我是不知道哎,经过了我的结果之后,咱们的啥,我们的返回值是什么? 所以说每一步如果说你都能这么去做,咱们一行代码一行去码去捋,那是不是相当于你再去分析整个项目当中的每一个小细节? 所以大家后续要把时间放在什么地方?大家后续要把时间放在啥?放在自己的原码当中去理解呀,这个很关键。好吧,好了,就给大家说了一下底 bug 的 事,然后下面呢,我再给大家分析一个东西啊,就是啊,如果说大家 想在这个卷码结构当中,哎,我说我想去做一些增删改查的一个操作。什么叫增删改查的操作?就比如你看这是人家原码当中啊,人家定义的一个结构图。呃,那我说接下来我想做这样一件事, 比如说在这个原码当中,哎,能不能这样啊?在这个原码里边我们去加上一层,我们去改一层,好不好?如果原码当中咱可以去加,我可以去改,哎,那此时能不能让我这个模型他学到的信息会更多一点啊? 所以说下面我做这样一件事,在原码当中我要去加模块,哎,那我们说既然要加模块,大家你们最常见的 最常见的加模块的方式是啥来着?其实我觉得最常见的方式啊,是不是直接干什么?直接就是加一些注意力机制啊?好了,那问问大家,呃,就是你觉得这个注意力机制咱们该怎么去加呢?如何才能去往里面添加一层? 好,首先第一步,我说一会啊,咱们介绍加个模块,我说我随便加个注意力啊,那首先干啥?首先首先我说,哎,是不是咱,咱得有这个注意力机制啊?我得有这么一层才行,是吧?好,这第一步来,在咱们任务当中,我先把这一层拿到手。第一件事拿到手有这么一个圆满, 大家可能会问,就这个原码在哪去找?其实原码现在很多呀。嗯,我觉得要,要不然就你跟着我们去学,我给你这些东西。还有呢?比如说你现在市面上去参考有很多论文,很多算法模型,都是提出来一些结构,一些机制,是不是这些代码是不是很多都是开源的呀? 好,那我说这些代码竟然是开源的,咱们开箱即用好不好?能不能直接拿到这些现成的东西啊?可以的,比如你看我这列了个 emv 啊,你先不用管是啥,我可以这么说啊,他就是啊,一会我们要添加的一种叫做注意力机制的结构, 只要在这个注意力机制结构当中啊,我先把所有的原码搞定啊,第一步先拿到手所有的原码啊,这是第一步,第二步呢,就是有了这些个原码之后, 哎,我是不是得再去用这个原码干什么?我得再去用这个原码来去得到我接下来想要的一个变换之后的结果啊。那这一步怎么去做?我给大家说一下方法啊。首先第一步来,咱们先确定你拿原码了,拿原码完之后呢,大家来看, 在这个优喽 v 八或者 v 十一当中啊,它要这个文件,你们自己截个图或者自己记一下,它叫做这个 type p y, 到时候你要找这个文件, 在这个 typeahead 当中有啥?有咱们这个东西就是给你准备好了,在 typeahead 当中,你只需要呢把这个包给导进来就行。大家看我们介绍这个玩法当中啊,刚才我们自己,我们是不是自己定义了一个啥?自己定义了一个注意力机制模块, 这块是有东西啊,它叫做一个 ema, 哎,是不是有啊?好了,咱们任务当中,这里边我们是有咱们这样一个注意力机制模块,然后呢,接下来, 接下来在我任务当中,哎,我说既然啊,咱们有这个注意力集中模块,咱要干啥呢?用这个注意力集中模块 直接去做预测,直接去输出就行了。好了,那我们下面来分析分析啊,这件事咱们该呃怎么样去做能得到我的一个结果?好导进来,这么 e m a 包,那下面呢?我们来搜一下,还教大家再改一个地方, 大家再往下改,再往下啊,在这呢,你就是这个可能就是啊,不一定,不一定,你的行数跟我一样啊,咱们可能版本有区别,你看大概,大概到这个服务学院当中,服务学院遍地的时候,你看怎么样?我把这个 ema 模块同样拿进去, 就让他去找这个层的时候能干啥?让他去找这个层的时候能找到这个 e m a 这个层就完事了啊,你得能找到这个层才行。好吧,好了,这是给大家去看了一下啊,咱们任务当中,哎,我们要去干什么?加一个模块怎么去做? 那你说你加完模块之后干什么?加完模块之后你就去跑这个模型呗,让他运行起来,然后我们去看他执行的一个结果好不好?好,这个运行我给你们看了,因为这个这个这个速度他比较慢的,后续咱们就自己去搞这些实验。 所以说优乐我觉得最大的一个特点是什么?就是他做东西啊,其实非常快啊,就是你很快就可以做实验,而且呢,我我再想说一件事啊,就是做这些实验啊,咱们的难度其实非常快啊,就是你很快就可以做实验,而且呢我我我我就不需要你懂数学, 你就可以把这个东西做出来啊,这就是说咱用优乐我觉着比较简单,比较轻松的一件事,他百分之百能做出来东西 啊,但是他可能会相对怎么样?相对来说会比较水,是不是适合大家搞大论文啊?小论文当中小论文怎么样?小论文其实我觉着就不算特别合适,因为小论文其实你最好做一些稍微难度大一点算法, 比如 dtr 啊,比如继续穿的风格的东西啊,那一些可能相对是更合适的啊。行了,这是在任务当中啊,先给大家去梳理了一下,来,咱们第一个优乐里边我们是怎么加注意机制啊?优乐大概基本的使用方法是什么?然后今天呢,我们事还没完啊,我还想给大家再去介绍另外一件事, 另外一件事叫什么?另外一件事啊?我给大家来看,我先给你们搜个东西,这个东西其实蛮重要的,我给你们搜一下,来,咱们进入到 gitlab, 我 先给你们打开来看吧。就是,哎,这个词大家听没听过?咳,这个词叫那个 mmtaction, 他是专门啊,专门做一些检测的一些工具包,这个工具包吧,我觉着还蛮常用的。为啥?因为一旦就是说你有了这个工具包之后,你就可以很方便的去做这个对比实验了。就是国内啊,跟大伙可能总被抢啊,我现在直播没办法连上去,没关系,只要大家你们那样, 你们后续要自己打开这个 github, 然后你们说下搜啥啊?我先把它打开,然后我跟你们说一下,呃,这东西咱们该怎么去用?这东西吧,觉着用起来还蛮爽的,为啥?因为它能解决的东西,那这真的是非常多啊,来,我给大家看,咱们打开。来来来,你看,我打开。 好,我先给你们看一下咱们这个项目的名字,来,这个名大家看没看过?我给大家放大一点,叫什么?叫做这个 m m t t 神。呃,那想问大家一个问题,就是这个 m m t t 神你觉着他在做一件什么事? 在我们这个任务当中啊,他大概要去做这样一件事,就是你现在啊,比如说要做一些检测的算法模型,那能不能针对针对啥?针对我们这些个算法模型啊?咱要设计点啥? 我是不是要去设计一些对比实验,设计一些消融实验啊?但是有一个很大的问题,就是我再去做这些实验的过程当中。哎呀,我觉得这件事怎么样?我觉得这件事好像挺麻烦的。 为啥麻烦呢?因为我经常需要去改这些啥,我经常需要去搞不同的源码,不同的项目,你搞不同源码,不同项目,我们是不是要势必去配不同的环境啊?配环境这件事吧,其实挺麻烦的。哎,那会要不然这样呗,我说,哎,我也别去费了八劲,咱们再去配这个环境了。 咱能不能这样直接用一些现成的模块?我在这里边我去增删改查,我去加减模块,好不好?来来大家看一看,看一看我是怎么去做这个东西啊? 首先呢首先我跟大家说啊,这东西是个开源的, m 点是个开源的。然后呢我给大家先看第一件事,第一件事就是你先看这个 它首先呢它是有个东西啊,叫做一个配置文件。这东西的好处是什么?我给你们解释一下吧,就是大当大家你们想去做实验的过程当中,呃,你是不需要啊,不需要重复的配很多环境,一套环境你就能去,基本上来说就是一套环境你就能去做所有的事了。 那在这里边大家来看,在我们这个 fm 当中,这个 fm 当中啊,它有什么?就是左边这些,左边这些当中大家来看它有啥? 都是现在啊比较经典的一些检测算法模型,是不是你都可以直接调包的?就是 m t h 最大特点咱们是可以直接调包,直接调完包之后啊,咱们就用这个包干啥?用这个包我去做输出,我去做对比实验就完事了。 所以说我觉得就是你用这个 mmt 神啊,我们可以去解决这样一个问题,不用重复造轮子,一个环境咱就能解决所有的事了。好,这第一个啊,我们不用重复的配环境。然后我再问大家啊,就是你们,你们想一想, 你去,你去搞项目也罢,你去搞算法也行,就是其实有一个东西我觉得很通用的一件事是什么? 就是你都要去做分析,都要去做实验,是不是?但你想一想,如果说这里边我不需要你重复的配环境,所有算法,所有模型,哎,我说咱,如果说咱们都可以用相同的一个环境去做, 那是不是感觉这东西就挺爽的了?好了,这是第一个问题啊,就是我跟大家说一下啊,你就是不用,不用重复干什么?不用重复具备环境,他的一个环境当中可以跑所有的经典的这些个检测算法。好吧,这块呢,我以后给大家举个小例子。好,那我们举个小例子,比如现在, 现在呢?我说,哎,我说我想去跑一个模型啊,想跑一个模型,我定好了就跑这个模型,叫那个 dfo dtr, 蛮经典的一个模型。然后我说要不然咱们这样呗,我在用这个模型的时候啊, 我势必啊,比如说大家可能说我论文当中没啥写的东西,我能不能加点预处理的东西呢?哎,我说可以,当然可以加上一些预处理东西啊。好,那在咱们任务当中这些个预处理上的活,哎呀,你觉着我能不能不写代码就把它做出来?什么叫不写代码把它做出来呢?嗯,我举一个小例子啊, 就是这里边,比如说我现在对于检测任务来说呢,就比如数值大小,有的时候这么大, 有的时候这么大,有的时候这么大,但可能说你,你变换这个大小,这都有什么用呢?嗯,我举个例子啊,就是当我们去变换大小的时候,他有一个特点,你可以干什么?你可以直接的让模型适用啥?适用不同的多尺度的一个输出 啊?不止不同多尺度的一个输入,让模型能多考虑到一些信息啊。所以说这块有个特点,咱们要构建一些多尺度,让模型泛化能力更强。但是我举个小例子就是,哎,你说这件事咱们听起来好像挺容易,是不是?听起来好像挺容易, 但是你觉着做这个多尺度做起来你觉得容易吗?其实我觉着做起来好像不那么容易啊,那咋办?哎,那我说要不然咱们接着这样, 咱们直接用现成的模块去做好不好?我们直接就调用一个现成的来去搭了,现成来去搭的时候啊,其实,嗯,你们可以这么去理解,现成去搭的时候,咱就直接去套,直接套现有的模块。你看这一块我指定个 imagine scale 这个东西,哎,你说有了一个 imagine scale 之后, 咱的模型它在学的时候怎么样?哎,我说它在学的时候是不是这里边它就可以直接去用了? 所以说这个 m 点还是有好处,就是你想加什么模块?我不需要,我就是不需要啊,不需要你做,嗯,多么复杂的东西,在这里边干啥? 直接去套用就完事了啊?不需要你直接干啥?不需要你直接去自己实现所有东西啊,我们自己去搭,自己去套就完事了,好吧,好,这是一个场景。然后再往下呢, 再往下我们的任务当中啊,那比如说数据处理,我们不看了啊,这都直接套这个模块,你直接就是啊写配置文件,配置文件当中呢,你去定义好这个逻辑就好了。然后呢再往下,再往下我们任务当中啊,大家可能说,哎呀,那我现在这个数据集一会呢,我要做对比实验,那我要把要不要把我这个数据集做一个转换呢? 这件事是需要的,你需要把你这个数据集啊,多多少少的给他去做一个转换。嗯,当我们再去转换的时候,我跟大家再说一件事,就是这里边尽量把你的数据集的格式,注意不是数据集啊,是数据的格式,把你的数据集的格式转换成什么? 经典的这种公开数据集,比如 qq 数据集,这样做的好处是什么?就后续你再去用的时候, 你跑不同的实验,跑不同的项目,他可能要求的可是不同,但是势必都会支持这些公开式,一些格式就避免你去改原码。就是你们这么想,尽量啊,尽量不要去改原码,而是把你数据的格式做成跟人家一样的, 是不是就好了呀?好,来那我们看一看,接下来这一块,我把数据格式做好了,做好完之后呢?那你看下面我们是不是要去加载处理数据啊?到哪?到哪个路径处理数据,加载数据,是吧?这些其实都是 m m t 开始当中啊,人家自带的。然后还有一件事,还有什么呢?就是大家能说,那我这个网络结构, 我这个网络结构当中啊,我下面先给大家讲一个东西,这个东西叫做一个结偶。什么叫做一个结偶呢?嗯,我先给你们说一件事,就是什么样的算法模型它是比较好的,什么样算法模型它是比较差的好不好?好,来我们举个小例子,呃,我跟你说一说,什么叫结偶啊? 比如说在这里边大家来看,我给你们找一个,我就拿,我就我就拿这个说事了,行吧?然后,呃,我先找一个, 我先找一个场景,你们来看一看,比如说在这个场景当中,呃,这个叫深度估计。来我举个小例子, 来来给你们找一篇论文啊,咱们随便找,我只是拿它举例子。这里边呢,我们把这个整个网络结构啊,咱们给他去, 呃,做一个切分吧。我说我想给他去切分成每一个模块,好不好?然后咱们来看一看这件事我们该怎么去做啊?嗯,首先第一步,第一步呢我先你们看, 咱们先讲第一个词吧,第一个词啊,叫这个名字叫做一个 bug 棒。 bug 棒是干什么的?他是帮我去提特征的,大家注意啊,就是第一步,哎,我说他是帮我提特征的, 只要大家能说,哎,那比如说针对这个 bug 棒来说,这东西咱们能不能直接去用呢?啊?这东西其实你可以直接去用的,你想用这个 bug 棒直接去套,直接去用当然没问题啦,但是现在有一个小问题,哎,就是在我们任务当中啊, 那你这个 bug 棒能不能做一些替换呢?可以的啊,就是你后续这些都可以当做你实验的一个指标,实验当中吧,比如说你想凑一些数据,当然没问题了,凑一些数据把东西做的更丰富,肯定是可以的一件事啊。好了,来,接着再往下,再往下呢,咱们来看,我再给大家说咱们第二个词啊,我们第二个词, 第二个词,来这里边咱们的第二个词,来,来一会大家去替换啊,叫做一个耐克,耐克是这样一件事,呃,你们这么想吧,就是首先啊, 首先呢我们这个掰个棒当中,他是帮我去提特征的啊,第一步他现在呢已经能把特征我们去拿到手了。好,这是第一步,先去提特征,提完特征之后呢,我们是不是要去变换,要去组合这些特征了, 哎,那我说接下来咱们再去变换组合的过程当中,这里边势必我要做各种各样的一些各种各样的操作,那这件事其实我说是你自己说了算的好不好?那你看这里边他做了比较复杂的一件事, 那你看他的结构怎么样?是不是我,我先不说这个结构是好还是不好,哎,你发没发现,就是从结构上来说,他看起来都是挺复杂的一件事。那你想一想你的论文,你的项目当中,哎,你要不要把东西做的比较复杂? 其实我觉得这么我是这么想的啊,就是如果说越复杂的一个东西,是不是相对来说咋样?相对来说他让别人看起来觉着你的工作量大,觉着你做的东西多呀, 所以说来在我们任务当中这里边干啥?我们是要变换这些结构,对,你掰个棒,得到一个特征,咱们要干啥?我们要去做一个变换了啊。好,再来看这块,他做了一个不同层级的采样, 你看有有很多什么,是不是有很多上下级别的一个采样啊?把不同,把不同层次的特征都做了上下不同层级采样,通过这种采样的方法 能让模型在学的时候怎么样多利用一些信息。好吧,好了,那我们来看,这叫耐克,就是往花了变换,往把这个东西啊,变换的越多越丰富越好。然后呢接着再往下, 再往下,咱们这个任务当中啊,我们还要再去做一个模块,就是大家看这个,这个呢叫什么?这个叫做我的一个 high 层,一般情况下我这么说啊,就是 high 表示啥?表示我的一个输出层。 好,那我们下面来看一看,就是来针对我们这种来说啊,哎,咱们的输出层是不是也可以自己定义啊?这个输出层其实真的就是我自己定义的。那我说 我的输出层,可能不是说啊,一个两个,我的输出层,我说想做多个好不好?是不可以啊?来这里边,我说,哎,这是我第一个输出层,这是第二个输出层,这是第三个输出层。但可能说,哎,就是我,我为,我为什么要搞多个输出层啊?多个输出层这东西有啥用吗?嗯,你这么想, 就是我能不能做一个东西啊?就是由粗到细,什么叫由粗到细?这里边,哎,我说要不然咱们去这样去做, 我第一层先得到粗略的一个特征,第二层呢,我得到一个一般的特征,第三层我再把前面特征不断去总结,不断去优化,是不是可以啊? 哎,所以说大家注意啊,在我们这个任务当中咱要干啥呢?让算法,让模型逐层去优化,你看这里边他有设计一个逐层优化的概念。 好,哎,那大家发现没有?就是在我们现在这个任务当中啊,他已经提到了,我觉着有很多新鲜事了,是不是有很多新的模块,我给大家列出来了 啊?其实不叫新鲜事这东西啊,基本上所有的算法,所有的名都有的啊。好,那我接下来再问大家一个问题,就是针对啊,针对我们这些个算法,针对这些模型来说,呃,你觉着,哎呀,你觉着接下来我想做 改进的时候,咱们能不能有针对性的去改进?有针对性的改进其实是这样一件事,就是叫解偶,解偶干什么呢?我刚给你们举过一个小例子,哎呀,我说我解偶任务的时候,我首先啊 要针对我的贝克棒,我的耐克,我的 had, 他 们单独做提换,单独做提换就是说我,我去改了其中的一个模块, 不影响我其他模块我只是去改其中一个呀,我不用动一个,而其他权去变的,其他的他们是不受我的影响的,所以这块就是这块,其实我觉着有一个特大的特点是什么?在我们这个任务当中我需要让他 干啥?我需要让他解偶的状态,不要说我改一个模块,其他模块跟他是有很大的观点,我改一个,其他也去改啊,这样是不需要的,好吧,好了,来接下来,再往下,再往下我们的任务当中啊,再给大家举个小例子,来这里边, 这里边咱们来看一看,刚才我们说到这个框架,是不是来咱们回来啊?这个咱们该说叫什么来着? m t t 选项。好,我们来看特点,特点当中啊,是这样的,就是你看我点开, 我点开完之后啊,大家有没有发现我们这里边其实它的模块还真的蛮多的,有没有看到?我刚才在那几个词来问问大家,一个看 backbone 有 没有看到 backbone 是 不是看到了第二个呢?我的 head 层是不是也看到了第三个呢?哎,我的耐克层是不是也看到了? 哎,所以说咱们这里边是不是把每一个层咱们现在都拿到手了? 都拿到手完之后接下来干什么?接下来在这里边我要干啥?我要做替换了,我要做改进了,是不是?好了来看,在任务当中,你看每个层都有,而且我带你看一下这里面最大好处是什么? 每一个层就是每一个模块吧,他都是有一些可以直接按替换的。你就想如果说呀,你想去做增产改查, 你想加一些模块,你想去改一些模块,是不是可以的呀?想加模块,想改模块,咱们都可以搭,都可以套的,是不可以啊?好,这是一个事,然后再往下呢?大家再来看, 你看我的输出层怎么样?是也有,是不是再往下来,我们任务当中每一个层的结果暂时都拿到手了,那这么多的好处是什么?你可以这么想,就是以前啊,我是大范围的改这个原码,现在呢,我只需要替换模块时就好了, 所以说就大家后选你们再去,你们经常应该会去找一些原码,是不是?然后套这个原码做什么东西? 那现在我相信大家应该已经知道了要找什么原码吧,就是要这种结偶的状态,因为如果说这个原码它是结偶的,你才能把它做的更好,是吧?好了,来我们来看, 在我们任务当中挺简单的,你看贝克棒选了一个是不是?然后你看这个内个层是不也选了一个?然后这个 boss 输入层是不也选了一个?这就是一种结果的状态。结果状态吧,最大的好处是啥?就是不需要,不需要你搞太多东西,咱就可以直接去做事了,直接拿到手上来跑实验 好了,这就给大家去梳理一下,那这里边我我我,可能那啥,就是我不想直接去用人家这个现成的,哎,你说我能不能这样, 咱们在人基础上我去做一些,嗯?增删改查好不好?如果说这里边我能去做一个增删改查,那是不是相当于我可以融一些自己的思想,融一些自己的实验结果啊?来看怎么去做啊?首先来点开其中的一个模块,点开这个那个模块, 然后呢我们随便找一个,随便找一个,比如说在这个模式当中,大家能不能看到它是有每一个类,是不是?好,那我们回到该任务当中,哎,我说接下来啊,如果说我找到一份源码,我直接把这个源码这个类拿过来去套, 是不是也可以啊?好,所以说就是这种 m i t 材质这种框架,我觉得它最大的好处就是可以让你很方便的去套用, 不,根本就是不太需要花特别多的时间成本就能把这些东西怎么样,就能把这些东西直接给他搭起来。好吧,好了,这给大家看了看啊,就是在咱们任务当中,哎,我们什么,我们这个叫 m i t 单人框架怎么去做的?然后呢?接下来生产时间我再给大家做点拓展。 突然啥内容?咱们今天讲了,我觉着有有今天已经讲了两个事了,是不是两个事,分别是什么两个事啊?分别是比如说我这个优喽怎么去用,然后呢?该第二个事这个名大家能不能写出来,这是个开源的,就是你在 k 叉当中搜到的。第二是这个 m t t 的 神优喽这个东西啊,就是你可以当做是一个基本模型, 然后那个 m t tation 啊,它是你可以把那个 m t tation 当做是你后续要做的。那啥你后续如果说想去做,做那个对比实验,做那个消融实验,那这里边我刚才说过它是高度结尾状态,就是,呃,方便你做实验吧。好, 然后呢,我再给大家说咱们第一天第三个事。第三个事是什么?来大家看,我给大家说说论文上的一个写作啊,我给你们找一篇论文,顺便呢我们就说说这个优乐威九,其实他很有意思,他很有意思。你看我比如说打开这个 v 九,然后其实 v 九啊,你首先看他的名字, 他名字起了,我觉得起了很大的一切。哎,你们发没发现这个名字他起的特别大, 嗯?为啥起了这么大的一个名字?他,他真的能解决这么多事吗?呃,咱这么说吧,就是名字起的挺大,但是事呢,他不见得真的能去解决。呃,我给你们看一看他是怎么做的,好不好?首先第一步来,第一步,第一步在咱们任务当中啊,他除了他提到的东西叫做一个,什么 叫做可编程剔透信息。呃,我们来看一下这个可编程剔透信息啊?他是怎么去做的?嗯,我给你们框一下吧,我给你们框一下,蛮简单的,就是现在咱们,比如说啊,现在有很多层。 来,大家看我这里边有这么多层,然后呢?我,我想说啊,就是针对啊,针对我们这些个层级的一个结构。哎,我说下面呢,我要去做一件事,针对这些层,比如说这第一层,第二层 三,然后四,然后五,然后六。好,然后比如这个是我的输出层,然后我说这块,这块还有我的一个标签啊,是不还有我的一个标签啊?好,然后我说这样就是左边,左边这个是我的一个预测值 啊,左边是我的预测值,右边是我的真实值。好,我说他俩之间干什么?他俩之间啊,咱们要去算一个损失这里边我们要去算一个损失。呃,那下面我就想去问大家一个问题了, 就是这里边当我想去算损失的时候,就是你觉着啊,咱们算完损失之后肯定要逐层的去迭代和更新。 嗯,那这一回来问问大家,你觉着咱们现在要去迭代,要去更新的过程当中,哎呀,这件事该怎么去做呢?要迭代,要更新。嗯,这里边你来帮我想一个问题,哪一层可能会学的更好?在这个任务当中, 其实我觉得可能哪一层我觉着应该是啥?是不是应该是第六层,最后一层啊?哎,我为啥说可能是最后一层学的更好?因为在这里面大家这样一件事,就是你的层级结构啊, 一般来说啊,就是你的层级,你的层级结构越深咋样?层级结构越深,是不是相当于这里边他最后一层,因为梯度是从后往前传的。梯度不是从后往前传吗?既然梯度是从后往前传的,那我要不要利用啥? 要不要去利用最后一层的特征,把最后一层的特征拿到手,把它去更新啊?好,那你看,比如说从往前传,从往前传的时候,我说第六层可能学的挺好,是吧?因为提现有他在这里边优乐乐有说一件事,他说你,他说你这层学的挺好,但是问题是啥? 你这层学的好完之后啊,那你,那你后面的层咋办?后面的层他没准就学不好了,是不是?那,那怎么去做这个事啊?我举个小例子吧,就是后面的层啊,我觉着你学不好这个事吧,不用太担心,这里边干啥呢?哎,我说咱们额外能不能再引入一条之路, 你梯度是从往前传,那后面这个层梯度越传越小,梯度越来越少,那是不是说丢的线越多?那肯定是针对浅层,怎么样? 肯定针对浅层是不太公平的呀。那说这样,如果说呀,咱们现在要是针对浅层不太公平,要不然咱就这样。我说呢,你接来啊,你就别针对这个浅层去做了,咱直接针对谁啊?咱直接来给他额外顶住一个支路,你看这一块 说额外引入个支路,连上浅层,以前这个浅层怎么样?以前这个浅层啊,咱们这个剔透信息是从后往前一层一层传的,那丢了信息很多,我说为了弥补他丢了很多这样一件事,注意啊,为了去弥补他丢了太多的特征, 那这里边呢?我做了这样一件事,还有说咱能不能把一些特征弥补给他呀?怎么去弥补给他?来,大家看这里边我再额外引入一个支路,你看这一块,我说,哎,额外连一个支路,只有一个支路,就只有一个,中间商吃差价。再直接把梯度传过来, 那是不相当于直接把梯度给到这个第一层,或者说直接把梯度给到第二层,那这样就是没有中间太多的一个损耗了, 那是不是相当于能让我们的模型多学到一些信息,多学到一些特征啊?好了,这是给大家去梳理了一下啊,就是在咱们任务当中,为了能让模型多学东西,哎,我们该怎么去做好了,哎,然后我再问大家一件事啊, 就是在我们今天任务当中,大家是不是应该能大概去了解了?就是比如说啊,这个尤洛是怎么做的?然后呢?比如说,哎,我们那个 m d 他 是怎么去做的?好,又给大家说了一下,尤洛 v 九这简单了解就行,我们做一个小的拓展好。

今天我们来学习如何用最新版的 rolo 二六进行摄像头检测。首先准备好摄像头,安装好 rolo 二十六,在命令行输入这行代码 model 的 意思是使用的权重文件, source 是 视频或图片来源。 source 等于零的意思是本地摄像头收等于出的意思是弹出一个窗口,显示实时已推理的摄像头画面, 按回车运行,实时在命令行打印推理结果,窗口显示已经画好框的结果。想要退出,我们按键盘 q 就 可以退出。

抖音如何添加微信好友?进入抖音,点击我,点击添加朋友,选择分享,加朋友, 选择粘贴给微信朋友进入微信将链接发给朋友即可。