粉丝114获赞1320

目前手里的这四款板子,如果说只是跑优乐模型的话,呃,我认为个人认为性价比最高的啊,这是 k 二幺零,这是这个 r k 三五八八,这是一个相城派的 ai pro, 上面是那个 华为升腾的三幺零 b 芯片,这个是 mix cam, 就 个人认为自己训练的这个优路模型啊,如果说比这个帧率的话,这个也就三百来块钱。新品的话,它本地跑的话,大家可以看一下能达到大概。 本地跑的话,达到大家可以看一下帧率啊,本地跑达到五十多帧啊,接近六十帧,五十九帧,六十帧左右, 这个个人认为是性价比最高的。如果说你的产品最后只是跑一个视觉识别模型的话,嗯,你应该首选这个。嗯, mx cam 啊,这个还是不错的,我其他几个的话呢,它更适合做一些综合型的产品,当然这个 k 二幺零的话相对来说比较拉,嗯,二 k 三五八八,瑞星威的这个,还有这个升腾的 三幺零 b, 嗯,这个综合型的项目做一点,但是如果只说这个视觉识别模型的能打程度的话,还得是这个 m a x cam。

同学们,上一个视频,我们已经把收集到的数据进行了标注,标注完之后我们需要对数据进行训练,那这个视频我们就是来搭建训练环境以及训练步骤。那第一个就是说我们先安装 uro 十一, 那怎么安装呢?就是在 uro 的 官方网站上通过这条命令就可以安装,当然既可以在 windows 下面环境下边, 那这一次的话,我们先我这里使用纽邦兔二十二点零四的一个系统来进行安装以及训练。那我这里装了一个虚拟机, 就是这里有用 waterbox 也是一个开源的工具,安装了一个有关注二十二点零四的一个虚拟机。我在这里的话在这里。 ok, 那 我们来安装先安装呢 u r 十一的环境,我们使用这条命令,同样我们也是把圆的话放在国内啊,这样装的速度可能就比较快一点。那我们先来安装环境, ok, 现在有一个 ipot 一个版本不兼容优乐的版本号已经装上了啊, 这里面是有一个阿 k n tokit 和那个当前的 touch 版本存在冲突, 那我们先先也可以在一个虚拟的环境里面去安装啊,那我们现在暂时先忽略这个冲突看看。那接下来我们就来进行 搭建训练的就是训练的目录结构,它的目录结构的话是我们可以看这里啊,环境已经安好了,安装好了,那现在训练的话,我们就是使用这样这两两条 passion 的 脚本来进行训练。这里它有三种方式来加载,呃, usual 的, 第一个就是说加载的是一个呃全新空空白的一个这样的 权重就是说训训练模型来进行训练。第二个就是说,哎,我把 euro 这个十一 e 训练好的模型,在它的基础上进行自定义的一个数据级的一个训练。 第三种就是说,哎,我需要构建一些,就是说我可能是一些审视函数啊,用一个自定义的一个审视函数来进行训练,也是权重,也是使用 uolo 十一预训练好的一个模型。但是我要改变某些一些训练方法,那可能就是说使用这第三种,那我们这里就是说使用 uolo 预训练好的一个模型好了,我们就采用第二种,这个第二种方法,这种方法来做训练。 那训练之前的话,我们先需要把标准好的数据,包括图片以及文本文件放在一定的目录结构里面,他的目录结构是这样子,需要创建一个这样的一个目录结构,然后 给他一个,然后再创建一个 data yummy 这样的一个数据文本的描述方法。这样的一个第一个就是说,哎,我的训练 路径数据路数据集的路径在哪里?然后是 chain, 就是 训练的图片是在哪个地方, 然后数 verify 就是 验证的数据是在哪里。 ok, 那 我这里面就是说,哎,需要告诉告诉他说,哎,我总共有几个类别的,三个类别,然后分别它的名称是什么? 是这三三个名称啊,那这里的名称的话和 label studio 那 边导出来的 那边要保持一致,这里我们从那个标注好的数据导出来的时候,它是这种顺序,那我们这里也需要以导出的顺序完全一致。 ok, 那 我们先来创建 树这个目录结构吧,我们在创建一个目录好了, euro 十一到 euro 十一里面来,我们创建一个这样的目录, 我把几个目录一次性创建好好了,然后是 image, 然后还有个下面还有一个目录 chain, ok, 我 们再创建一个 verify, 然后再创建 labels, ok, 这里的目录结构已就已经创建好了。创建好的话,我们需要创建一个 date 点 ymail 文件, 那这个文件的格式的话是这样子,我们也 copy 过来。 ok, 创建好了之后的话,我们需要把图片给它拷贝到对应的目录里面去,我们从这里拷贝这个是图片过去, 我们复制 u r 十一在 image chain 复制到这里来, 我们把所有标注的数据都拷贝过来。 ok, 这是图片,我们就 copy 过来了。接下来我们需要把 标注文件也 copy 过来,我们在这里把标注文件导出来的标注文件也 copy 过来。 我们把这个 labels 整个目录 copy 过来, 先 copy 到这个目录里面。 由于我们导出来的标注文件前面带了一个 hash value, 我 们需要把这个 hash value 给它去除掉, 这因此我们写了一个判断程序来做,如果手动去这样做的话,那很麻烦。如果数据量很大的话,比如说几 好,几千张,五千张以上,上万张,甚至几万张,那这个工作量是最大的。那意思我们这里面写了一个拍摄程序来做啊,就是 把移除掉前面的 hash value 这样的一个简短的一个拍摄程序。 当然也可以可以使用一些人工智能来写这样的程序,比如说 deep seek 啊,用这种方法来做,那我们直接这里面这个程序,它我就不作说明了,我们直接 copy 过来,然后这里面来创建一个这样的 一个程序啊, 因为我们我们看 labels, 这里面都是带了前缀的 hash value 前缀的,那我们来执行一下 python, 引入点 labels 给它这样的一个目录。还有点错误,这里第十七行有对 unico 的, 这里有点问题,我们改一下, 我们把它改成这个样子, 我们再来执行一下, 再来看看 labels, ok, 这里就已经把前缀的 hash value 给它移除掉了,那我们需要把 训练的图数据局就是到数据局里面,我们进入到数据局看一下啊, data set chain image, 我 们总共所有的数据图片都在这里的,那我们需要把就是说一部分的图片放入到验证验证级的一个数据里面,也继续去说, 我们需要把券里面的百分之二十的数据放入到 验证级这个目录里面来,那我们就是每隔四张图片,我们移除一张图片到 verify 这个目录里面,也就是说从 chain 这里面的数据移除到移到这个 verify 里面。那我们也写了一个一个拍摄程序啊, 我们把这个代码 copy 过来, ok, 我 们来执行一下。 执行这个程序的目的就是说把百分之二十的训练数据移到验证数据级目录里面。 ok, ok, 就 移了七十七张图片到 vref 这个目录里面,我们看一下, ok 就 有了。现在我们所有的 图片内容的话,一开始是放在券里面的,然后我们是然后把百分之二十,每隔四张图片就把一张移到这个 wifi 里面, 那同样道理,我们现在所有的标注的 text 文件都是放在圈里面,我们要依据 where 这里的目录里面的文件名,从 这个目录 copy 到移到这里来。 ok, 那 我们就也写了一个派生脚本啊,就是说 我们执行这样的一个拍摄内容,就是 e g 这里的文件名称,从这个目录 把这个目录下面 txt 文件移到我们的 label 的 一个 verify label 里面去。 ok, 那 我们也把这一段代码 copy 出来, 我们在这里是随便取个名称好了木? ok, 我 们也来执行这条命令啊,把对应的 标注文件也需要有对应的文件,我们来移动一下,执行一下。 ok, 这里还有一个也是 unico 的 问题,这面打印错,我们先看一下 data set 里面的文件名称和 劝你的 verify 两个目录里面的内容是不是一样的,我们看一下 image verify, 然后是 labels, 看一下有几个 ok 文件内容是一样的,那都是文件名称都是相同的。 ok, 这里面我们的目录目录结构内容就已经好了,我们看一下 verified, ok, 那 接下来我们就来训练了,那我们来创建一个 chain, 这样的,我们先 copy 过来, 我们使用第二种方法,把第一个和第三个注视掉。 这里的话,训练就是图片大小,它会自动进行压缩,缩放啊,缩放成六百四乘以六百四,然后 epo 的 话就是,呃,它的 就是训练的次数啊,我们这个小数据的话,我们给他稍微改大一点,通常这里面是,呃改成一百到两百之间,我们改成一百二,也不要太长太,因为他训练收练了之后的话,你训练次数再长都没有用, 那就是说它修炼之后的话就马上就应该停止掉。 ok, 这里面的话,我们是。呃 data set, data 点样的这样的一个文件啊,好,这样子我们来执行一下。 piston chain 训练的时候,我是在普通的一个笔记本电脑上去执行啊, 那这个时间可能会慢一点,那有条件好的话可以在英伟达的一个设备上去训练,这样子的话,它的训练就会因为它的算力很高, 这样训练它会非常的快速。那我们这个只有三百张图片呢?我估计恐怕也要几好几个小时,那我们就等着它训练完吧, 这里是一些默认的一些参数。 呃,这里面还还不能在这个 普通的笔记本电脑上面进行训练,因为这里面还出现了一个 call dumped, 我 估计这可能是因为那个 ddr 不 够, 我们可以看一下这个需要很大的 ddr 上面 八个 g 的 话 quadant。 那 我们把这个环境在一台,呃, cpu 够强劲,内存够够多的一个环境上面来来做训练好了,搭建的过程还是一样的。 那我们只需要我在,我在这里看看,在这里来做这个,我们在这里来做训练吧。换一台机器, 然后把这里的内容给它 copy 过来。一样的东西啊,我们把 uro 十一里的所有的 内容给它 copy 过去,因为我在这台电脑上面也安装了 训练环境。 ok, 我 们来 copy 这里的内容。把 euro 十一全部 copy 到。 ok, 拷贝好了之后,我们在这里来训练啊, 我们把那个 cache 文件给删除掉, data set 里的 重新开始来训练。 ok, 我 们来执行一下啊,这里面也需要有个虚拟环境 and count activate yellow 十一, ok, 我 们来执行一下, ok, 这个环境也是一样的,这里就可以进行。呃,进行下去了,因为在普通的笔记本电脑上的话,它的内存不够,而且 cpu 的 呃处理能力的话也是非常的弱。 呃,因为它我们在做优酷十一的训练的时候,需要消耗大量的 ddr 的。 ok, 这样子的话就开始在第一批次的训练了, 因为这里我们也可以看到。呃,第一个它这里的就是一个框的一个类别, 就是识别类别的筐啊,然后这是类别的一个损失函数,这里面如果值越小的话,它是准确的越高的。 ok, 这里面平均菌度的话是百分之六十啊,应该要这第二次它就到了百分之八十了, 它收敛很快的,这个是已经百分之七十五了。 ok, 接下来我们就等着它训练完好了。 ok, 我 们这里模型也就训练好了,大概花了一个多小时,然后训练好的模型是放在这个路径下面, 它是一个 py torch 的 一个格式,训练就是模型格式,那接下来我们需要把 py torch 的 格式导出为 onyx 模型, onyx 模型是一个也是一个 open source 的, 在各种跨平台下面都支持的,包括 rockchip 也支持这个 onyx 模型。 然后我们也可以看到下面是一个模型训练结果,训练结果的话,它这里是 有类别啊, class 类别,它所有的平均的话就是所有的类别当中的话,它这个 image 七十七张验证的图片当中 有框的类别,就是说他预测这样一个类别的在哪一个框之内,他的准确率达到百分之九十九点七 啊?然后平均的话他是就是说有百分之五十的概率的,平均的话呢,也是百分之九十九点五,然后是在呃九十六点四,百分之九十六点四啊, 然后下面是具体的每一个类,每一个类别,它这里面推理的一个概率范围, 看这里面都百分之九十九点多,这就是说这已经非常高了,就是训练的非常理想了。 ok, 那 我们来把这个模型转换成 onyx 模型,那我们先看 yolo 的 官方网站上面 export, export, 我 们直接用命令行来来转换好了,也是就是使用这样一条命令, 我们来执行这条命令,然后把这里的路径改一下, 改成这个 我们来执行一下。 ok, 现在就有了这个 onix 模型,我们到这个权重里面来查看一下。 ok, 这就是我们转换后的 onix 模型,刚刚转换的, 那我们在先在在转换成 mk 模型之前,我们先在 pc 上面来运行一下这个 onyx 模型,看它推理的准确率怎么样。 那我们来继续来查看啊,通过这里来写一段小的推理代码, 我们来看这样一个推理啊,然后我们把这个代码拷贝出来, 拷贝出来的话我们在这里面, 然后创建一个推理的拍摄程序, 然后 ok, 我 们来改一下这一个路径,把这里改成 我们刚刚训练好的模型 onyx, 然后图片的话也改一下,这里我们修改一下,把两个 两张图片我们改成一张,因为我们设置的时候只是每次只输入一张的图片,在内存这里面删除掉,我们使用这样这一张图片来推理试一下,看看它输出什么结果, 我们来执行一下,还是 ok, 它这里面就有输出结果了,而且是输出了有小炒肉、米饭和西红柿炒蛋,这里我们来打开这张图片看一下, 在输出结果是这张,我们来打开, ok, 这就全部识别出来了,这是米饭,这是小炒肉,这边是西红柿的,而且是 推理的自信度非常高的百分之九十五了。 ok, 这也就是我们训练好的模型,直接运行 onyx 模型的时候,在 ppt 上面有一个推理结果, 下一个视频,我们,哎,怎么把 onyx 模型转换成 r k n 模型?

实现这些功能需要哪些步骤呢?首先我们需要数据采集,比如说我们只识别两个菜加一个米饭,我们就要收集菜的图片,各种角度啊,在不同的灯光下这样去收集起来,收集好之后要对数据进行标注,说,哎,我这张图片把西红柿扫荡框起来, 这样把每一张照片,每一张图片都要进行标注,但如果是数据量很大的话,这是一个巨大的工作,那我们这里收集的话是小数据的, 只是从头到尾给同学们演示如何去实现这样的一个功能。 ok, 进行数据标注之后,那我们就可以在一台好一点的 pc 上面进行模型训练, 我们使用的是优酷十一的一个框架来进行训练,之后的话把 itouch 训练好的模型转换成 onyx 模型,然后再把 onyx 模型转换成 r k n 模型,这里面我们需要安装 r k n 的 tour kit, tour kit two 就是 说我们在三五七度上面是第二版本的,我们知道 r k n 的 话,它是比说在三三九九上面是 r k n tour kit one 啊,就是说它第一版本, 接下来在三五系列,比如说三五七六,三五六八,三五八八上面它是 i can talk kid two 第二版本,那接下来呢?它有一个幺八二叉,这个版本的话它是 i can talk kid three 第三版本的。 ok, 就是 说把 onyx 转换成 r k n 之后,我们把 r k n 模型部署到三五七六的板子上面来进行菜品的实时摄像头的一个识别。 ok, 那 我们接下来就来进行数据采集。接下来我们来炒菜准备菜品,那首先是一个西红柿炒蛋, 下一个是小炒肉准备, ok, 这是小炒肉。接下来我们对数据进行标注, 标注完之后大概有三百多张,每一个菜品的话大概有一百张左右,把这些菜都给它拍摄成图片的形式, 我是在笔记本电脑上用一个 usb 的 camera 就 可以完成了。当然了,如果是要准确的更高,而且是要拍出很多细节的话,就要收集更多的数据了,大概可能要一千张左右,那也能做到, 这个数据的话我们做 demo 就 足够了。那这是我们收集完了数据下一个视频的话,我们会对数据如何进行标注,今天这个视频就到这里,谢谢大家。

hello, 大家好,最近关于 a 镜头的视频特别火爆,然后我就试着自己做了一个 ai 镜头的小项目,大家是否以前训练 ai 的 时候觉得特别的繁琐,因为我们要手动改配置,切模型,好命令测效果,所以基于此我做了这个 ulog, 这是一个会自己训练的 ulog 的 ai 镜头,还有一整套的 a 镜头命令系统是 come 的 包含的部分, 这些的系系统和透我都给它集成在这个 ui 里面,我们可以看一下我们的 ui 界面, 一共分为五个部分,第一个 chat 部分就通过我们自然语言交互告诉我们要干什么事情。第二个就是微信部分,我们这里可以上传视频,或者用我们十字摄像头设备或者是上传图片。呃,通过已训练的模型就是训练完的模型,我们这里可以选择或者是手动输入我们的 best d, l、 p、 t 的 目录, 或者用预设的这些模型进行展示测试。然后这个是 print 部分,就是前面你如果不想用语言来问他的话,就可以这里手动进行。设置好这个 log, 可以 看我们的训练的日记,这个就是这个 log 键,包含 ig 和 memory, 是 为了可以记住一些重要的参数, 就是我们前面如果第一次训练的 mvp, 我 们可以在这里进行查询。我们给大家举个例子,比如说我让他检查这个数据集训练模型用优乐 v 八,结果包含了这个空文件夹里面,终端已经开始操作了。 ok, 他 已经操作完成,他会告诉我们这个数据集的各种信息,并且给我们训练参数的建议,以我那个 亚米文件里面没有参数设置参数,比如说他已经现在已经把所有东西都写好了,我们只需要确定 yes 就 可以进行训练。比如说我想更改它这个轮数,我就说把轮数 改到二十,它就可以进行修改,已经更改成功,然后我们就说 yes 开始训练, 我们可以看到终端这里的一炮其实是二十已经改好, 我们把我们需要 test 的 变化零距离,然后找到我们的 test 模型的位置, 可以开始检测了,这里已经检测到了,没看到最近都是零点七六, 这个是我之前训练一百零后的结果,哎。这里可以手动调自音度,自音度,比如说零点七,零点七以下它不会显示,这是可以填改变,这个 i o u 可以 手动调的,比如说我们现在不用我们自己的路径,我们用它这个 u o u 八自带了一身模型 啊,这个就是没经过训练之后的,它就是没法找到我们需要的垃圾。

来来来,姐妹们既扫扫模拟器,火完之后,又有网友搓出来爱豆模拟器,这回是以爱豆的第一视角面对粉丝,就是让你自己当那个站在舞台上被万众瞩目的人,体验被万千粉丝包围的感觉。 发一条动态,底下评论区直接炸了,成百上千条评论疯狂刷屏,弹幕飞的你眼睛都跟不上,还有粉丝帮你打榜,那种被所有人宠着的感觉真的会上瘾。今天教你怎么玩上这两个模拟器。我们首先呢要先打开抖音,然后呢找到我视频的箭头, 找到分享链接之后呢,再去找到这个东西,我们去打开它没有的,你就可以提前的先安排一个,我们再打开, 打开呢它就会自动的弹出一个文件出来,如果说你没有弹出来呢,就在这边打字,输入白色严选也是一样的,我们再进去这个文件夹, 进去呢,我们找到这个 id 模拟器,加上勺勺模拟器,我们取下它的全选,单独勾选,然后呢再去保存,去下载安装,就可以去使用了。

这弹出机构,这龙虾背,这联动脑袋,还没我指甲盖大,眼睛也做出了眼球效果。今天来玩的是尤洛帕克的 mk pro 外钻柱,嘟嘟嘟嘟 版剑三合半,因为是套装版,所以除了正常地球形态主体还会多一套赛心外甲, 整体拼装过程还是很快的。这次合金部分很多骨架大部分是合金的,拼完后一体性很强,外加有几处合金件,比之前的 pro 骑士柱要重上不少。身高上来做个对比和外传声波也来比一下。 之前官图阶段饱受争议的头雕面罩刻线部分,现在个人感觉改的还是可以的,这是手机直出的效果,你们觉得怎么样呢? 另外之前网友吐槽的手心太大,现在也改小了,但是可动手因为结构原因会比造型手大上不少。 不知道是不是我的错觉还是机设问题,这款肉眼观感上会精细不少,感觉细节特别多,机械结构、管线都有不错的还原,涂装也很丰富,像弹簧、避震 管线等都做了涂装,就是有些部位涂装没有涂满。另外据说这款的颜色色调是根据自家的两万柱的色调来调的,四舍五入,我也是有小小小两万柱了。头部这款眉毛涂装有还原有眼灯三种发光模式,这么小的眼睛还是做出了眼球的效果,好评。 车窗是可以打开的,抬起两侧的装甲领导模块,可以弹出来小小两万柱的感觉,这不来了吗?大腿装甲有联动, 轮胎是软胶的,铁底胶胎的,属于是还看可动。头部和脖子是双关节,我这只头部关节有点紧,连带着脖子一起动了,肩甲可以独立抬起,后面的小甲片也可以翻起来,平台是九十度,可以大风车,并且有引出关节可以内收。大臂平转 曲肘的话可以先把这个部位翻过来,然后先动大臂,再弯折小臂,不然的话会有造型干涉。手腕是球关胸,腰这块左右幅度不大,弯腰三段。龙虾背,大个的龙虾背是真好看啊。向后的话只有一点点,左右抓腰的话会有干涉, 把两边裙甲往外移一点,转腰幅度会大上不少。裙甲这块都是可以活动的,就不会干涉腿部可动了,腿部有下拉,前踢后摆,侧踢,大腿平转屈膝,脚踝 脚尖有可动。可以看到这款在可动上还是花了点心思的,干涉处做了避让,关节把持力度也很好。大哥耍个杂技打个坐也不是不行。 配件方面,手型可动,手是一一三可动,有卡槽,可用来握持武器,握拳手一对开掌手一对,指向手一个,握枪手一个,武器是热能斧, 还有爆门枪,都有一定的战神涂装。当然我更喜欢的是这套赛星替换甲了。这半边是赛星形态,这半边是地球形态,你们更喜欢哪个形态? 这么一看,赛星形态好像是要更张扬一点。车窗的话区别不大,主要是地球形态多了个雨刮器,另外车窗替换的时候发力要小心。这边是通过 c 扣固定的双形态联动玩法,丰富的色彩和机械表现,放在桌面随时把玩几下真的蛮好的。 你们觉得这款 pro 擎天柱做的怎么样呢?好了,我是 ask, 我 们下期再见。

基于优喽和多模态大语言模型的智慧校园暴力检测系统,在视频最后有完整的安装部署教程哦,今天这个是一个基于优喽和多模态大语言模型的智慧校园暴力检测系统 啊,优喽模型的话是支持从优喽 v 八一直到 v 十二的这个模型啊,然后这个模型的权重也是放到了这里,需要修改的话在配置文件当中的这里修改就可以了。呃,然后他的话多模态单元中的这里修改就可以了。呃,然后他的话多模态大元模型是用的这个模型, 然后现在看一下他的一个大体的识别流程,就是优喽模型是用来检测行人,然后动物,他大元模型是呃通过对两个级以上的这种行人的行为截图,然后进行语义理解,然后并对画面做出一些描述,然后评判为他是否是有这种校园暴力的倾向。现在看一下系统的演示。首先就是登录管理员账号, 好的进来之后呢,这是管理员账号的话,他可以呃就是进入到这个控制台,控制台里边是有一些数据,因为现在 系统还没有被使用过,数据都是空的数据,然后首页的话这里是有一些快捷的操作,还有一些就是关于系统的介绍。 然后监控设备的话,现在是开了三个设备,这个的话是我的电脑摄像头的设备,然后这两个的话是本地视频转成的监控,没有啊?然后就去看一下设置监控的内容。 我们先分析一下一个这个 呃视频吧,可以看到就是如果他检测出了有人挨的比较近的话,他就会通过呃这种剧类群组的分析算法把这两个人给归到一一组里边啊,然后这上面的话,他就是说这个是组,因为画面里面可能有不同的这种人群,然后这个是第一个是,也就是一组啊,一组里边有两个人, 然后这个时候呢,如果发现了,呃,这个时候呢,这个整个宏框里边的内容会被传到多模态大元模型里面啊,如果多模态大元模型评判他是这个校园暴力的行为呢,这里就会给出一个警示啊,如果评判不是这个校园暴力的话,他这个只做一些显示,还有一个群主的截图也是这个图片啊,他不会 进行这个安全记录和其他的这个提示。哎,可以看到刚才其实啊,那如果现在的话,他红框里边标出来的呃,这个大圆模型把他就当成了这个说是群主一里边啊,呃,大圆模型觉得你看他有这个明显的肢体接触,其中一个人似乎在推另一个人或者拉另一个人的胳膊,然后还有一个人是蹲在了地上, 可能就是处于这种被控制的状态,说明他存在这种啊暴力的倾向,所以大元模型,这也是大元模型给分析出来的,根据这个图片,然后也给出一个高风险的这么一个呃结果,所以他这个记录就会被呃记录下来啊,可以看一下到安全记录的话,你看看实际上记录了好几条啊, 可以查看这个详情,那他就是说高风险,然后这个截图也会截取下来啊,当然你也可以去处理这个记录啊,就是说,嗯, 已经报警啊,嗯,好的,然后这里可以选择图片上传,也就是处理的结果,然后我这里就不上传了,确定,然后这里就会有一个处理信息啊,他的状态也会变成已处理。我们再看一下另外的刚才那个监控,这还是那个同一个监控换一个监控, 他这个的话其实因为不存在这种暴力啊,他这个也也有暴力倾向啊,就是一个人似乎在用手指指向另一个人,你看他这个确实在指另一个人啊,另一个人防御状态也就是,但是这个他没有刚才那个那么激烈,所以他这个就评判了一个中等风险。这里有个群主截图也能在这临时查看啊, 这个离得就比较远,他就虽然说画出了红框,但是因为他要剧烈分析把这个两个人框在一起,但是他没有发现肢体接触什么,他就没有评判这个校园暴力的这种行为。我们先关掉,然后看一下记录,看刚才记录的这一条,嗯,你看这这个人确实拿手指在指着另一个人啊,所以就是说的还是挺准确的啊。 然后这是我们的本地视频转成了这种监控流啊。还有一个就是我们用我们的电脑摄像头去看一下校园暴力, 然后这是我开了我的电脑摄像头,这是我的手机啊,我们拿手机去录的这个像啊,不是就开了一个视频,我们点开这个去播放啊,你看他检测出了一个高风险了,然后 你看他又检测出一针这种高风险了, 我们先关掉了,然后去看一下这个安全记录里面记录的东西啊,他这里是记录有几条,嗯,可以看到。呃,因为这个画面不是很清楚,可能是摄像头,还有就是模拟视频流,他那个 因为我看一下我这里设置的分辨率,其实强制他到这个六百八、六百四到四百八的这么一个像素啊,可能所以他这个摄像头不是很清楚,你可以把这里调的稍微大一点啊,那他这个说,呃,把中间这个框给截出来以后,我们可以你可以看到有一个小孩蹲在地上,另一个人是站着的啊,然后的话你看 他这个给出了一个结果啊,是高风险的。然后的话再看一下这个啊,这个你看明显就是这个白色衣服的人在打这个黑色衣服的小孩啊,其实这也符合就是现在的一些监控,他那个可能拍出来的画面不是很清楚啊,但是模型依然会把他给这个识别出来,那他这个就是说一个人在推搡另一个人工作比较激烈,所以他这个 也被判定了这个危险行为,再看这个的话也是一样的。 好的,然后这个的话就是这个系统的一个演示,但这里也可以同时开多个摄像头啊, 这个呢就是我的摄像头,我现在是在用手给遮挡住了, 然后这是管理员的界面,那么登录一个普通用户的话,他的话主要就是这些功能啊,监控设备的话,普通用户是只能看到他自己新建的这个监控摄像头的一些数据,而且用的话也是只能用他的新建的这个监控设备,其他的是看不到的。 那个为什么这里会有一些就是这个检测记录呢,因为是刚才管理员啊,因为管理员是可以开启所有的监控设备的,管理员他把这个设备也开了一会,所以这里会有一些检测记录,然后这是他的这个系统的演示,然后下面看一下这个系统的一个大概的文档。嗯,这里的话就是 有一些这个数据库表的介绍啊,还有就是目录结构,还有就是一些功能的概述啊,还有这个 算法的架构啊,首先就是提取目标框呀,群组区类,然后千万多模块大元模型来分析啊,然后就是这里有个核心的代码的解释,一直往下的话,这个基本的操作流程也会有啊,有些核心的这个算法的这个核心代码也会列在这里。 然后就是系统的注意事项,就是啊,本系统的这个大元模型,它是用的阿里百联平台的这种 api 服务啊,相关配置可以在这里修改。然后啊,这个系统是用官方的这种优乐模型权重来识别新人了,没有经过其他的数据专门巡店,因为这个效果已经很好。 然后就是优乐模型,就是用来检测行人,然后多用模特大圆模型啊,就是对多个机以上这种行人的行为截图进行语义理解,并给出这种画面描述啊,刚才也看到了, 然后这个系统是支持将本地视频转为这种模拟的视频监控流,然后也支持笔记本电脑的摄像头,或者是台式电脑 usb 接口连接的这种摄像头都可以。如果你有这种支持二 tsp 地址的真实的网络摄像头啊,也可以直接接入,然后呢就是,呃其他的一些注意事项,然后下面看一下这个系统的一些流程图, 这个是它的一个架构图,然后这个是架构图的一些流程。呃,过程,这个呢就是它的一个功能模块图啊,这个可能没有猎局的很全,可以再补充。然后呢就是这个暴力行为检测的这种这个模块的流程图。 首先就是进入这个视频流,然后视频处理,然后优酷的目标检测,然后如果检测到了行人的话,就进行这种情组分析。算法 啊,然后把这个感兴趣的这种群组给裁剪下来。之后呢啊,给到这个千门多模态的进行一个分析,如果检测到了暴力行为,那就进行分享等级的评估啊,然后同时会触发这个预警的机制,然后进行这个数据处理啊,存储了之后呢,一直到结束。

playbook 三点零正式发布,这是一款优喽标注加训练一体化工具,支持多种标注类型, ai 自动标注以及优喽十一模型。训练全流程。基于 python 和 flask 开发,跨平台,支持 windows、 linux 和 mac 完全离线部署,开箱即用。二零二六年五月十九日, v 三点零全面升级。 scribo 是 什么?简单说,它实现了从图像标注到 ai 自动标注再到 u o 训练的一条龙工作流, 举行多边形标注 labelme 数据及导入,图片和视频标注通通支持。 ai 自动标注,支持多种大模型驱动,轻松实现标注效率十倍以上提升。开源免费 m i t 协议作者是北小蔡。 v 三点零的最大亮点,全新的训练面板,独立的一站式训练页面,支持数据集 zip 上传,预训练模型选择 yolo。 十一训练全流程 训练过程中,你可以实时看到训练进度,当前轮数进度、百分比、 map 精度指标以及引用时间 日制滚动显示,训练过程全程可见环境自动检测、 ultra latex 版本、 torch 版本和柯达状态。最棒的是训练状态完全持久化,刷新页面进度也不会丢失。 v 三点零还带来了断点续训功能,训练中断也不怕,基于 last p t 自动恢复,无需手动干预 socket io 重连后自动同步训练进度,页面刷新按钮,状态和进度全部恢复。 更贴心的是,训练前会自动修复数据问题,修正 data eml 路径,修复标签 class 下划线 id 越界,清理缓存文件,让训练零出错。从标注到训练,一键打通,无人指手。 ai 自动标注是 schoolable 的 另一个利器,支持 lm studio 本地大模型、 volm 高性能推理、奥拉玛社区模型和阿里云大模型四种方案。 不仅支持图片自动标注、大模型看图自动匡选目标并生成标注,还支持视频刘竹珍分析,配合优露训练工作流 ai 标注人工叫验,自动训练效率提升十倍以上。 slable 可以 完全离线部署所有依赖本地话内网环境,即装即用标注数据统一管理预训练模型集中存放数据即 zip 上传,自动解压训练模型一键下载部署 跨平台,支持 windows、 linux 和 mac, windows 一 键安装 linux 远程 gpu 训练, mac 原声支持 apple silicon, 快速上手只需三步,第一步, pip install 安装依赖。第二步, python app pi 启动服务。第三步,浏览器访问本地九千九百二十四端口开箱即用。开源地址在 geit 和 github 上,欢迎 star 支持 作者主页 yahoo edu 点 com 可以 了解更多,如果视频对你有帮助,记得一键三连关注我,看更多开源工具推荐!

基于优喽和多模态大语言模型的电动车头盔载人检测系统,在视频最后有完整的安装部署教程哦。呃,今天这是一个基于优喽和多模态大语言模型的智能电动车安全驾驶监控系统,它主要是 通过优喽模型去识别到骑电动车的人和他这个车子本身,然后的话通过多模态的大圆模型去观察 这个这部分目标图像里边他是否驾驶员是否有这种佩戴头盔,是否有违规那个载人的这种不安全的行为,因为,呃,现在有一个新的交规,就是 十二岁以下的儿童,如果是能够坐在这个电动车后座,这个不算违规,如果说是超过十二岁的儿童的话,呃,那么如果这个时候有他,如果坐在电动车的后座,有人去带他的话,这个是在部分地区的话,也属于一种电动车的违规行为,所以这里是主要检测多模态圆模型。主要去理解两个 内容,第一个是看驾驶员是否佩戴头盔,然后第二个的话就是看驾驶员的后面啊,他这个骑电动车后面是不是违规载人,然后的话这是他的一个项目介绍文档,还有一个系统的注意事项,还有一个这个模型的优乐模型的训练教程脚本啊,还有一个是他的 这个系统的一个架构图,然后是交互图,然后的话是有功能模块图,还有这个检测的识别的流程图,还有这个是他的一个系统的数据流向图,最后一个是他这个格威服务通信架构的这么一个流程图,这个等会再看。 首先去演示一下这个系统,这个是我们的这个系统的登录界面,可以去注册账号,我们这里首先去登录一下管理员的账号。好,登录进来之后呢进入到了我们的首页,首页这里有一些这个系统的介绍, 然后的话是管理员账号,我们可以看到一个系统的统计数据,然后是管理员账号可以管理我们这个系统的用户。 然后是我们的监控设备,这里每次进来之后,我们需要去检测一下它的状态,然后去更新一下数据库里面对应的状态的那个摄像头的状态。 好,我们这里现在是开了四个摄像头,其中这三个摄像头呢,它是通过我们本地的视频来模拟的视频监控视频流。然后这个摄像头呢是我们开的自己电脑上面自带的那个摄像头, 我们也可以新新增这个摄像头设备,我们可以看到这个新增的时候,我们除了输入这些摄像头名称,安装位置啊,还有这个监控流的地址啊,还可以选择我们在地图上它的一个具体的位置,你可以点一下它,这里会获得一个精美度的位置。 当然已经新建好的这些摄像头,你想去看一下他这个具体地图上的位置是在哪,你可以点这个编辑啊,编辑的这里可以保存他的这个地理位置,就可以看到他是在你像这个的话,我随便设置一个,就是在这个故宫的这个旁边,这样,然后是一个安全记录,安全记录就是说我们等会开启监控之后,如果他检测到了这种电动车违规的这种行为, 那么就会记录到这里,然后这个的话就是有一个地图监控,地图监控的话就是 我们可以在这个地图上面看到我们每一个摄像头,他的监控下面他的一些违规的次数可以放大以后看到这五个点,其实对应的就是这五个监控摄像头啊,可以没点击的时候,你可以看到这个亮起来啊,说明就是这个的话,就对应的这个监控摄像头,因为我们现在系统还没有用,所以这里都是零违规啊,都是这个绿色的,如果你违规次数多的话,这里会变成一个相应的红色的这么一个点。 好,然后我们去下面去看一下这个实时监控吧,但这里可以一次性开多个显示多个监控摄像头,我们这里先去显示一个摄像头。好,我们先开启这个摄像头。 好的,我们可以看到这个检测到有违规情况的话,这里也会弹出一个相应的警告,就是发送短信给一位相关人员啊,这也是我们在这里可以去设置的, 就是说我们隔多长时间如果检测到一个呃违规的情况的话,会发送给我们这个这里选择的这些呃接受人员这里有一个相应的短信记录,但是这个的话是模拟的发送短信的一个呃功能。 然后我们再去开一个,你可以看一下刚才的安全记录啊,可以看到说是这里有一个骑这种摩托车的人啊, 看我们分析他这个得出的结论就是载人情况啊,没有载人啊,但是头盔状况的话,他是没有戴带头盔的,所以他这个检测这个描述就是驾驶员没有带头盔,但是没有载人啊,但是没有带头盔的话,已经属于这种违规违法的行为了。这里可以看到他的一个具体的截图,我们也可以去处理这条记录,就是说已经罚款, 这里可以上传一张,就是说啊,处理过程中的图片,我这里先不上传了,然后我们再去开另外一个摄像头看一下, 我们看一看到说是就是没有带头盔,也载了一名乘客啊,所以他是这种违规的行为。然后我们再点一下这个摄像头呢,这里的安全记录就会显示出来近期的这种安全记录, 我们再去看一下这个安全记录分析的,这个是结的是比较全的一个,我们看一下他的分析啊,看他就是说没有带头盔啊,而且还超载了一个人啊,然后我们再去开另外一个摄像头。 那这里稍说明一下,就是当前这个优乐检测电动车和人一体的这个数据集,现在的数据量比较少,所以他这个如果有多个人的这种或者画面比较模糊的画面的话,他检测效果还不是很好,这个的话之后会继续补充这个数据量的话,这个效果肯定是能够更准确更好一点的。 因为这个摄像头时间比较长,我们就多放一会,等会看一下这个安全记录里面的东西, 那其实这里的话会有一个违规的截图啊。 好的,我们先去看一下这个安全记录吧, 我们可以看一下这个他截的截到的这个人的图片,他大元模型给的分析是没有戴头盔,但是也没有在人啊,嗯,因为没有戴头盔嘛,所以属于违规行为。这个的话也是同样的,没有戴头盔,没有在人, 这个的截取的就比较多了,嗯,都是因为没有戴头盔导致的一种违规行为。再看一下,看这个吧,看这个说是这个的话 是没有戴头盔的,但是我们可以看到其实他也是没有在人的,可能就是因为拍的不是很清楚,所以大圆模型去理解的话,他觉得后边是可能是在一个人啊,所以这里其实是属于一种误判的行为。 再来一个这个,这个的话,那你看他这个截取的这个截图是判断的是正确的啊。第一个的话,他就是说没有戴头盔,然后还非法载的一个人啊,是一名成人的乘客,我们可以可以看到其实他穿的这种风衣的话,应该是一个成人啊,所以就属于违法行为。然后第二个的话是这个这个人这个人的话 也看着没有带头盔啊,但是他确实也没有载人,所以判断的是一种因为没有带头盔的违规行为。然后这个的话也是一样,我们也能大致看出来他没有带头盔,也没有载人,就这个的话检测还是比较好的,我们再看一些吧, 这个的话其实也属于一种误判的行为啊,因为那这个检测的这个说是有一个载人情况,但是确实我们这样看好像他没有载人, 这是因为,呃,这个检测不准确的原因。其实还有一点是因为这个画面他拍的都是一些竖着的,就是电动车的这种背影,如果说从侧面看的话,侧面放一个摄像头去录这个视频,然后如果检测到这么一个目标情况的话,因为他是侧面,所以这个侧面的话更更容易看出他到底有没有后面有没有载人啊?所以这个我觉得和这个摄像头的摆放位置也有一定的关系啊。 看这个的话也其实是属于一种误判的行为,可能大约模型把后面这个车后面的这个保护的这个靠背,他可能觉得是一个小人啊,所以他就说是可能是判断有一名乘客, 其他的话你像这个的话就很明显没有戴头盔,有一名成人乘客,因为是侧面图,然后的话我们去开一下那个多个摄像头看一下吧。 第一个的话是我的这个电脑的摄像头啊,电脑的摄像头, 呃,你可以用手机或者是其他的一些东西,放一些电动车行驶的这种过程,可以看一下他有没有能不能检测到,然后其他的话这些的话都是刚才放过的摄像头,这里可以调整他的一个布局, 然后我们关掉吧,关掉以后看一下这个地图监控啊,那他说这两个摄像头是没有检测到违规的啊,其他的三个摄像头他是都是属于严重违规了,你看有很多次的这种违规情况。 呃,他违规情况的话,他这里的这个颜色会变成红色,然后其他的没有违规的话,还是保持这个绿色的,青绿色的这种图标。那么我们看一下有没有其他的一些状态能够显示呢?我们 看一下他的这个违规记录吧,就是这个摄像头下面的违规记录,我们可以删除一些, 哎,就剩下一条了。然后我们再看一下地图监控,因为他只有一次违规,所以这里显示的是这个轻微的违规啊,我们再去看一下这个吧, 这个也去删一些这个记录啊。还剩七条啊,七条的违规的话是属于一种中度违规啊,看看能显示到地图上面,我们可以清楚的看到,说是那像这个地方的话,他可能车违规的情况比较多,那么下一次呢?如果就可以多派一些交警人员啊,或者是其他的人员去到这个路口这里去。 呃,减那个执法的时间长一点啊,你像这个地方他就违规次数比较少,就可以适当的去减轻一些这种执法人员啊,这个的话能够在地图上清楚的看到。 好的,然后就是我们的这些系统图标,因为我们刚才已经有了一些数据了,这里也能看到他的一些变化,我们可以就是因为这登录的管理员账号,所以我们这里能够看到所有人的这个摄像头设备,你看包括这个测试用户也能看到 啊,所以在这个地图监控页面,我们也能够看到所有人的这摄像头的一些情况。我们换一个测试用户的话, 你就其实就他就只能去看到自己新建的这些摄像头的一个记录了,这里是能有这个个人中心的,可以去换这个头像。 好的,下面我们去看一下。首先去看一下这个模型怎么去训练吧,其实也是比较简单的,我们首先去新建一个终端, 新建一个终端,然后我们模型训练的代码是在这个 model 下边的 code 下边啊,包括有 tree, value 和 predict 啊。 然后数据集的话,这里是有两个,一个是这个测试数据集,它里边的这个样本是比较少的,只做因为用做这个演示吗?然后这个是当前完整的那个数据集,但是它的数据量目前也还比较少, 这里可以替换它的一个数据集啊,只要因为现在用的是这个测试数据集,你直接把它变成这个样例。呃,完整数据集的话它就直接能用了。我们这里先用这个测试数据集去做一个演示, 我们这里首先需要需要去激活一个你这个环境,这个的话和你的算法端保持一致就可以了,但我这里是没有激活的。然后这种情况的话,在算法端的首次启动那里,呃,也有有对应的这种教程,去用其他的方法去激活启动一下,选择这个,然后选择这个 p y 幺二, 选择完了之后呢,你把这个终端关掉,然后再去新建一个终端。 好,这个时候呢,你就可以看到 激活这个 pi 幺二的环境,然后我们去执行这条命令啊,然后再去执行这条命令,然后就可以等待他去进行这个训练了。然后训练完了之后呢,他其实是会在这个 out put 的 下边新建这个对应的文件夹,他下面有这个训练的记录,对应的验证模型,预测模型,他的这些结果也会放到这个 out put 的 文件夹下边。 好了,其实到现在其实已经可以看到他在加载完了这个数据集,并且现在已经在训练模型这个状态下边了。 好的,你看他已经训练完了一轮啊,他这个权重呢?你是可以保存到这个呃,位子下面啊,你看这个 best 点 p t, 就是 说你训练过程中他最好的一次训练结果的权重就会放到这里,然后这个倒刺点 cs v 下面呢,他也有这个对应的 记录,每训练完一轮啊,每训完一轮,他就会在这里多一条记录,这里有他的一个损失的函数,呃,损失的值,还有评价指标的变化情况,都会在这个里面记录啊。然后你训练好了之后呢?这个 best 点 p t, 他 其实就和我们 算法端系统里面的那个这个啊点 p t 是 一致的啊,你如果训练有更好训练的更好的这种权重呢?你可以直接把它给替换掉就可以了。 嗯,这个 best 点 p t 和这个 best 点 p t 就是 一个东西啊,只不过就是要训练好和训练效果好和训练效果差的一个差别啊,它两个作用是一样的,可以相互替换完。又训练完一轮,他这个又多了一条记录,这个就是一个训练的过程,我这里先终止掉了。 然后我们看一下这个项目介绍文档吧, 这首文档的话大致的功能就是主要是检测这个头盔,还有这个是否违规载人的这个这种情况。 然后这是一个技术站啊,这里用的哪些技术站会列出来?有数据库的设计,还有这个项目目录的结构会列在这里。嗯,这里有目录结构的说明,也会在这里。还有一些核心功能模块的一些讲解,包括这个设备管理啊、认证管理啊,实时监控系统啊,还有这些核心的代码啊,算法代码会贴到这里边, 然后有一个系统的使用注意事项啊,这个的话就是呃,触摸太大元依赖于这种 a p p 的 服务,然后 优乐的话是可以自己去训练的啊,现在的话是包括这种电动车一种类别啊,训练级和验证级的数据,目前的这个数据量不多啊,所以训练效果呃,有些小目标什么的或或者画面不清楚,它还是检测不到的,但是从刚才的那个监控演示的状态来看,其实 有一些他其实还是可以检测到啊,一些比较准确的这种违规行为的。然后就是系统支持这种本地视频转为这种模拟的监控流,然后也支持电脑摄像头或者台式的电脑 usb 接口的这种连接的摄像头。并且如果你有这种二 t s p 地址的网络摄像头,你可以在局域网里面去直接接入他来 来用系统去呃监控啊,然后这是其他的这些注意事项。好的,最后看一下我们系统的一些呃流程图吧,这个是系统的架构图啊, 这个就是架构的这种交互图,就是前端表现层呀,应用层呀,算法层呀,他们之间那些怎么去交互的,这个如果你看的不很清楚的话,你可以放大放大去看就可以,然后这个是它的功能模块图,这些模块的一些大概的功能会会列在这里。这个呢就是我们双阶段的这个优乐加大元模型分析的这种识别的流程图, 看到就是说连从视频触视化一直到优乐目感检测,我再到截取这个电动车的区域,然后 再去掉这种多肽的大圆模型进行分析,然后到检测生成检测结果,然后推送预警,保存检测记录,然后继续下一帧,这个过程都是有的。然后这个的话就是一个数据的流向图啊,就是说数据是怎么怎么流动的,也画一个图在这里。最后一个就是我们这种被服务通信架构的这种图的这种流向啊, 用户啊、前端啊、算法服务啊、数据库啊、文件存储,主要是这些大致的流程的流向啊,这种通通信结构也画到了这里。好的,然后这个就是这个系统的全部也是。

y o l 训练效果不好,别急着调参数,这七个核心技巧,从数据到训练,全流程讲透,让你的模型 map 直接翻倍,少走半年弯路。 技巧一,数据质量远大于数量,与其花时间标一万张粗标数据,不如精心标注一百张高质量数据, map 提升立竿见影。 小二,数据增强必须开满马赛克混合色彩、抖动、旋转、翻转四个,增强全开模型的泛化能力,直接起飞实测 map 涨五个点。技小三,迁移学习是王道, 一定要用 co co 预训练权重起步,别傻乎乎从头训练,那是在浪费生命。预训练权重能让你收敛速度快三倍。技巧四, anchor 设置必须匹配你的目标尺寸,小目标用九乘九,中目标用三十二乘三十二,大目标用一百二十八乘一百二十八, 自动聚类散 anchor 才是正确姿势。技巧五,学习率用鱼弦退火调度,千万别用固定学习率, 初始值设零点零一,训练到后面自动衰减,收敛速度快得多, loss 下降更平稳。技巧六, map 怎么看才对?别只看训练级 loss 下降就高兴,必须看验证级, l m i p 五十和 l m i p 五零杠九五两个指标缺一不可,这才是真实性能。 技巧七,早听防过你核验证级 map 连续十个 apk 不 涨立刻停,别浪费时间在那死磕,换个数据增强策略或者调整网络结构才是正解。七个技巧全掌握, y o l o 系列不再踩坑我是龙虾关注我,更多 ai 实战技巧和开源项目持续更新,下期见!

大模型时代,为什么工业界还在疯狂用优喽?很多人以为传统 c v 任务已经过时,但实际上,你打开购物 app 拍照,搜同款后台,跑的就是优喽。你走进商场,被统计客流摄像,跑的是优喽。工厂流水线质检,负责揪出次品的还是优喽。原因也很简单, 算一笔账你就懂了。假设用大模型做流水线质检,要用一次 a p i, 耗时零点一秒成本,一天跑八小时,那一天成本就是两千八百八十美元,折合人民币两万,哪个老板顶得住? 而优喽二十六呢?跑在一块几百块的边缘计算板上,推你延迟六毫秒,比你眨眼还快,单次成本几乎为零。这就是大模型与优喽的根本差异。 大模型解决的是能力上限,它能理解复杂语义,能跟你聊莎士比亚,但工业界不需要这些。而优喽解决的是工程下限,可以在最苛刻的条件下,用最快的速度、最低的成本把活干完。这也是为什么优喽能拿下一十二点三万 getop 新标二点零八亿次,下载日使用量二十五亿次的原因。 因为它解决的是真实世界里省钱、高效、能落地的问题。这两年,大模型太火了,火到很多人忘了一个基本事实,百分之九十九的 ai 应用场景,根本用不起大模型。 未来也不是大模型替代 yolo, 而是大模型加 yolo 双层架构。比如 yolo 发现某工位有人摔倒,再交给视觉大模型判断是短暂蹲下还是安全事故,这才是真正的产业路径。 所以, cv 仍然是 ai 工业界最扎实、最具落地价值的方向。如果你也想系统进入这行,我这里整理了计算机视觉从入门到实战的学习路线和企业级项目,是真正能找到工作、能做项目、能落地部署的一套路径。记住,不是所有 ai 都要追求大而全,有时候小而美才是真正的竞争力。

hello, 大家好,我是 w 凯,然后这一期给大家讲一下 r k 幺五,呃,不, r v 幺幺零六,就是优酷转 r k n n, 然后这一期就是讲的就跟瑞星威的 r v 幺幺零六有关的,就是 lookingforks 的, 我这个板子是 lookingforks pro max, 呃,不, 呃,就是 max pro max 的 那个 r v 幺幺零六,然后去转 uno, 这之前的笔记是给大家看一下 机器学习,呃,之前实现的这个功能,哎,一级啊。 之前就是将 uno 就是 自己训练的这个模型,然后放到板子上进行运行,这是成功的案例。 然后我们先讲什么呢?就是先讲这个就是 uno 转 o n 叉,这个相当于说是一个中间的这个模型,然后我们要去用训练好的 uno 模型去转到这个地方, 因为目前就是如果我们要转的话,要根据 unno 的 这个就是瑞星微这个官网给的这个 unno 的 转转的算法 就是这个,就是我们上一期我们讲的这个, 上一期讲的 uno 训练就是这个,为什么放到这边来,就是因为就是说这上面这些都是公有的,如果你这边要去需要学 uno, 或者说要去学就是转 转其他的,就是开发版或者芯片,就是可以支持这个 uno 的, 就是你可以用,就是入门的,就是怎么去训练怎么去, 呃,拿自己数据及训练,这是没有问题的,但是一旦我们要去转这个 r k n n, 我 们就要有条件了,就是我们要去转到底是 r v 幺幺零六还是 r v 幺幺二六,还是 r k 三五六六等等等等一系列。所以说 我为什么把这个放到这边来,是因为现在它有些区别了,就是跟就是普通的这种 uno, 就是 我们要 依赖边缘设备,就比如说这个 r v 幺幺零六,再来去转这个东西,要要有这个设备,要有这个环境,然后我们要有特殊性的。而这上面的这一块就优诺训练的话就是大众, 就是只要你想学优诺的就是入门,这是没有问题。然后或者说我把这个模型训练好了,然后你要去, 你要去那个,嗯,去干别的都没有问题的。所以说我这边为什么把这个转转 l o n 放在这边?本来想放在这里面就揉到一起了,但是放在这边的话我们就有特殊性了。后面, 呃我们再去转其他模型,我这一块这上面我就不再进行讲解了,或者说后面去训练优诺,优诺那个十一的时候也是不会再 细讲这一块,就是过一遍,因为这个都是一样的。呃,我再讲大家就是这个怎么去转了, 呃,首先这几个链接你们要知道,然后这个我就不说了,主要是这个就是我给大家看一下, 就是呃,导要要去导 r k n n 中间有一个 o n n 叉,这个模型 就是瑞那个瑞幸维给的这个源码,导出的源码它是有一些呃内外的东西的,比如说这个,哎,不行,比如说这个,这就是它多出来的部分,就是它要导出的一个算法,多余的一个算法, 这个是怎么回事呢?就是说,呃,我们的优乐园码,就是我们之前在官网上下的优乐园码,和月新微给提供的这个优乐园码其实是一样的,它是基于这个的,因为我们要去看,呃,我们要试着去看它的 redmi, 你的命,你看七点零,当当时这个 uno 五已经跟到七点零,最高版本也是七点零,所以说我们训练的这个模型,呃是没有没有什么大的变化的,但是需要注意点是我们把这个模型下下载好以后 下载,下载下来以后,然后我们要要用 p p, 就是 重新按照之前的那个方法去, 呃,配置依赖,因为导出它的导出算法它肯定还有一些依赖,它会写的这个 recrecisons 这个点 text 里面,然后我们也一样,和之前一样,就是我们用 p a p in style, 然后去把它这个虚拟环境给它弄出来, 然后给大家演示一遍吧。因为我这边是过过去了,因为之前我们配这个环境的时候是很详细的去说这个问题了,为啥这一次没有去弄呢?就是说呃,之前去一步一步带大家去整这个东西是, 嗯,已经整整完了的,所以说我这边就是粗略的去给大家去讲一下怎么去弄呢? 后面有一个在虚拟机里面配那个 r k 的 那个 two, 就是 转模型的那个工那个环境的时候,我是带着大家一一步一步来的,本来像 就是本来想自己先过一遍,但是我发现如果我自己过一遍的话,你这边就相当于说,呃,我遇到的问题可能你们就看不见了,就是想的说带大家一步一步的来,然后我这边是啥?我这边这个是我下的是新微的, 然后我找的这个目录在这个根目录下,然后我这样子记住一定不能干啥,你去把人家的这个 算法,你,你直接复制到你原来那个原码里面,这是不错,这是错的,这会报错的,会报你没有一些依赖的东西。所以说我们只能说把它的应用原码下下来,然后我们在这。为什么 我们一开始不去用优诺去算了,去去跑着,因为我想的是我前面的这些东西它是共有的,只要你去或者说你要去研究优诺,还是说去转别的模型都可以用之前的那个,因为是共同的东西, 呃。不单独去下它的这个去训练的话,这样就没有特殊性的,我们只是只是要去转这个模型的时候要有它的特殊性。嗯,这就相当于分流了。 然后我们找的又跟目录一样的 cd, 然后我们要进入我的呃 portouch 的 这个环境里, 哎。 portouch 环境在哪了?呃,看点算了,我在我的 portouch portouch 后面这些文档是会发给大家的,就是不用不用担心, 然后到这里我们就到这个环境了,然后就可以用我这个给大家放的这个命令。呃,先说一个问题啊,就是说你们如果环境跟我一起一模一样的,呃,没有问题,你用这个 但是也会出现一个问题,就是说没有一个,就是你在导出的时候会出现一个问题,对不对?大家等一下在下面给他就说我们先用 p h p。 呃,稍等 看,这是因为我之前已经下载过了,就是跟之前一样,你们中途会报什么错?报一些错。那我们就把这一些错放到 deepsafe 里面去,就是让让它给你叫 deepsafe, 它会给你给个 mini, 像我这个就是 会出现一个,因为我这个就是比较旧嘛,我想的是用旧一点的,他,呃遇到的问题他很好的去解决,如果太新的话他可能,呃有些依赖,太旧了就没有继续更新,所以说我这边是 哦呢这个模块他有点旧,所以说我都给它卸载,然后再重新去。按照我大家如果也遇到这个 问题, 就是我建议大家啥就跟我下一样的这个,就你看到有一个没有什么 o n x 的 或版本 安太高了,你就给它卸了,然后重来,因为你那个错误你可以看到没有什么什么就是,呃。 not 什么什么?这里我我给大家看一眼吧,就是大概是这样子,我放在这里面了,然后到时候会放放在这里面的看,就这个。 哎,这不是,是这个怎么放在这里面啊?可能有点糊涂。看,就这个汇报这个错的,汇报这个错的话你就重新安装一下就行了,没有问题。就是按这个 mini, 我 这里就不给它演示了, 这里,不不不不,预预演示。然后我们是啥? 然后我们就是用这个去转,我们不要用帕叉姆,直接打开这个。我之前 耍小聪明就是帕叉姆去打开这个尤诺原码,然后直接按那个运行,然后我转的模型就不能用,这个问题我控了,我大概有一个星期,所以说大家不要去犯这个错误,然后我们就这样子去, 哎, 然后我们去怎么这个模型就是我模型是你之前训练的路径啊?像我这个训练路径就在点点。 you know 这个就是你之前训练好的,就是另外一个就是我是从官方里面下载的, 呃,其实他原码都是一样的,只不过就说我这边就为了区分就给大家说这不是特殊的,所以说这样子弄的,嗯,也是因为,呃,那个 粉丝给我说啊,这个有点区别,因为我之前写的文档我忘了,就是这个里面这个东西,因为你看我这已经弄好了一次了,我们试一下啊, 等待一下,很快的。 哎,怎么这么慢?路径应该是没有问题的, 看一下 cpu 是 不是占满了。我靠, cpu 满了, 哎,我靠,怎么这么慢啊?稍等一下啊, 啊,这里就好了啊,刚才有有一个小报错,没有问题不大,就没找到这个路径,这问题不大。然后我们现在这个东西在哪个地方呢?呃, 再给大家看一下,就在这个地方,就是我们要后面要把它放到那个转模型,然后还有个问题是啥呢?就是还有一个东西我们要去用, 嗯,不在这里面,就是在你这个 u 型微下的这个 uno 边嘛,就这个东西后面也可能要去用它,所以说就是说那个, 呃,后面就是就是这就这就是 un 转那个 o n n 叉,然后转完以后我们现在就要去配这个环境了。 首先来说我给大家介绍介绍一下吧。首先来说,呃,这个工具 也是比较坑的,为啥这位说了,因为他,呃之前有一个版本啊,我给大家看一下, 之前啊有一个这个版本,这就很坑的,知道吧?他这个版本很多,我之前拿这个东西弄,弄了半天没弄出来,然后后面发现是这个不维护的, 就报了很多错,所以咱咱大家去训练的时候要去要大家去看人家的这个还是那个相关的东西的时候,要去看一下他的这个密,然后他支持哪些,然后就发现出现这个这个问题,然后问题也不大, 如果我当时去转膜星也用的人家的这个案例,也没有什么问题。然后我们现在用的是这个最新的,你们看清楚的这个,这个 r k n n t 二 支持哪些平台呢?啊?支持哪些芯片呢?我们找到我们 r v 幺幺零六,哎,现在怎么出现 r v 幺幺零六 b 啊?嗯, 先不看,我们只看这个,然后拍摄版本三点六、三点七、三点八,我们把这个下了,这个有点大,然后它的一些推理案例是在这个地方, 这里我就不给他说了,这也是要下载下来的,我这边已经下载下来了后,后续会给带着大家去呃,弄一下, 然后看。呃,我现在是因为为什么,呃,为什么要那个大家加在一起呢?是因为这一块确实也也是一个重点,所以说我呃这边就没有去给他弄。 然后我教大家去看怎么文档啊?就我们把这个源码打开,然后我们进入这是它的根目录,然后找到到 dog, 然后这不是有文档,我们要打开其中一个文档,然后你看怎么去安装。这人家的这个也是比较详细的,如果我说如果 看这些文档它是比较详细的, 呃,可以看我的文档,也可以看他的文档,他的文档是比较详细的,我就建议大家把这个下下来以后,后面这个转换就看他的文档,也是很不错的,知道不?然后我们现在是啥呢? 呃,我们现在先看一下这个,按照他的那个步骤来吧, 我这边文档也是抄着他的, 我这肯定是没有这个东西,没找到, 哎。怎么卡了?然后 稍等啊。哎,为啥没法往下滑呢? 我重新打开一下这个 啊,这个,这个就在这个点,然后我们怎么去安装它呢? 哎,它这玩意等我要复制到外面,我要用别的软,我用 windows 去访问它吧。 a m, 我 就直接那 linux 里面打,打开这个不好,打开看 下面,你看我们根据他这个命令,你稍等一下啊,我们根据这个文档,就是根据这个文档,我们去安装一下, 哎,不好意思,不是。呃,那个进错地方啊,我没有复制过来, 然后等待吧,等下载好了我再给大家看。到 这里我们就已经下载完成了,然后我们再根据它,呃,下一步来吧,然后我们这样子, 我们这应该是安装在桌面上了 啊,然后一步一步的来, 哎,看错了, 看一下啊, 这一直点它就行了。 yes, 这不会在桌面上吧,我记得应该在桌面上,我靠, 呃,应该是按成功了,然后我们再根据下一步,这就进来了。叫 conda 的 那个,这叫 mini conda, 之前我们安装的那个叫, 然后我们创建一个三点八的版本的,这个是人家的文档,咱们尽量去按照他文档来。按我的也行,我会后面也是复制的,大家难得去看这一块的话,你就直接去用我的就行。 然后是啥?我这边去跑一下我的案例,然后我就不跑官方的案例了,然后官方的案例我这边就写成一个文档,等后面大家去试吧,因为都是一样的。 然后我教大家最难的一块就是怎么去弄这个,这一块东西 稍等,他现在正在下载相关的东西, 这个是点 yes 就 行。这一直在安装 其实也不难,你按照它的这个官方文档来就没有什么问题。看安装完以后看它这个, 然后再进这个环境,然后我们再安装这个,然后这个这个这一大堆,没有什么问题,问题不大,我们有两种,一种是本地的, 因为我们已经下载这个东西了,我们本地是有这个东西的,我给大家找一下, 那我们现在进入这这一步,错了,进入到这个虚拟环境里面,然后我们要去给它配置依赖,然后后面我们就好转了, 然后我们安装有两种,一种是 p h p 源,还有种是本地。 呃,怎么说这个东西好大呢?你要是用 p h p 圆的话得下好长时间,而且还不稳定,所以我建议说我们把这个项目已经下出来,下下来了嘛,所以说我直接就去找这一块就行了, 这是它的文档,然后我们找找这个 应该是这个 arm 叉八六,这个理论上我们是叉八六,不是 arm arm 是 那个叉八六。 然后你看,你们要看会看这个文档,根据 python 版本以及处理架构选择不同的 recas recasements, 这个文件 cp 是 你的 python 版本。呃,这个时候你要去看,因为你在这个应该是三点八,我们之前按的是三点八,那就是三点八,而我们这样子去, 我们直接用本地就行了,不要去管那么多,因为我们已经把这个东西下载下来了,这个就是他的那个,看,我们把这个路径复制过来,我们直接进入这个路径里, 我们看一下是不是有,然后我们就选三八, 三八版本这个官方给的文档就很很清楚了。你不不会的,就是你一定要去耐心的去看。我知道,我也去,不愿意去这种一点一点的去那个就想想着。 呃,反正就是很急躁。我们在 ps, 哎,没有这个文档啊,因为 没有这个说胡话呢, p 三八。 哦, 不好意思,确实没这个文件。哎, 你找到这个啊,就这个玩意,我当时这个他没给你给权,所以他找不到,问题不大。 我靠, 这个时候,哎,这个时候我就得 求助一下 deepsea 应该是圆的问题,因为这个问题我已经遇到好几次了。我靠,不过进不了差的 gdp, 你 就 deepsea 一下就出来了。 ai 还是蛮好用的,你再复制它就会跟你说的。看啊 啊,一般用阿里的啊,你看后面都都是加个 i, 加个圆,之前我们也是加个圆,这个地方我们注意一下就行了,只是问题不大。看就是非常好,我把这个地方加在这地方等后面,我 这儿就等待,等待它下载完,你看这个有缘它是很快的。哎,我现在这个不太好这个东西啊,然后我们就安装这个 cp, 就是 版拍摄版本号, 我们还是 list。 哎, 报的什么代错呀?看一下啊,现在有 ai 的 去解决这个问题,很好的给你分析出来,你不愿意去去读了, 应该是版本的问题。 哎,我靠,我是不是命令给错了呀,也不对, 看,这就出来了,大家遇到这个同样的错误就重新你看再次安装一下就行了。呃, 这个报错我都是会复制的,那个圆的问题已经出现很多了,这就我就不给大家去复制这个问题了。我靠, 基本其实我也是 ai 去解决这个问题的,他一去学会用 ai, 而这成功了,成功了以后我们要干啥?还有一个就是看一下二找三六, 好找到这个,然后我们就用它的这个东西,全装很快的,你为啥不不建议用这个呢?你下载很慢的,这几个 g 啊,一个 g 的 吧。我靠,我我记得好好好,大,不是一个 g 还是多少,反正 我们把这个擦掉,呃,把这些都擦掉,哎,比较我怎么总感觉哪个地方有点问题, 差点按错了,不好意思,哎,我的是哪个版本的?我靠,忘了,三点八吧,是吧,差点整成三点六去了。我靠, 然后这就成功了,我们再测试一下,我看录了多长时间, 然后十分钟解决吧,十分钟咱们就能成功了。然后拍一下 啊, 它这文档其实写的很清楚的,你们不要去,应该是进去了看一下后面的文档, 变音器啥的不用安了。现在就是去,去干嘛呀?去模型转换,看这有的 有的,没有它就会爆,没有的 qq 编辑, qq 给它退出。哎呀,不好意思, qq, 而现在是干嘛了?现在是要把我们的模型转。呃,啊,对,它这边有一个推理模型,就是 这个 r k n n 相关案例,我们点进去看一眼, 这就是他支持的一些,我之前说过他之前的模型,比如说 uno 五,我这个原码也下载了,也放在这里面的,因为下的太慢了,不想让大家去等,然后我们怎么这这怎么去弄呢?然后我们点开 uno 五的原码, 呃,现在我们用这个模型,我们要去转一下它的模型,怎么去转呢?好说看 readme, 又是 readme, 或者说这个看起来费劲,我们在这个地方去找, 就是这个文档,我它这里面有转的方法, 就是这案例上面可能就是说,呃,它的模型这个网络结构 是这样子的,但是我们转的网络结构可能遇见有点差别,但这个问题不大,因为可能会后面会影响到精度,但是我们目前来说只是给它跑通了这个精度,呃,在很多方面上它有很多的, 就是有很多,然后我们怎么办呢?就是说我们先给他转,因为我们这个模型训练没有问题的,然后在模型中我们也是没有说是,呃,就是这个东西, 就这个东西让我们给它复制过来,嗯,复制到这边来吧。 复制过来,然后改个名字,改个 uno 五吧, 这个就有,我们就不管它,我们现在去改个名字, no, no 为,然后我们,嗯,那是要干嘛?对,给它转换, 我们找到这个 covet 拍摄,找到这个, 哎,找错了,不好意思,这个里面它这个也有转,好像我记得它这案例里面也有转,看它这也多,但是我们用这个推理去转吧。 路由 v 五在哪呢? c p p。 应该是这个,我们找到这个了,对吧?大家可以截图啊,啊?也不说截图,大家可以去那个, 首先是要改这个数据数据源啊,我们把这个给大家,等一下,哦,就是这个,你标签里面那个东西, 就之前, 哎,不对, 这种,你带的要带的这个 不是这里面啊,是这个。 嗯,就用了这个,是这个, 就是你这个类别,类别,你要知道就是你去你那个自己弄的这些东西,你要记住放在这里面吧, 然后重新命名个 w 凯,然后找到这个。呃, python 这个转,我直接放放移动,给它移到这个里面去。 你这 python 它基本都是链接的库,我们把那个依赖配好了,你就直接在这里面干就行了。 我们把这个文本的形式打开,把这个改成 w k w k, 然后当前目录, 然后呢?然后 或者它的路径,哎, create cd, 我 们就进这个目录了,对吧?那我们再根据这个命令,我们是 r v 幺幺零六,你注意这后面这个 问题啊,不要瞎搞啊。 r v 幺幺零六,哎,我靠,报什么错呀? 啊?把我先压一条,不好意思啊,不好不好意思, 重重,重点不是这个,这个 no, no, 哎,应该应该,这就可以了,这不就,哎,看一下报错了没有?又报错了,我靠。嗯, 看一下怎么报错的。 我直接问 deepsea, 哎,这个地方是因为啥?它这个库乱的很 啊。之前是有一个这个问题, offset, 就是 我们转的这个模型有问题, 我们去改一下。这个地方我们确实有点问题啊, 就忘了说这个点了。 嗯,之前我也遇到过这个问题,但是忘了很长时间一段时间了。 呃,找一下那个转模型的地方, 我们拿 pcm 打开再改一下。 这么卡吗?我直接记事本给你打开。 稍等啊,其实这个不是什么大问题啊,大家一定不要去慌,看 是我们导这个模型的时候默认给给了十九,是在这里面一个参数没改。对, 所以说为什么要带大家一起,就是我自己要来一遍呢,就是害怕我视频的时候有时间一一个重点没有去关注的,然后 这个大家带到大家呀,带到坑里了,但是也大家去解决这个问题,我找找应该是这个 是不是这个内容问题,我直接复给 deepsea, 它 deepsea 是 给我分析怎么了?我就应该感觉是那个地方的问题, 但是你看魔仙转的时候他没跟你说, 哎,等一下啊,卡住了, 哎,这在这个地方有个坑。我靠,没事,就是问题不大,试一下就行了,因为说实话这个这个就就大概就是版本的问题, o n 的 版本问题,然后我找一下。 行,你看这转个东西多费劲啊。嗯,然后按照他的想,这个我们去把这个城市 看上面最最低要多少,你按十五来吧。 哎,有默认为啥是十九呢?因为我这边一看默认是十五是十二呀, 就给它弄到十二吧。 这这个啊,问题不大。 这这就是你要成功的路上的一些快乐,知道吧。哎,我这要打打开文件,我都打开累了。我靠, 所以转这个麻烦的要死。也不是说麻烦嘛,就是一个依赖不对就废了,所以这个环境就大多数都栽在这环境的地方了。我的天,有点对,到这 废废废了呀。 我把这个重命名删除。好,你可以走了,我重来这个,然后再试一下,我就不信, 嗯, 这是报的什么错, 我来解决一下这个问题,稍等。嗯,这里我再找找原因吧,然后我们下期视频见,就是专门来讲这个转播型和上传版的测试吧。 哦,感谢大家的观看,然后感觉这个地方比较坑,我靠,我用官方的也试了一下,也是不行。哎,我再测试一下,我再弄一下看看。

基于优喽和多模态大语言模型的智慧校园暴力检测系统,在视频最后有完整的安装部署教程哦,今天这个是一个基于优喽和多模态大语言模型的智慧校园暴力检测系统 啊,优喽模型的话是支持从优喽 v 八一直到 v 十二的这个模型啊,然后这个模型的权重也是放到了这里,需要修改的话在配置文件当中的这里修改就可以了。呃,然后他的话多模态单元中的这里修改就可以了。呃,然后他的话多模态大元模型是用的这个模型, 然后现在看一下他的一个大体的识别流程,就是优喽模型是用来检测行人,然后动物,他大元模型是呃通过对两个级以上的这种行人的行为截图,然后进行语义理解,然后并对画面做出一些描述,然后评判为他是否是有这种校园暴力的倾向。现在看一下系统的演示。首先就是登录管理员账号, 好的进来之后呢,这是管理员账号的话,他可以呃就是进入到这个控制台,控制台里边是有一些数据,因为现在 系统还没有被使用过,数据都是空的数据,然后首页的话这里是有一些快捷的操作,还有一些就是关于系统的介绍。 然后监控设备的话,现在是开了三个设备,这个的话是我的电脑摄像头的设备,然后这两个的话是本地视频转成的监控,没有啊?然后就去看一下设置监控的内容。 我们先分析一下一个这个 呃视频吧,可以看到就是如果他检测出了有人挨的比较近的话,他就会通过呃这种剧类群组的分析算法把这两个人给归到一一组里边啊,然后这上面的话,他就是说这个是组,因为画面里面可能有不同的这种人群,然后这个是第一个是,也就是一组啊,一组里边有两个人, 然后这个时候呢,如果发现了,呃,这个时候呢,这个整个宏框里边的内容会被传到多模态大元模型里面啊,如果多模态大元模型评判他是这个校园暴力的行为呢,这里就会给出一个警示啊,如果评判不是这个校园暴力的话,他这个只做一些显示,还有一个群主的截图也是这个图片啊,他不会 进行这个安全记录和其他的这个提示。哎,可以看到刚才其实啊,那如果现在的话,他红框里边标出来的呃,这个大圆模型把他就当成了这个说是群主一里边啊,呃,大圆模型觉得你看他有这个明显的肢体接触,其中一个人似乎在推另一个人或者拉另一个人的胳膊,然后还有一个人是蹲在了地上, 可能就是处于这种被控制的状态,说明他存在这种啊暴力的倾向,所以大元模型,这也是大元模型给分析出来的,根据这个图片,然后也给出一个高风险的这么一个呃结果,所以他这个记录就会被呃记录下来啊,可以看一下到安全记录的话,你看看实际上记录了好几条啊, 可以查看这个详情,那他就是说高风险,然后这个截图也会截取下来啊,当然你也可以去处理这个记录啊,就是说,嗯, 已经报警啊,嗯,好的,然后这里可以选择图片上传,也就是处理的结果,然后我这里就不上传了,确定,然后这里就会有一个处理信息啊,他的状态也会变成已处理。我们再看一下另外的刚才那个监控,这还是那个同一个监控换一个监控, 他这个的话其实因为不存在这种暴力啊,他这个也也有暴力倾向啊,就是一个人似乎在用手指指向另一个人,你看他这个确实在指另一个人啊,另一个人防御状态也就是,但是这个他没有刚才那个那么激烈,所以他这个就评判了一个中等风险。这里有个群主截图也能在这临时查看啊, 这个离得就比较远,他就虽然说画出了红框,但是因为他要剧烈分析把这个两个人框在一起,但是他没有发现肢体接触什么,他就没有评判这个校园暴力的这种行为。我们先关掉,然后看一下记录,看刚才记录的这一条,嗯,你看这这个人确实拿手指在指着另一个人啊,所以就是说的还是挺准确的啊。 然后这是我们的本地视频转成了这种监控流啊。还有一个就是我们用我们的电脑摄像头去看一下校园暴力, 然后这是我开了我的电脑摄像头,这是我的手机啊,我们拿手机去录的这个像啊,不是就开了一个视频,我们点开这个去播放啊,你看他检测出了一个高风险了,然后 你看他又检测出一针这种高风险了, 我们先关掉了,然后去看一下这个安全记录里面记录的东西啊,他这里是记录有几条,嗯,可以看到。呃,因为这个画面不是很清楚,可能是摄像头,还有就是模拟视频流,他那个 因为我看一下我这里设置的分辨率,其实强制他到这个六百八、六百四到四百八的这么一个像素啊,可能所以他这个摄像头不是很清楚,你可以把这里调的稍微大一点啊,那他这个说,呃,把中间这个框给截出来以后,我们可以你可以看到有一个小孩蹲在地上,另一个人是站着的啊,然后的话你看 他这个给出了一个结果啊,是高风险的。然后的话再看一下这个啊,这个你看明显就是这个白色衣服的人在打这个黑色衣服的小孩啊,其实这也符合就是现在的一些监控,他那个可能拍出来的画面不是很清楚啊,但是模型依然会把他给这个识别出来,那他这个就是说一个人在推搡另一个人工作比较激烈,所以他这个 也被判定了这个危险行为,再看这个的话也是一样的。 好的,然后这个的话就是这个系统的一个演示,但这里也可以同时开多个摄像头啊, 这个呢就是我的摄像头,我现在是在用手给遮挡住了, 然后这是管理员的界面,那么登录一个普通用户的话,他的话主要就是这些功能啊,监控设备的话,普通用户是只能看到他自己新建的这个监控摄像头的一些数据,而且用的话也是只能用他的新建的这个监控设备,其他的是看不到的。 那个为什么这里会有一些就是这个检测记录呢,因为是刚才管理员啊,因为管理员是可以开启所有的监控设备的,管理员他把这个设备也开了一会,所以这里会有一些检测记录,然后这是他的这个系统的演示,然后下面看一下这个系统的一个大概的文档啊。嗯,这里的话就是 有一些这个数据库表的介绍啊,还有就是目录结构,还有就是一些功能的概述啊,还有这个 算法的架构啊,首先就是提取目标框呀,群组区类,然后千万多模块大元模型来分析啊,然后就是这里有个核心的代码的解释,一直往下的话,这个基本的操作流程也会有啊,有些核心的这个算法的这个核心代码也会列在这里。 然后就是系统的注意事项,就是啊,本系统的这个大元模型,它是用的阿里百联平台的这种 api 服务啊,相关配置可以在这里修改。然后啊,这个系统是用官方的这种优乐模型权重来识别信任了,没有经过其他的数据证明群点,因为这个效果已经很好。 然后就是优乐模型,就是用来检测行人,然后多用模特大圆模型啊,就是对多个机以上这种行人的行为截图进行语义理解,并给出这种画面描述啊,刚才也看到了, 然后这个系统是支持将本地视频转为这种模拟的视频监控流,然后也支持笔记本电脑的摄像头,或者是台式电脑 usb 接口连接的这种摄像头都可以。如果你有这种支持二 tsp 地址的真实的网络摄像头啊,也可以直接接入,然后呢就是,呃其他的一些注意事项,然后下面看一下这个系统的一些流程图, 这个是它的一个架构图,然后这个是架构图的一些流程,呃,过程,这个呢就是它的一个功能模块图啊,这个可能没有猎局的很全,可以再补充。然后呢就是这个暴力行为检测的这种这个模块的流程图。 首先就是进入这个视频流,然后视频处理,然后优酷的目标检测,然后如果检测到了行人的话,就进行这种情组分析。算法 啊,然后把这个感兴趣的这种群组给裁剪下来之后呢啊,给到这个千门多模态的进行一个分析,如果检测到了暴力行为,那就进行分享等级的评估啊,然后同时会触发这个预警的机制,然后进行这个数据处理啊,存储了之后呢,一直到结束。

今天给大家演示一下如何精准自动标注目标。 首先手动标注几个目标, 接着选中你要自动标注的目标,右键鼠标选择,以此目标标记剩余样本图。这里提供了两种方式,原理都是以找图的方式去标记剩余样本图。 我们可以看到样本集里的图片,所有相同的目标都被标记了出来,并且是完全准确的。 右键目标框就能不断往后标记剩余的样本。 接下来我们介绍第二种方式,打开自动标注控制台。 这里我之前已经用少量样本训练了一个参照模型,把参照模型加载进控制台窗口, 输入模型的尺寸参数, 我们先选中 j l 和 j a, 分 类看一下模型原始的标注效果。点击标注, 可以看到标注出来的框是有偏移的,不是很准确。 如果我们想让模型标注出来的目标框是完全准确的,可以使用精准标注功能。 这里我们直接使用大墨工具来框选精准坐标。 首先使用大墨工具绑定画板页面, 精准地框出目标的坐标范围, 将目标的坐标范围填入表格内, 这里给大家演示一下填了数据之后的自动标注效果。 可以看到这两个图标标注就是完全准确的了,其他的依然是歪的。 填好的数据可以直接导出成 txt, 以便以后使用或者发给别人使用, 同样可以导入已有的数据文件直接进行使用。 接下来就选中所有的分类进行自动标记, 现在可以看到自动标记出来的是非常准确的。 下面开始进行训练,切换到训练页面,在训练例三时,如果你想要最好的识别效果,可以选择自动计算尺寸参数, 点击确定。例三开始训练了, 如果你想训练 le 八,切换到 le 八页面,选择你要使用的训练环境显卡版本,高的就用第二个版本,低就用第一个。 v 八已经跑起来了, 并且右侧开始绘出曲线图,曲线会逐渐下降并趋于平缓,当红色的曲线趋于平缓的时候,则可以停止训练。 训练了几分钟,曲线已经平缓了,直接关闭训练窗口。这里我们直接让软件输出免环境清亮模型, 直接点击开始转换,将模型输出到刚刚创建的文件夹里, 下面我们来验证一下该模型能不能进行识别。目标,将模型拖入验证页面编辑框里, 选择一张图片 能进行识别了。 下面我们再来训练一下 v 二六模型,方法和立八基本是一样的,也是直接点击训练就行了。 v 二六已经跑起来了, 方法也是和之前一样的,输出 v 二六的免环境模型, 同样的方法对模型进行验证, 模型已经可以识别了。 好了,谢谢大家观看。

基于优喽和多模态大语言模型的智慧校园暴力检测系统,在视频最后有完整的安装部署教程哦,今天这个是一个基于优喽和多模态大语言模型的智慧校园暴力检测系统 啊,优喽模型的话是支持从优喽 v 八一直到 v 十二的这个模型啊,然后这个模型的权重也是放到了这里,需要修改的话在配置文件当中的这里修改就可以了。呃,然后他的话多模态单元中的这里修改就可以了。呃,然后他的话多模态大元模型是用的这个模型, 然后现在看一下他的一个大体的识别流程,就是优喽模型是用来检测行人,然后动物,他大元模型是呃通过对两个级以上的这种行人的行为截图,然后进行语义理解,然后并对画面做出一些描述,然后评判为他是否是有这种校园暴力的倾向。现在看一下系统的演示。首先就是登录管理员账号, 好的进来之后呢,这是管理员账号的话,他可以呃就是进入到这个控制台,控制台里边是有一些数据,因为现在 系统还没有被使用过,数据都是空的数据,然后首页的话这里是有一些快捷的操作,还有一些就是关于系统的介绍。 然后监控设备的话,现在是开了三个设备,这个的话是我的电脑摄像头的设备,然后这两个的话是本地视频转成的监控,没有啊?然后就去看一下设置监控的内容。 我们先分析一下一个这个 呃视频吧,可以看到就是如果他检测出了有人挨的比较近的话,他就会通过呃这种剧类群组的分析算法把这两个人给归到一一组里边啊,然后这上面的话,他就是说这个是组,因为画面里面可能有不同的这种人群,然后这个是第一个是,也就是一组啊,一组里边有两个人, 然后这个时候呢,如果发现了,呃,这个时候呢,这个整个宏框里边的内容会被传到多模态大元模型里面啊,如果多模态大元模型评判他是这个校园暴力的行为呢,这里就会给出一个警示啊,如果评判不是这个校园暴力的话,他这个只做一些显示,还有一个群主的截图也是这个图片啊,他不会 进行这个安全记录和其他的这个提示。哎,可以看到刚才其实啊,那如果现在的话,他红框里边标出来的呃,这个大圆模型把他就当成了这个说是群主一里边啊,呃,大圆模型觉得你看他有这个明显的肢体接触,其中一个人似乎在推另一个人或者拉另一个人的胳膊,然后还有一个人是蹲在了地上, 可能就是处于这种被控制的状态,说明他存在这种啊暴力的倾向,所以大元模型,这也是大元模型给分析出来的,根据这个图片,然后也给出一个高风险的这么一个呃结果,所以他这个记录就会被呃记录下来啊,可以看一下到安全记录的话,你看看实际上记录了好几条啊, 可以查看这个详情,那他就是说高风险,然后这个截图也会截取下来啊,当然你也可以去处理这个记录啊,就是说嗯, 已经报警啊,嗯,好的,然后这里可以选择图片上传,也就是处理的结果,然后我这里就不上传了,确定,然后这里就会有一个处理信息啊,他的状态也会变成已处理。我们再看一下另外的刚才那个监控,这还是那个同一个监控换一个监控, 他这个的话其实因为不存在这种暴力啊,他这个也也有暴力倾向啊,就是一个人似乎在用手指指向另一个人,你看他这个确实在指另一个人啊,另一个人防御状态也就是,但是这个他没有刚才那个那么激烈,所以他这个就评判了一个中等风险。这里有个群主截图也能在这临时查看啊, 这个离得就比较远,他就虽然说画出了红框,但是因为他要剧烈分析吗?把这个两个人框在一起,但是他没有发现肢体接触什么,他就没有评判这个校园暴力的这种行为。我们先关掉,然后看一下记录,看刚才记录的这一条,嗯,你看这这个人确实拿手指在指着另一个人啊,所以就是说的还是挺准确的啊。 然后这是我们的本地视频转成了这种监控流啊。还有一个就是我们用我们的电脑摄像头去看一下校园暴力, 然后这是我开了我的电脑摄像头,这是我的手机啊,我们拿手机去录的这个像啊,不是就开了一个视频,我们点开这个去播放啊,你看他检测出了一个高风险了,然后 你看他又检测出一针这种高风险了, 我们先关掉了,然后去看一下这个安全记录里面记录的东西啊,他这里是记录有几条,嗯,可以看到。呃,因为这个画面不是很清楚,可能是摄像头,还有就是模拟视频流,他那个 因为我看一下我这里设置的分辨率,其实强制他到这个六百八、六百四到四百八的这么一个像素啊,可能所以他这个摄像头不是很清楚,你可以把这里调的稍微大一点啊,那他这个说,呃,把中间这个框给截出来以后,我们可以你可以看到有一个小孩蹲在地上,另一个人是站着的啊,然后的话你看 他这个给出了一个结果啊,是高风险的。然后的话再看一下这个啊,这个你看明显就是这个白色衣服的人在打这个黑色衣服的小孩啊,其实这也符合就是现在的一些监控,他那个可能拍出来的画面不是很清楚啊,但是模型依然会把他给这个识别出来,那他这个就是说一个人在推搡另一个人,工作比较激烈,所以他这个 也被判定了这个危险行为,再看这个的话也是一样的。 好的,然后这个的话就是这个系统的一个演示,但这里也可以同时开多个摄像头啊, 这个呢就是我的摄像头,我现在是在用手给遮挡住了, 然后这是管理员的界面,那么登录一个普通用户的话,他的话主要就是这些功能啊,监控设备的话,普通用户是只能看到他自己新建的这个监控摄像头的一些数据,而且用的话也是只能用他的新建的这个监控设备,其他的是看不到的。 那个为什么这里会有一些就是这个检测记录呢?因为是刚才管理员啊,因为管理员是可以开启所有的监控设备的,管理员他把这个设备也开了一会,所以这里会有一些检测记录,嗯,然后这是他的这个系统的演示,然后下面看一下这个系统的一个大概的文档啊。嗯,这里的话就是 有一些这个数据库表的介绍啊,还有就是目录结构,还有就是一些功能的概述啊,还有这个 算法的架构啊,首先就是提取目标框呀,群组区类,然后千万多模块大元模型来分析啊,然后就是这里有个核心的代码的解释,一直往下的话,这个基本的操作流程也会有啊,有些核心的这个算法的这个核心代码也会列在这里。 然后就是系统的注意事项,就是啊,本系统的这个大元模型,它是用的阿里百联平台的这种 api 服务啊,相关配置可以在这里修改。然后啊,这个系统是用官方的这种优乐模型权重来识别新人了,没有经过其他的数据专门巡店,因为这个效果已经很好。 然后就是优乐模型,就是用来检测行人,然后多用模特大圆模型啊,就是对多个机以上这种行人的行为截图进行语义理解,并给出这种画面描述啊,刚才也看到了, 然后这个系统是支持将本地视频转为这种模拟的视频监控流,然后也支持笔记本电脑的摄像头,或者是台式电脑 usb 接口连接的这种摄像头都可以。如果你有这种支持二 tsp 地址的真实的网络摄像头啊,也可以直接接入,然后呢就是,呃其他的一些注意事项,然后下面看一下这个系统的一些流程图, 这个是它的一个架构图,然后这个是架构图的一些流程。呃,过程,这个呢就是它的一个功能模块图啊,这个可能没有猎局的很全,可以再补充。然后呢就是这个暴力行为检测的这种这个模块的流程图。 首先就是进入这个视频流,然后视频处理,然后优酷的目标检测,然后如果检测到了行人的话,就进行这种情组分析算法 啊,然后把这个感兴趣的这种群组给裁剪下来之后呢啊,给到这个千门多模态的进行一个分析,如果检测到了暴力行为,那就进行分享等级的评估啊,然后同时会触发这个预警的机制,然后进行这个数据处理啊,存储了之后呢,一直到结束。

基于 deepsea 和优乐八到十二个智能动物健康监测系统,在视频最后有完整的安装部署教程哦,今天呢,这是一个基于 deepsea 和优乐 v 八到 v 十二的这种智能动物健康监测系统, 他主要就是有视频设置掉视频监控,还有用 ai 进行一些声轻微的识别啊,有这种健康分析啊,这种功能就是他的一个文档,之后再看,首先去演示一下这个系统,登录管理员账号, 哎,登录进来之后呢,我们是进入到首页,这里有一个简单的介绍啊,然后我们可以去管理控制台看一下,因为现在的这些数据都是空的,因为我没有用过这些系统啊,都是空的。摄像头的话这里是开了三个,然后检测记录,还有时间控制,还有行为识别,现在都还没有数据。首先我们去 打开两个监控,去记录一些数据,然后第一个的话是我的电脑摄像头,因为这个其实因为录的是我吗?这个就没有全部打开,因为 他没有肯定识别不了这些东西啊。然后我们先在这里去放监控一段时间啊,去看一下效果, 这注意它这个用我们系统里面这个标好了,就是目标 id 是 依赖于 yolo 的 目标追踪,它自动生成这个 id, 并不是去真正的识别到了这个猪,它是属于哪个 id, 如果你对这个啊 id 识别这里这个部分特别看重的话,这里需要注意一下,因为这里并没有真正的去使用这个 id 识别算法,是用这个目标追踪算法来生成这个 id 标号,然后可以看到右边的这个检测效果其实是比较差的, 比较差的是因为我这个模型训练的时候,其实是用的左边这个模型啊,数据集来训练的,所以它在这个场景下表现的不是不是很好,因为它没检测出太多, 这个的话是一个模型泛化型的问题了,这个视频的话就当一个测试视频来用来看的,我左边这个他这个视频效果是比较好的。 然后这里这个近期检查记录啊,也会这个定时的,现在定的是三十秒区域记录一次这个视频啊,这个画面啊,这里会实时的更新这个东西。然后呢我们现在啊清空一下这个摄像头吧,因为我们已经有数据了啊,我们去看一下这些 数据的这个内容吧。首先是检测记录啊,检测记录看这已经有了,我们这也可以使用摄像头去查询他的野鸡肉啊,可以查看他的这个内容详情还可以去处理一下啊,就是说这个猪没有毛病。 ok 的, 这里可以上传图片了,可以不上场,现在先不上场上传图片的话,他就会在下面那这里显示出来。然后的话是我们的行为分析,主要是这里的看我们的检测记录,他是把整张这个图片给截下来了,但是行为记录的话,这里啊他截取 的是具体的每一个猪的这个照片啊,可能这里因为分辨率不是很大,所以这里截的可能有一些模糊,但是他是会把 具体的那个猪啊给接下来,然后每个猪的话是目标 id, 就是 那个猪的 id 啊,你可以选择一个目标 id 啊,也就说这是那个二号猪啊,二号猪在这个监控下边的话,他的一些行为啊,都给截了下来,他这是站着呢,这个可能是在躺卧上视觉的躺卧,这个坐立就站立啊,这个持续的时间啊,都会记录下来啊, 这是他这个行为记录和这个检测记录的区别啊, 行为啊,行为记录区,就是把检测记录里边的每一个猪,它的这种行为啊,概率啊,还有这个 id 啊,它是几号猪,几号动物都给记录下来,并且这个行为的时间也会记录下来啊,这个一分四十七秒,意思就是这个二号猪啊,他们占比了这个一分四十七秒啊,这个就是十六号猪,十六号猪他看在这吃饭呢, 也就说吃饭吃了一分五十三秒,这个时间,因为我们刚才开着摄像头的时间比较长的话,这个时间是会分平均相对的会很长。 然后你们看一下这个智能分析这里啊,首先就是选择一下哪个摄像头啊,然后下边的哪一个猪,我们可以选择目标一啊,就是一号猪,哎,前面有他的,你看他行为都会被这里记录下来啊, 然后这里也有他的一个行为转化关系的这么一个图啊,就是说从有从躺过到站立的,有从站立到这个坐立的,有坐立到这个站立的关系转化图也会在这里,上面的话是他的一个这种分布 图标分布。那么除了这些,然后的话,我们可以点击这个健康分析啊,这个可以省的模型,我们就用这个千万千万的千万的 tab 模型来分析一下,一共这个这个分析啊,直接点这个,然后我们可以点这个健康分析,这个时候呢我们 ai 就 会根据这个猪的这些最近的行为啊 这些数据来分析,然后得出一个他的健康这个诊断的结果。可以看到啊,他已经得出这健康诊断的结果,使用的 v 三这模型,健康评分的话,一到十他给的是七分,健康状况他评的已良好。呃,看也就是说他战地行为是占百分之七十点四,然后其他的比较低,但是相对时间也比较合理, 没有出现这个躁动过多的情感风险啊什么的,他也会给出啊,建议措施的话也会给出帮助要点的哈,看他谈过行为是否有这些困苦,本山什么他都会给出来啊。那么下面呢,我们再去 换一个。呃,换一个那个猪来分析一下,看这六号猪,看是什么情况啊?看六号猪啊,这是六号猪看起来其实也是比较正常的,都有糖果站立进食,再换一个看一下 这个也比较正常了,应该是看十六号猪的话,哎,你看他这个只有进食和这个嗅探可能这两种行为,我们用这个被爱去分析一下,看他这个情况状况是怎么样的。 好的分析完成之后呢,这里就会因为他没有这个行为关系的转换了。 好的,然后,呃,他这里其实评的是八分良好,但是这里嗯也是提到了一个风险因素啊,说是因为要么过少,经过两条记录啊,难以评估这个健康状况。嗯,卫星尽量过少,其实他评价出来的就不是很准确了,我们可以再换一个 好的,然后再分享我们换个东西啊,请用天猫的 turbo 去试一下。 好的,我们看一下,也是良好的啊。对,主要的功能呢,就是这个功能。 好的,你看这个的话,他评价的就是讲话中就是一般的 他说这个行为持续时间差异较大,那站立的行为是这么长时间,然后有的是仅持续了几秒钟,可能说他有升级不是或者是什么东西啊,后面也有一些风险的建议什么的啊,他这个设置同步才八秒的,持续上是长的时间啊,也就最主要的功能。然后还有因为是管理员账号的号,没有这个数据概览有这些东西, 这些情况,我们只开了两个摄像头,所以这里只有两个摄像头的分布。然后而且我们可以看一下这个管理员和普通用户的这种区分状况。嗯,你看这个休息区监控一是我这个我的秘密管理员账号去创建的,就是我这里新增一个摄像头,他会 嗯,这样,然后这个位置去监控一的话,是有这个 type 用户,也就是一个普通用户去创建这个摄像头,那么所以我们登录这个 type 账号的话,他其实只能看到他自己的这个摄像头啊的一个 内容的。好,我们可以去看一下登录 test 账号。好的,进来之后呢,我们可以看到,哎,摄像头管理哈,只有这三个摄像头了啊,我们可以这里再新增新增一个大院,这个的话就 再写一个外写啊,后灯开这里就会新增一个。那么我们这里为什么会有检测记录呢?因为我们这个 test 是 第一次登录的,也出现了检测记录啊,是因为刚才管理员他是能开所有人的摄像头吗?所以这里附有一些记录啊, 这是他的一些行为记录。那么智能分析的话,普通用户也只能分析他新建的这些摄像头的这些目标的这个猪的行为啊。 嗯,好的,然后呢?除了这些呢,还有就是其他的个人中心,这也可以更换头像啊?我这就不演示啊。然后这普通用户的一些功能,刚才的话是管理员那些功能好。