今天我们来看一下训练好的模型如何高性能的部署。首先训练一个人体检测模型,用拍粉跑的速度是八十每秒。首先我们要提高推你的速度, 修改网络结构,转为摊萨 t 模型,使用 cg 加重写,速度提升到一百一十帧每秒。再做一下因特八量化,速度提升到一百二十每秒。再使用哭的重写预处理部分,速度提升到一百七十每秒。再改为多线程处理,速度提升到两百每秒。 现在我们来做具体的应用,在视频中选定一个多边形区域, 使用射线法判断人员是否越界,再使用 kmins 算法判断人员是否聚集。 最后我们来部署,使用 dock 容器部署并且推流,便可以在多个终端查看实时运行画面, 还可以在嵌入式 gpu 接线上部署,拿动上的速度也可以达到二十八帧每秒,在 zbl nx 上的速度也可以达到七十帧每秒。老样子圆满已开园,课程已同步更新!
粉丝13.7万获赞34.2万

哈喽,大家好,今天给大家带来这个 tension rt 的一个加速模型的使用方式。前面我有讲过一期这个 lcm 的这个加速,他跟这个有什么区别呢?简单一点讲就是 lcm 他就是一个加速的 lower 模型, 我通过像 lora 一样的方式来调用它,就可以针对任何的模型,任何的情况去给它进行加速,所以它的使用是非常简单的,那我在第一时间就发了它的用法,但是呢,它有个缺陷,就是会降低模型的质量,所以很多人在纹身图阶段是不喜欢用它的, 都是在土生土或者放大阶段使用它。今天要讲的这个 tensen rt 呢,它是无损的,但是呢它的局限性会比较多一点,比如说我现在如果想针对麦橘的模型进行加速,那我就要提前做好麦橘这个模型的加速的 tensen rt 模型, 我如果想用别的大模型,那他又不生效了,他需要针对性的对大模型做加速。然后第二个呢,就是他在尺寸上面也有一些预设,比如说我 做好的是五幺二乘五幺二这个固定的静态模型的加速,那我就只有在生成这个分辨率的时候会有效,如果我生成五幺二乘七六八,他就无效了。当然我可以做成动态模型,比如说五幺二乘幺零二四的这个动态模型,但是动态模型的加速效果会比静态模型要略微差一丢丢。同时呢,他目前呢还在某些插件上不能进行使用,比如说 现阶段好像就不支持 ctrl net 的加速,那还停下来,他的局限很多,估计很多人已经要劝退了,但是今天我为什么还是要讲这个呢? 因为我发现很多人的使用场景是非常合适的,有些人现在已经找到了自己的工作流,他基本就在固定的某些模型下产生一些这个固定的图片, 这种情况下是用这个可以直接让你的速度提升一倍且无损质量。而且这个模型发展是很快的,创作团队已经在尽快的把这些配套的支持的插件也都完善起来,然后在后续呢他的这个这种支持的参数啊,还有针对的模型,我相信有 更好的解决办法,所以现在大家可以先来了解一下他怎么操作的之后呢,可以很快的上手,这个在未来一定是非常好的一个技术。先第一个大家要去英伟达的官网去下载这个显卡驱动的这个软件,我们先来搜索一下英伟达的官网,然后呢在他的官网找到这个驱动 程序,我们可以在这里根据自己的型号来来搜索,找到自己所需要的这个插件。然后呢下载一个这个这个驱动的这个软件, 在这个驱动软件里面大家登录进来就可以安装这个驱动程序,他的插件要求的版本驱动呢,就是在这个最新状态下更新到最新就可以了。第二个我们在 tab 里面直接搜索这个 tension rt, 进来之后按照我们的老方法来安装插件,复制他的链接到网址进行安装,这个地方应该就不用再多赘述了,后台会下载一下这个插件的这个模型,他还是相对来说比其他插件要大一些的,可以看到有个七百多招的东西要下载。 ok, 我们看到这里已经安装完毕,然后我们点击重启,在第一次重启之后呢,这里仍然要下载一些环境,大概是一个 g。 在我们重启之后呢,这里就多了一个这个 that crt, 我们打开它,右边有一个详细的操作介绍,大家有兴趣可以看一下。然后我们呢现在直接来针对麦菊的给他做一个探森 rt 的加速,如果你的要求比较简单,我们直接点击导出默认引擎就可以了, 直接就做完了。但是这里呢我想直接来做一个动态的,也就是我们用起来会相对比较简单一点的,他这里预设会有六种,上面的三个呢是静态的,一个就是只针对五幺二乘五幺二,然后只针对于单批数量为一的,这个就是七六八乘七六八,幺零二四乘幺零二四。 以下的动态呢,就是从二五六到五幺二,从五幺二到七六八,批量次数一到四,他都可以有一个兼容效果,我们就选一个五幺二到七六八的这样一个动态模型。然后 在高级设置里面呢,我们还可以手动的调整,就是他这个预设里面的各种参数动态做的越多,他的加速效果肯定就会稍微弱一点,最好就是保持默认的状态,我们这里就保持一个默认的状态, 然后呢点击导出引擎右上方的报错,大家不用管,然后就可以看到后台会开始运算,这里这个报错啊,我相信大家也许会遇到,我之前在第一次装的时候也碰到了,我们需要把所有路径当中的中文给改掉,我这里这个模型呢有中文,所以我这里需要给他去改一下, ok, 这样的情况下我们再次点击导出刚才,嗯,如果是中文状态下,他就检索不到这个模型路径,同时如果这一步无还是无法构建的话,大家需要把魔法打开 这里呢,我们可以看到已经完成了,然后这里输出位置也显示已经完成。完成了之后呢,我们可以在下面刷新一下,就可以看到我们已经做好了麦具这个模型的加速模型,接下来就是他的调用了,调用其实非常简单, 他需要在设置里面呢找到一个 unit 选项,这个 unit 选项呢其实跟这个我们的 cleve 中指层数,或者是跟我们的外挂 v e 一样,他都是不需要去经常调整的, 以至于这个一点六已经把它隐藏到了那个设置里面。我们只需要在这里刷新一下,就可以看到我们刚才做好的这个 tanshenrt 的这个模型,我们也可以不用每次到设置里面来改。我们可以在用户界面里面呢找到这个快速设置,像我们可以看到大模型 v e 还有 clip 跳过层数都在这里, 在这里呢再给他添加一个 unit, 就可以搜索一下这里,我们找到 sd unit, 然后呢把它添加到这里,接下来就是保存模型, 然后重载 ui。 ok, 再次打开之后呢,我们的界面上方就得到了一个可以调整的像。接下来我们先整体的测试一下,我这里用五幺二乘七六八的呃同一个组提示词,先来测一测不用他之前的速度,我这个电脑 应该跑五张,用的是九点二秒。接下来呢我们选择这个对应的加速模型,然后同样是五张,但是一般来说他可能要预热一下,所以我们以第二次的结果为准,第一次他启动就需要点时间。 ok, 同样的几张图片,我们用了七点一秒,速度感觉没有快的特别多,因为他是一个动态模型, 这张图片的话是花了一点一点三四秒左右,如果是不用加速的话是三秒钟,差不多是缩短了一半的速度,总之是加快了一部分时间,同时他的质量没有下降。那如果说我们是换做这个静态的加速,比如说我们只做五幺二乘七六八的,不做这个动态的话,他的速度还会进一步的提升, 这个就是整体的使用。然后这插件呢,建议大家新手阶段不用去研究它,因为我们还在学习过程当中,不需要去让它多快,等我们稍微掌握了之后,然后这个技术也发展了一定一段时间之后,我们再来使用它。

插座插座 inference server 是由 n, v, i, d, i a。 开发的用于高性能深度学习推理的推理引擎和部署平台。它针对 n, v, i, d, i, a, g, p 要进行了优化,能够实现快速且高效的模型部署。 x, r t 主要用于将训练好的深度学习模型转化为高度优化的推理引擎,以在生产环境中实现快速推理。以下是 x, r t 在模型步数方面的一些关键特点和用途。一、模型优化和加速 timesrt 可以对深度学习模型进行优化,包括网络剪织、量化、融合等技术,以减少模型的计算和存储需求并提高推理性能。 times r t 还利用 gpu 的并行计算能力,针对特定机 pu 架构进行优化,实现高度并行的推理,从而加速模型的 运行速度。二、支持多种深度学习框架 tensor rt 支持多种主流深度学习框架,包括 tensor, flow, petroix 和 x 等。他可以接受这些框架训练好的模型,并将其转化为参赛 rt 格式进行部署。 这使得开发人员可以在不同的框架之间进行无缝切换,并利用参泽 rt 的优化能力。三、灵活的部署选项 探索 rt 提供了多种部署选项,已满足不同的需求。它可以作为一个独立的推理引擎使用,将优化后的模型直接部署到生产环境中。 此外, cancer r t 还提供了用于部署分布式推理服务的 tensor r t inference server, 可以通过网络接口提供高性能的推理服务,支持多个客户端同时进行推理请求。四、 支持多种网络层和操作探索 rt 支持多种常见的网络层和操作包括卷机持化、归一化、激活函数等。它还支持动态形状推理,可以在运行时处理可变大小的输入数据。五、硬件加速 times are rt 结合了 nvidiagpu 的强大计算能力和 times are cos 的混合精度计算,可以实现高性能的推理加速。 通过利用 gpu 的并行计算能力, chanzerrt 可以在短时间内处理大规模的计算任务。总而言之, chanzerrt 是一个强大的深度学习推理引擎和部署平台,可以实现高性能、高效率的模型部署。 他通过模型优化和 gpu 加速提供快速的推理速度,并支持多种深度学习框架和网络层。对于需要在 nvidiagpu 上部署深度学习模型的应用,探塞 rt 是一个值得考虑的选择。

开发视觉 ai 应用的时候,有时候我们需要接入多路摄像头或者使用多个模型,我们可以使用 cj 加和 dipsion 来简化并且加速。首先读取一路 ipc 视频流,用探塞 t 部署一个车辆检测模型,画一个多边形边界,将上个短视频的越界效果做出来, 再接上一个目标追踪模型,便可以根据唯一的 id 来统计车流量来看一下合并后的效果。 最后配留到 r t s p 服务器便可以在多个终端查看效果。 现在我们接入更多录视频流,便可以各自分析并且显示。当然我们可以使用 dota 远程部署以及使用嵌入式 g p u jsen 部署 number 和 n x 上都可以做到实时的检测追踪。

大家好,今天来跟大家介绍一下,我们在 windows 上面去做这个 c sharp 的这个呃做优乐威五 o b b 这样的一个旋转框的一个 type c r t 的一个部署,用 c sharp, 然后我们也写的有 c 加加,所以他我们都在文字上进行测试了啊,那理论上呢,我们这个呃 c 加加的版本在内内六字上面也是可以操作的,也是可以去呃去做这个部署的 啊,我们都实测的都是在这个 windows 里面去做的这个呃部署, 呃我们这个项目呢,其实就是基于开源的这样的一个,大家可以看到这个 kit home 上所有的微五 o v b 最最多的这样的一个 star 的数量,就是我们用的就是就是这个作者的就是叫这个胡凯旋一九九七名啊, 比六二七这样的一个框架用它去做了一个呃探测 r t 的一个部署,然后我们的这个测试环境呢,大家看到我们的测试环境使用的是这个 windows 十啊,大家看到我们这个环境呢就是 windows 十,然后我们使用的是扩大十一点一和八点二点零这样的一个版本, 然后我们特斯拉定的时候是八四二四啊,理论上呢就是很多版本都是支持的,像八点六啊,八点二啊,八点几的应该都可以啊。 然后我们这里面呃,因为呃我们使用了 c mac 啊去做的这个项目,所以我们这个 c mac 呢,使用的是三点二十二点三这个版本,大家可以呃依照这个啊更高的版本啊,或者稍微低的版本都是可以的。 然后我们测试的环境呢,都是用 vs 二零一九区做测试的,所以大家呢最好要对应版本,不然 有些东西不兼容啊。首先呢大家看到啊,这个就是我们的一个项目的一个原码,我们都已经给大家组织好了,这个就是我们的一个组的原码。 然后呢我们这个,呃,这是我在我电脑上做编译的去做的啊,大家看到这个就是,呃,用 c r 幺去做的,大家可以看到, 呃,我为了演示了,我就把一张图片转成视频了,所以转成一个四十秒的视频,大家可以看到啊,这个就是他对一个视频进行实时检测的一个效果啊,他这个帧率大概在五十多帧 fps 左右。这个腾达 t 啊, 呃,这个就是我们真实的这样的一个测试的结果啊,它的这个 f p s, 它就是这么,就是这样的,就是这样。 哎, 好,呃,大家看啊,我们这个我看一下。 呃,我们的这个这个视频啊,就是它,就是它这个,大家看到这个就是我们整个的这个视频, 大家看这就是我们的一个视频啊,我们的视频呢就是一张图片转型的,所以大家可以看到这上面是没有框的,这说明我们 c i r 是可以的去实现的,这样呢就实现了一个 ten 三二 t 的一个步数。 呃,大家可以看到它这个我因为我使用的是 ulov 五 s 这样的一个版本去做的部署,大家看到它的这个整体的帧率啊,不会很高啊,很高。然后呢我们也使用了这个 c 沙布局做的一个布索,大家可以看到这个是我们用 c 沙布局写的。 好,首先我们打开用 vs 二零一九打开我们的这样的一个项目, 呃,我们的采用的方式呢,就是用 c r r 的这个库啊去调,然后用 c shop 去做这个调用,调用 c r r 的库,所以我们这个 c shop 的调动也是特斯拉 t 的一个模型。嗯, 大家看到我们这个框架呢,就是我们的这个 c 纱布使用的框架呢,是使用的是这个 是四点,大家看啊,是四点七点二,这个就是我们 delet 的一个版本,四点七点二, 那如果说你是四点六应该是可以的,都是可以的,但是你要匹配到它的这个 open c p 上的版本啊,我们重点使用的是 open c p shap 这样的一个库啊,所以做的 这样的一个调用,所以大家一定要注意一下,我们这个版本最好是要对应,不然的话他很难跑起来。 好,这个就是我们这个做的一个简单的一个界面啊,就是一个图片,还有一个视频, 然后我们这个图片来,大家看到我们这个封装以后啊,大家看到我们把它封装好以后,他直接就是构建一个对象啊, details 对象,然后把这个他的这个 呃探测 it 模型传进去,然后构建一个对象,然后我们用它去做推理啊,把推图像扔进去做推理啊,我们直接就是用的这个 open cps up 的一个类型,直接送进去做推理, 得到一个结果啊,然后我们再把结果做一个绘制啊,基本上就可以完成了,这个就是我们的一个呃,他封装的,对,看我们封装以后呢,就是这么简单的断码, 我们就可以实现 ulov 我这样的一个旋转框的这样的一个部署,然后呢我们使用的视频呢,也是使用 obesce shover 库啊,它们的这个大体的流程是一样的,主要是用它这个 obessevesover 里面去 去取这个图像,就是取视频里面的针啊,取视频的针,然后对视频的针里面做推理,做绘制,这样的这个情况。好,我们看一下这个效果。 好,我们首先我们点这个图片啊,大家看到啊,他正在加载模型,然后因为这个图片比较大,大家看到这个图片把我的屏幕都遮住了,因为他这个已经超过了幺九一零八零的分辨率啊,所以他这个 比较大,大家可以在这个右下角可以看到啊,他已经框出来了,说明我们这个是没问题的。然后我们再看一下视频。好,大家看到这个就是我们的这个视频的小 效果了,他可以把这个视频呢实时的用旋转方的这个呃,把它实时的绘制出来,大家看到这个就是我们实时的简单的一个结果啊,他的帧率还是非常低的, 因为它这个是这样的,因为它这个呃, c 加加里面,它要 c 沙包和 c 加加做交互的时候呢,它有一个图像的转换过程啊,所以它的性能折损是比较严重的啊,基本上是呃,折了一半, 呃,所以说啊,它这里面有 c 插板,里面有些东西呢,它确实是呃,呃,它确实是有性能的征求,但是 啊,这个就是我们真实的测试的这个结果,这个也做不了假,他就是这样的一个结果,嗯, 呃,当然我们这个测试的这个真率啊,大家要注意 下,大家可以看到我们这算 fps 怎么算的?我们是把这个整个的前处理,后处理和绘制图像都算进来了, 都算你都算是算成这个 ips 了,所以说呢,呃,跟网上的有些东西,网上有的一般的话,他只是把推理的时间 作为这个 fps 统计啊,这样的话,呃,可能会更快一点,因为我是把这个所有的推理的时间都给他算上了,就是前处理,后处理还有推理还有绘制图像都都算上了,所以他这个慢是正常的,所以大家不要奇怪。 呃,不管怎么说啊,我们这个地方呢,已经实现了它的这个 c shop 的这样的一个呃, uv 五的旋转功能,这个部署啊,而且我们也成功在工作上面进行运行的,所以大家可以看到,呃,只要啊,只要使用这个代码的话,只要训练这种模型也是可以非常好的去做部署,非常好的做部署。好,我们的这个介绍呢就到此结束,欢迎来到直播。

你好,我对 tenso r t 并不了解,你能帮助我了解一下吗?当然可以。 tenso r t 是英伟达推出的用于深度学习模型优化和加速的库。它主要用于将训练好的神经网络模型转化为在 gpu 上高效运行的模型, 从而提高推理性能。这听起来很有用,但为什么我应该使用 cancel 二 t 呢?好问题。 cancel 二 t 的一个主要优势是,它能够显著提高深度学习模型的推理速度, 这对于实施应用非常关键。他通过各种技术,如权重和曾融合、精确度调整,以及多个推理优化策略来优化模型。 这听起来很复杂,那么 tenso r t 适用于哪些应用呢? tenso r t 适用于各种 ii 应用,包括计算机视觉、自然语言处理、语音识别等。它在实时目标检测、图像分 分类、语音合成等方面都有广泛的应用。那如果我不是专业的 ai 开发者,也能使用参 sort 吗?当然可以。 incider 提供了一于使用的 tansler tsdk, 它可以与主流深度学习框架如 tensorfoe 拍 touch 等集成。你可以使用它来优化你的模型, 而无需深入了解所有优化技术的细节。这听起来很方便。 tenso r t 是否只适用于 anvidia 的 g p u? 是的, tenso r t 专为 n v d a g p u 设计,因此最大的性能优势会在 n v d a g p u 上实现。不过,你仍然可以在 c p u 上运行 tesor r t, 但性能会受到限制。谢谢你的解释,我现在更清楚 cancel 二 t 的作用和优势了。不客气,如果你有任何进一步的问题或需要帮助,随时向我提问。

现在我们来讲解一下沃克这个函数他到底干了什么?在我们之前讲我们的 推理器 infer 啊,创建成功了之后,他其实是前面无论他创建成功还是失败,这部分的代码其实描述的是他创建成功或者失败的一个状态,他创建成功了的话呢,他就会立刻去新建一个啊 vector, 这个 vector 呢存的都是赵, 然后这里有个 fact, jobs 是这个工人来管理的,然后呢他就进入到这个循环里面,在这个循环里面我们其实可以看到一上来他就会有一个锁,然后 这个锁他就啊接下来是 c v 点位,这个是什么意思呢?意思就是说他这里有个语法点,也就是说后面这两个内这两个条件,这是货,要么但凡有一个是处的话,那么这个语句就不再等待,就不再位,他就会运行下一个语句, 所以这里是一直等着,就一直卡着。如果我们的啊推理器不再运行了,那么他就继续往下走,不再运行之后,然后他就 break 就结束掉循环。或者说 一旦我这一个啊 jobs 这个包工头管理的这个 jobs 队列里面一旦有东西,一旦是飞空的话,那么他也继续往下走,运行下面的这些东西。那我们主要看一下后面这个,那他继续往下走了之后,假如说包工头这边有有四个,有四个 job, 要有四个 job 之后呢?然后他就开始循环,他现在干的事情就是 假如说我这边有四个 job, 然后他 fetch jobs 就会去不断的从这一边去填我这一个 job 过来这边 in place 相当于是 push 去填他过来这边,然后这边 jobs front 的意思其实就是拿我们这个队列里面最前这个 vact 啊,这个队列里面最前最前的一个,然后他 in place 过来了之后呢,与此同时 jobs 这边也要 pop 掉一个,就是他每次过来一个,我这边就要 pop 掉一个。 干完这个东西之后呢,我们的四个,就四个 job 就会到我们的 fetch jobs 这边,接着我们看这里,我们对会对 fetch jobs 这公园里面的啊这堆东西,假如说他有他有四个, 我们会对他全部的进行一个啊批处理,然后去推理,推理完了之后呢,我们会把我们 job 里面的这一个呃信息给返回去, 通过 set value 的方式啊去返回去,到时候我们就可以在外面用啊 get a, get future 去拿到处理完预测完之后的一个结果,它放在 job 这一个结构体里面,结构体的实力里面,这就是 work 干的事情。

今天给大家聊一下山东学习部署的主要的平台以及他所对应的框架有哪些。第一个就是这个英美达的 gpu, 嗯,比如说所对的框架,比如说有这个咖啡电子二 t 以及 tf flow。 第二个就是英特尔的 cpu, 就是 opa vino, 呃,这个框架以及咖啡这个框架。第三个就是这个 m 了,比如说腾讯的 ncn 以及 tflight, 嗯,最后一个就是这个 fpj, 比如说这个 xl 零四,这个框架他主要是应对掐住市场,其中这个就是 gpu 和酷达的一个特斯 rt, 在服务器、高线上计算以及自动驾驶领域有着广泛的应用,这个就是常用的四种这个社会学习模型步数的平台。

今天我们来看一下 ct 家如何在嵌入式 gpu 上部署车牌识别模型。首先需要标注大量车牌图片,个人很难收集权,我们可以使用 python 根据国标来模拟生成,再训练一个车牌识别模型,使用 deep screen 再接上其他人训练好的车辆和车牌检测模型, 可以看到,只要车牌检测出来,基本上都能识别正确,但绿牌位于边缘的车牌漏检率较高,看来还得采集些绿牌的图片重新训练检测模型。既然这样,我们可以直接简化成二阶段,再来看一下效果。 最后使用刀客或者接省部署并且推流,便可以在多个终端查看实时运行效果。

今天我们来讲一下在推理的时候怎么样使用多线程。在讲代码之前呢,我们先来做一个类比,去更好的理解我们整个设计思路。首先我们有一个包工头,还我们还有一个工人,然后包工头呢其实就是我们自己,我们想什么时候发任务就什么时候发任务。 然后啊这个公园呢,其实到后面是我们的一个县城,一个县城上面的一个沃克函数,他二十四小时待命。那我每一次去提交任务之后,只要说我们给一个任务啊,给个订单包包头,他接下来了,他一接下来这个任务之后呢,他就会放到自己的这个 to do list 或者说这个任务单上面, 而且这一个包工头每一次放好了一个任务,他都会去贴上一个标签,与此同时每每给一个标签, 没给一个啊,包裹贴上标签之后,他就立刻通知我们的工人,然后我们的工人呢就会过来拿,假设我们工人最多拿四个,四个包裹,然后四个包裹就拿到了公园自己的一个图图里程里面。 接着我们工人就要去加工我们的东西了,那加工完这几个之后,因为之前我们贴的这一个啊纸张其实就是相当于我的包工头跟我的工人说,哎,你加工完之后,你能不能答应我一定要啊?把这个加工好的东西放到指定的地方,或者说你交回来给我,我要给客户, 所以说要贴一个橙色的东西。那加工完之后公园就说啊,我答应了包工头,所以说我加工完之后要放到对应的一个地方要还回去。我们再次提醒一下,公园是二十四 小时代命的,工头一放好东西就立刻通知工人,放好一样东西就立刻通知工人,然后工人就过来取,一次拿,只拿一个最多啊,这是我们自定的,四个或者五个取完后回来加工,加工完之后就放到工头这一边的货架上面。 那这种方式最大的好处就是包工头可以一直不断的来接订单,然后公园呢,可以一直不断的,只要我这个包工头这边的订单他有,他有订单我就可以不断的去取,要不断的放到这边进行加工,所以说就可以尽量的达成一个类似于并行的一种状态,这就是我们的一个多线程的设计思路。
