训练好的模型怎么部署到移动端

一天学一个变态的人工智能知识第一百四十五期，这节课要讲的是帕托尔框架训练好一个模型之后进行部署和测试，时长三十分钟，看不完先收藏关注我，后续接着看 这节课，咱们来看一下当我们使用帕托尔框架训练好一个实际模型之后，该怎么样进行部署，还有测试的工作。呃，我现在大家说一下我们整体的一个流程， 首先啊，就是我们手里需要有的东西啊，第一步，哎，我们手里得有一个训练好的一个模型，这个模型啊，就是说，哎，整个模型的一个架构网络结构我们是有的，并且呢，你训练好之后啊， 咱们所有的权重参数也有了，相当于啊，我们要做的是一个测试的工作，这个是我们必要的一个前提啊，手里我们得现有模型。 第二个呢，就是不换模型还得有一些其他配置，比如说像我该说的啊，我们可能需要一个，呃，就是模型的一个架构的一个配置，比如说模型到模型啊，从前到后怎么去走？ 然后呢，根据你任务的不同，还可能需要一些其他配置，比如说你的一个识别任务，那你识别出来的结果他可能是一些 id， 我 们需要把这个 id 啊转换成他对应的实际的名字，比如说他是狗啊，猫啊？还是羊哎一些等等配置文件。 所以说第二个我们还有很多啊，咱们需要的配置文件，我们得把这一下全部的加载进来，相当于这两个是我需要有的一个东西。 然后呢，将我们手里已经有了，那一会啊，我说咱会这样，我会打开一个服务，相当于是我们做一个 server， 在 这个 server 当中啊，我们说，哎，这个 server 当中啊，一会你要实时的给我传进来，或者说是动态的吧，咱们要往里传进来一个一个的数据，所以说一个数据咱们是一张张往里输的， 或者说呢十张十张输，哎，或者说怎么输啊都行，反正一会我们会发送一个请求，一个请求就是说，哎，数据来了， 然后数据来之后呢，我会在这里啊叫做一个 server 吧， server 当中啊，他会做这样两件事，第一件事啊，他会首先啊，帮助帮把我们刚才给大家准备好的锁的配置文件锁模型给读进来， 读进来之后呢，但凡来数据了，相当于是个请求，请求呢，到我这里之后，那就输出一个结果手就好了， 好了，输入结束返回回去，这就完事了。所以说啊，咱们的一个整体流程还是比较简单的，只需要我们构建一个 server， 在 这个 server 当中去读进来我们的数据，并且呢而不是独立数据，是读进来我们的模型。 然后呢，有了模型之后，接下来就是一个一个的破测请求，来请求之后也就是来数据，我把这个数据啊放到模型当中，咱从前到后走一遍，数据完事了。所以说啊，从整体流程来说啊，跟我们就是 使用本地的一个测试是差不多的。直播说好我们部署，哎，是放服务器当中，我们把这件事啊，就是得做成一个请求啊，相当于你把模型啊放到服务器里边，然后但凡你来新数据，你把这个新数据啊发送请求，请求一下这个服务器放你的模型当中跑一下，结果你又反应回来，哎，就只做这样一件事。 然后呢，接下来我给大家说一下，就是，呃，我们要做这样一个部署啊，需要配置哪些东西？今天给大家准备的相当于是一个模板啊，就是后续 哦，你不光不管有什么样任务，来之后都可以套用咱们这个模板，比如说你是一个分类任务，回归任务或者是其他任务，咱们做法其实来说啊，都是一样的，只不过说我们构建个 server， 然后一会啊，到时候我们往里边不断的去发请求啊，这就完事了。好了，我们来说一下需要工具吧。第二工具 就是我现在鼠标在位置，我们需要装一个 flex， 呃，这个像是这样，就是你要做这个 server 啊，有很多很多种方法啊，因为 python 啊，咱能用的工具包简直太多了啊。这里选 flex 就是 一个出发点吧，用起来我觉着相对来说会比较简单，因为我也看了一下其他框架的一些模板， 呃，反正总体感觉还是这个 flex 相对来说更容易点，更比较接地气吧。所以说啊，大家需要做的第一件事，也就是在我们这个命令行当中，我把这个搜索先取消 在这里啊，你先去 p i p store 一下，然后你把这个包哎打进去，这就完事了。这我们第一步啊，先把我们的包给装进去，然后 touch 这个东西啊，我就不用去说了，你自己去 p i p store， 还有拍 touch， 还有呢，这个 touch word 当中，这个相当于是我们的一个预处理模块了， 我之前啊在讲那个拍套实战课程当中，哎，把这些模块都给大家详细去详细的去过了一遍啊，如果大家啊对于我们今天这个拍套框架不太熟悉，我建议大家先去看一看我那个拍套实战课程里边啊，所有模块咱都有啊， 说，反正就是你现在这个拍的环境当中，哎，都有两个东西，第一个是三个东西啊，第一个 flex， 这我们需要我们自己装的第二个 touch ps store 一下。第三个 就是我们这个 to word， 因为我们现在啊做的是一个图像数据集，所以说一会儿呢，我们跟实际测试的流程是一样的，图像或者说我发送一个 pos 的 请求，请求过来的时候，那它就是一个路径，或者说我们读见一张图片，读见一张图片之后啊，当这张图片输入到网络名称之前， 我们还需要各种各样的预处理操作，所以说需要我们有这样三个包啊，这是大家第一步需要去做的，呃，在这个 p i p 当中啊，把我们所有的环境啊，咱们都要给它配好了，这是我们第一步把我们的一个环境，哎，大家先都给装上， 然后呢？装完之后，哎，装完之后我大家这样吧就是，呃，这块我跟大家简单唠一唠，因为 floss 这个东西，不是啊，咱们这个生活学当中一些比较重点的，所以关于它的一些细节我不给大家介绍了，只要大家能跑起来就完事了。 只是一个，就只是一个构建我们 server 的 一个小工具而已，我们并不是实际啊，去做一个 web， 去做一个界面，还有搞一些其他东西，我觉得这太麻烦了，一会我再给大家演示一下怎么样去进行部署，并且呢进行一个 pos 的 访问，哎，这就完事了， 好，首先第一步啊，就是构建我们的 app， 哎，抽象咱们这个 flag 这个框架当中的第一步吧，哎，基本上我们第一步都是去先抽象一下， 然后呢注册完之后，接下来就是我们需要去指定当前我们有哪些个函数了，这里啊，我给大家就是按顺序吧一个来介绍一下，然后最后呢我再给大家穿在一起 啊，前面两个参数一会用。咱们先不管，先说第一个函数，第一个函数啊，就是我们打开了一个叫 imagineite class， 点 t i t， 他 这里边是这样啊，这里边存的是我给大家看一看，就是这个点 t i t 文件，这里边存的就是我们所有 imagine net 这个数据当中啊，比如说一千分类嘛，咱们所有的一个类别的标签了，你看这块有一个零，这块有对应它的类别，一，对应类别，二，它对应类别，这块相当于是呃，我的一个 id 跟它实际名字的一个映设。 因为一会啊，我们在神经网络啊，做预测结果的过程当中，返回的结果是一个 id 值，或者是叫一个缩影值吧，咱们得把这个缩影值给它转换成一个字典映设。所以这里 啊，我先做了一个字典，非常简单啊，你打开这个贴贴，然后去执行一下，执行完之后就是把每一行我做成一个，呃，一个 id 就是 一个 key， 一个 value， 做成个字典就完事了，就是一个 id to label， 哎，我们做一个字典就行了。 接下来接下来呢是加载模型，加载模型啊，这也这样，呃，我们今天给大家演示这个任务啊，相对会比较简单，然后，然后之后我给大家再演示一个物体检测的，演示个比较难的， 对一个比较简单的，我们就直接用一个 portrait model 了，相当于 imagine 当中啊，咱直接啊用人家官方训练好的，这个就是大家也不用自己去定义模型了，你也不用自己去练了，我们直接去下载一个，在这里，这样 我把这个瑞斯莱五十就是导进来了，它是在这个他主任务当中啊，相当于是一个预选模型，就是说，呃，别人在这个 imagine 当中啊，已经训练好了，用这个瑞斯莱五十，然后去训练模型，然后我们可以给它下载下来。在这里呢我们直接做一个加载， 做完加载之后啊，就相当于，呃，我这个网络结构我是有了，并且呢在这一块我指定了参数，就是一个 prune 的 等一个处，他的意思啊，就是说，呃，咱这个模型不光把这个模型我们要大写出来，然后呢这个模型当中啊所需要的所有的权重参数， 就是各种层吧，卷基层，哎，一些各种全，各种各样题，特定的层当中我们所有需要的参数他也会下下来。 这个当大家执行过程当中啊，就是如果说以前没下过，他会手动的帮你去下载，然后下载速度可能会挺慢的啊， 然后我这块我用用，我能连外网，所以说我速度会稍微快一点，我一到时候会把这个下载好的文件提给大家，我跟大家说一下。就是，呃，如果说你不想在线去下载，你需要把这个文件放到什么样的位置？我给大家打开来看一下。 在这个 c 盘当中啊， c 盘当中，然后一个用户或者是一个 user， 用户 user 当中，然后你找你的一个用户名，你叫什么名字，然后接下来在这个 catch 当中，哎，就是这里 catch 当中我给大家放大一点，在这个 catch 当中我们双击一下， 双击完之后呢，然后有这个 touch， 是 吧？好了， touch 完之后，然后进入这个叫 check box， check box 当中啊，就是，呃，你下载的所有的预算模型，它全部的都放到这里了， 比如说今天啊，咱们要用的就是这个 race 五十，到时候啊，我会把这个 race 五十啊给大家上传到网盘当中啊，呃，不建议自己下载了，你在这个 id 当中啊，如果说你自己执行一遍，下载速度会非常慢啊，所以说我会把这个 race 五十听给大家，到时候大家需要大家去做的就是 你把这个文件从碗盘上下载下来之后，然后放到你对应的位置，比如说我这里就是用户，然后用户名，然后开始当中 touch， 然后 shift 当中复制粘贴一下，哎，就完事了，放到我们对应的一个位置，这是需要大家我们做的第一件事。 然后呢，做完之后，这个就相当于啊，我们已经有了模型了，并且有全数参数了吧，好了，把模型给读进来了，并且啊，这里啊，就是我设计了一个，它是全集变量，因为后后面 我们还是会用这个 model， 因为后面我们要走一遍。强调专播嘛，我也是写到了一个，呃，函数当中，就我们服务当中啊，所以说我把它先定义成了一个 global 的， 到时候我们会直接来调用。 接下来接下来我们就想一想，就是现在啊，我们部署一个模型，然后我要去做一个测试，做测试，做这个测试过程当中啊，我是不需要 对这个模型哎有任何改变，说白了我就不需要去那个做一个权重参数更新吧，所以说把咱们 model 的 格式啊指定好，哎，你是一个训练的还是一个测试的，我们只应成测试的格式。然后接下来呢就是， 呃，看大家吧，如果说你们装了这个 gpu 选项下就是 use gpu， 因为一开始啊，它会先去指定一下你是用 gpu 来去做的还是用 cpu 来去做的， 因为我这个是用 gpu 来去做的，所以说我把这个 model 点扩大一下，相当于啊，在 gpu 当中我去执行了，因为一会我们要走其他传播嘛，在 gpu 当中去执行。如果说大家，呃，你没装这个 gpu， 你 把这个东西啊自己设成一个 false， 哎，就完事了。 好，接下来接下来呢，就是我的一个数据处理，现在相当于我的整个模型啊，我已经给他写好了，一会吧，加载模型其实很简单吧，就是加载模型吧，然后呢，对于所有，呃，就是这些任务来说啊，我觉得稍微比较麻烦的就是一个数据预处理任务了， 当然咱们今天这个任务啊，就是一个图像分类任务，可能比较简单，后续我会给大家演示个比较难的，叫做一个，呃，用那个优喽框架去做一个物理检测的，然后咱们去做部署，那里边需要预处理就比较多了，预处理啊就相当于就是 你训练的时候，你对这个数据啊做了哪些个事，咱们部署啊和测试过程当中都是一样的，其实部署就是做测试，只不过说把它放到那个服务器当中了。这里我们也需要对数据做一个预处理，为大家解释一下这其中啊，我们都需要做哪些个事。首先我们写了一个预处理的函数， 在当前这个函数当中啊，就是传进来一张图像，然后再传进来就是你要把这张图像做一个小于 unk， 大 于一个多小啊，比如说二五六乘二五六的。然后接下来 接下来这一步操作啊，可能就是，呃，跟不同的一个框架可能不一样的，有的框架是二 g b 的 格式，有的框架是 b g r 的 格式，可能是不太一样。 有还有呢，有的是 chanel first 的， 还有 chanel last 的， 这个得根据啊你使用的一个框架来去指定。咱们今天要给大家准备这个模板，我们是用派套去做的，你往其他框架去套啊，也行，但是处理方法是不太一样的。这是我们第一步， 我们先要对数据啊读进来，并且看一下我们的一个数据来说啊，他的一个格式，哎，是否是我们所支持的。然后接下来，接下来我们需要把数据啊转换成我对应的一个大小， 这里啊就是啊，你自己去输入你的一个它的 size， 它是等于多大的？比如这里我们用那个 imagine 代，是吧？所以说到时候啊，我们实际指定的是一个二十四乘二十四的，因为我们训练的就是二十四乘二十四的。这第一步把我数据啊做一个 resize 操作，哎，使得我们数据啊能去输入到网当中，然后呢？接下来 resend 完之后还，然后 resend 完之后还没完，就是你用这个 padchat 啊，之前我在 pad 当中肯定也说过一句话，就是一切都是 tensor， 你需要把一切但凡输入模型当中的数据啊，全部转换成一个 tensor 的 格式，这个都是基本处理操作啊，也没有什么太难的，就是就是正常的一个流程吧，然后接下来就是一个命，还是 t d， 它是这样，我给大家说一下，就是 imagine net 那 个数据集当中啊，呃，它原始怎么去做的？人在训练过程当中啊，就是，呃，所有的图像数据 先做了一个归一化啊，做完归一化之后，然后再做了一个标准化，归一化就是零到一之间嘛，除上二百五十五，然后标准化就是一个 x， 然后就是各个各个每个通道分别去做 x， 减去一个 m， 然后再比上一个 s t d。 在 这块你看我们做了一个也是啊，这样一个预处理操作， 然后预预处理操作当中啊传几个值，哎，大家可能觉得挺奇怪，我给大家说一说，这个是一个命啊，解个谜得了均值，这是一个 s t d， 一个标准差。大家可能会问啊，这块为什么有三个？因为我们是有三个颜色通道吧，咱们要对三个颜色通道分别去做，所以说有 r 的， 有 g 的， 有 b 的， 哎，分别有命，还有一个 std 值，那大家可能会问啊，这些值哪来的？哎，这些值啊，就是原始的那个 emoji 当中啊，比如说人家有一千万张数据， 人家在训练级当中已经帮你算好了这个缪值，还有这个 s、 t、 d 值，它是等于多少的？所以说在这里啊，咱们，呃，但凡在做测试的时候是这样， 就是测试级的时候啊，我们要用的东西是跟训练级是一样的，训练级当中，哎，我们用的一个均值和变量差这些数算完了，那好了， 测试级咱们用的一个方法也是一样的，也要减去相同的一个均值，再比上相同的一个标准差，所以这里边这些值相当于都是一个鲜艳的了，都是你炫技当中咱们已知的一个信息。 好了，接下来，接下来就是也比较简单啊，就是把我们的数据然后判断一下啊，这块再加一个维度，加维度意思啊，就是说，呃，因为咱们正常输入的数据啊，会需要有一个 bios 维度，你测试一张图像，那其实也无所谓了， 但是我们也可以测试两张，在这个电脑当中啊，我给大家演示的就是，呃，一次测试一张，到时候大家你们可以改啊，如果说测试一个 bug， 其实也是一样的，只不过返回结果更多更多了而已，这个意思。 然后呢，如果说咱们使用 gpu， 不要忘记就是，呃，当我们用这个 bug 过程当中，你需要既把 model 点库打一下，还需要把我们的 x 就是 一个数据点库打一下啊，把我们的 imagine 点库打一下，这就完事了。 然后呢，接下来设置一下当前这个东西，哎，我说他是不要求导的啊，这个基本设置就完事了，这是我们的一个图像数据啊，写了一个他的基本预处理操作，然后接下来呢，就是我们的啊这个服务了， 我们要开一下这个服务啊，开服务啊，其实，呃，很简单，我给大家先把这个函数完吧，开服务当中，这个相当于就是呃 flash 当中啊，给我们所特定的这个 gopro 的 意思就是说，呃，一会我会开一个， 就是，呃一会就就这个开一个 h t d p， 然后你这个端口五千，然后杠杠这个 project， 他 是这个意思啊，我就不给大家演示啊，就是在浏览器当中我们做这个图片上传了，因为你要在录浏览器当中做图片上传， 呃，你还得把那个前端那个东西，哎，前端东西我尝试一下，截起来挺麻烦的，我不想写这个关于前端东西了，所以说我就给大家一会咱用命令行演示啊，如果大家你们想把这个前端 呃做的更好一点，你可以在这里啊，就是做一个前端框架，然后在那个删图像当中，你自己去浏览，然后上传也行，做个界面。但我觉得没必要，我只给大家演示一下，就是我们这个服务怎么起，然后怎么样去做步数。 在这里呢，我们定一个名字，这个名字随便啊，不一定非要是跟我们这个 protect 它是一个名字，呃，什么名都行，你自己喜欢名就行，但是上面这个东西 你不要去改啊，然后你可以改这里边的，你可以去改这里边的，相当于是，呃，你在那个 h t p 当中啊，哪一个就是杠什么下，然后去做咱们这件事，这个你可以改，然后 master 这个东西你也不要改了，就是一个 post， 这个就是这些就不建议大家去改了，然后这个函数名字你想改什么这都无所谓。 那接下来呢？我做一个字典，做个字典啊，就是我现在有个 data， 我 指定一个 success 等于 false 的 意思，就是说，呃，现在还没有传进来一个 pos 的 请求，然后但凡传进来之后，我输出结果之后， 我再把这个 success 啊指定成一个触值，哎，当做一个返回，因为我返回的时候要判断一下是否得到一个结果，所以这块呃相当于就是一个，呃，就当一个标志吧。一会我要做一些判断， 然后接下来，接下来在这里啊，就是，呃，因为我们一会要开这个服务，开这个，只要你把这个服务开起来之后啊，你看他可以源源不断的去接收啊，各种各样的请求。所以说接下来我要判断啊，但凡我来了一个请求之后，你看这里我写了，但凡我们这里收到了一个部署请求之后， 并且呢我去在这里做判断了，呃，这里写的比较简单啊，就是咱们这功能也比较单一，也其实也没有什么功能， 就是在你这一个 request 当中啊，然后做判断，然后因为我们一会还会写一个，就是，呃，相当于这是接收端吧，然后一会还写一个发射端，在这个发射端的过程当中啊，我们也会传进来一个 youmaker， 然后一会比如说这里，他就是说，哎，如果说我们收到了一个 youmaker， 我 们到时候会传进来一个图像路径啊，这是说这里，就是说，哎，他收到了我们的一个请求， 然后呢说我们请求之后呢，你就读呗，好了，第一个步把我们请求读进来，然后第二步呢，把我们请求的数据，然后说转换成咱们到就是用那个，你买准这个包， p l 买准那个包，然后把数据读进来，这是第一步我们把数据给读进来， 然后呢，数据读下来之后，那上面咱们是不是写了一个数据，呃，一个预处理函数啊？还有这里我说把这个预处理函数咱们指定好，哎， 怎么取消了？在这里把预设与函数实现一遍，相当于读件数据啊，走了一遍咱们的一个预处理操作，做完预处理操之后，接下来我说我要得到了一个结果，得到结果现在是这样，就这里啊， 看你那个呃网络的一个架构吧，咱们这里就是拿件网络架构，他是没有最终做那个 sort max 的。 如果说你的网络结构当中啊，已经包括了最后的 softmax 啊，你就可以不加我们代言这一步了，咱们这任务当中还没有去加，所以说这里我说给他加上一个 softmax， 相当于我把最终的一个特征拿出来之后，我说对这个特征啊，做了一个多分类啊，就是做了一个 softmax， 做了一个分类任务， 然后呢，做完分类任务之后啊，接下来就是你可以自由发挥了，你想去得到最高那个概率，还是得到一个 topk 的， 在这个 topk 当中啊，他直接有这个函数啊，就是一个 topk 啊，你可以去选，你想得到它属于最高的三个概率，比如一张一张图来之后，我会得到它属于哪三个类别的可能性是最大的，并且呢每个类别可能性我是都拿到手的。然后接下来就是 result 当中啊，就是你要的一个返回结果了， 在这里呃，不同的任务啊，咱返回结果是不一样的。在这里我就是呃一个类别的名字，然后一个他的一个 id 就 完事了， 后续要给大家演示那个物理检测的时候，他可能就是呃一个，他可能就更多了，可能还有些坐标的，这个就是看你的一个任务，来吧啊，不同的任务，你自己设计好他的返回值，就相当于是呃你要什么，咱服务器给你返回的一个结果，哎，这就完事了。然后接下来 我把这个返回值的结果传到这个代码当中了，我说哎，这个 resource 他 不是呃我的一个结果吗？我说行，我说在这个代码当中啊，我先构造一个 protections， 他 就是哦最终的一个结果。然后呢，我说便利一下， 便利一下，这里啊，就相当于是我得到啊，每一个他的一个类别，还有他的一个概率。然后呢，把他的 id 值实际的转换成他的一个标签值，然后并且我把当前这个数据怎么样传到我这个 protection， 就这个 production 当中，因为这是个绿色结构嘛，相当于啊，我的一个结果就来了，因为这里我们是有多个结果的吧，咱们指定了一个 topk， 所以 说是多个结果，我把所有结果都封装到这个 data 当中啊，像这个 data 里边，我原来原来就是一个 size 等于一个 false， 现在多了一个 protections， 我 的一个预测结果。 好了，接下来我说现在啊，已经是预测完了。然后呢，预测完之后，我在这个 data 当中把我们之前啊设置这个标志位 之前，我们是不是把它设置成一个 false 吗？那现在，哎，他是不是处理一个请求了？虽然说我们这请求写挺简单的，也没做太多的过滤啊判断，只给大家举个例子。然后接下来我们把这个值设成处值，相当于怎么样 把这个请求咱要做完了吧？请求做完之后，我说把这个 data， 哎，用一种 json 的 形式给它返回回去，这 就完事了，这个就是我们的一个呃，服务器端，就相当于开启服务当中啊，咱们需要执行哪些操作？其实从整体来说啊，还是比较简单的，只要你把模型训练好了，预处理，然后你都写好了，咱们就开个服务，然后去呃，等你传进来路径，然后把路径 读进来，把数据读进来之后，然后走一遍，咱先要传播得到一个结果，哎，这就完事了。这个就是呃，咱们这个开启服务当中，就我们服务当中需要去做的一件事。然后呢在面授当中我们指定一下， 在这里一开始就是去打印一下啊，当前我们这个服务已经开了。然后呢第一步，第一步不要忘了，就是我们先去加载模型，然后才能去开你这个服务，因为得有这个模型啊，你这个服务才能去用。所以说咱这是两步操作吧，第一步 加载咱们的模型，第二步 app 转，就是去执行啊，就是咱们这个服务直接就开起来了。这个就是给大家先解释了一下咱们的一个代码啊，从量来说也没多少量。然后呢我给大家演示一下吧，该怎么样去用， 呃，打开命令，行，这里就是，呃，你在这个 windows 还是一个零点下都无所谓啊，因为我们代码是一个通用的 windows 啊，就是在这个 windows 当中咱也能用啊，因为我们是直接写了 python 脚本吧，也不是什么假一次式的。好了，然后我们进入到当前的一个路径当中，哦，我得 我看看这是哪个路径？在这个 app 当中，然后我看一下叫那个 model 啊，这个文件夹，这个文件夹当中然后有一个 python model， python model， 然后这里我们执行一下，就是这个 run python server， 来执行一下 python， 就是 我们当下给大家说的，哎，这个文件夹叫做 run python， run python server， run python， 哦，不是还得再进文件夹当中， 然后这里我们执行一下，呃，执行一下当前， run 一下我们这个 server， 然后启动一下，启动过程当中啊，它就会呃给你弹出来当前的呃两句话，第一就是我们该写的 print， 然后它下面会打印出来当前的你的一个呃 y r 得多少？这个我们不在浏览器当中去访问了， 因为前端呢，我们没有没有去写啊，写起来比较麻烦。行了，这个服务只要是遮到这里了，他相当于就一直开着了，我们就不用去管了。然后接下来我们来给大家说一下啊，就是起端服务之后，呃，我们该怎么样去用这个东西？ 用这个东西啊，其实我觉着更简单了，用的话，呃，就是，呃，你去传进来一个请求，就是往里传一个请求，发一个 pos 的 就完事了。然后给大家说一下怎么去写啊？就这几个代码比较简单。 然后第一步就是你把这个 url 指定好， url 在 这块有，你一启动完之后，这边是不是有啊？幺二七点，就是这里我用我本机啊，然后到时候大家，呃，你们要用其他一批，你这个都，这个是需要在那个 plus 快 二当中啊，你自己改一改，我就拿我这个本机给大家举例子了， 然后这个幺二七点零点零，然后点一，然后这个端口直接拿过来，然后呢？不要忘记啊，就是杠这个东西，杠这个东西它是什么？就是你这个色温启动的时候，呃，在这里， 在这里你指定的这两个必须是一样的，你看我这块指定的跟我们之间所有当中是一模一样的吧。好，第一步把我们这个 url 指定好，因为一会我们要拿这个 url 去发这个 post 的。 然后呢？指定一个函数吧， 在这函数当中，呃，其实他又做了非常简单一件事，这个函数里吧，我给大家先说一下面函数吧，面函数这样，面函数这样就是，呃，一会我会 执行一下这个还执，就执行下这个文件，在执行这个文件当中啊，我会传见一个参数，传一个参数啊，就是就这里啊，就是刚刚 fill 他的意思就是说，呃，你需要指定当前的一个路径，比如这里我说这里有狗，一会我指定狗这张图片，他的路径就完事了。 然后接下来指定完这个路径之后，我会就是发送这个请求，在发送这个请求的时候，他是这样，他是啊，先去给你读一下啊，当前你写进来的一个路径是等于多少的， 然后呢？有了写路径之后，他说把这个路径啊，就是，呃，封装到咱们字典当中，用这块写了 imagine， 这块是不是也有啊？ get message 当中也有 imagine 吧，然后这块我们这两个得是一个一致的，这是我传下来一个路径， 传一个路径之后，然后那我们就直接传就完事了。直接啊，在这个 request 当中，你去执行一个 pose 的 方法，在这个 pose 里边我们第一个参数就是该写的这个服务必须是一模一样的，哎，这是我们的一个服务， 然后呢，你再起，再再告他一下，你发什么东西，我们就是不是啊，把这个路径给他一发啊，就完事了，这是我们第一步啊，先去发送一个 request 请求， 然后呢，这个发过去之后啊，他就会在这个，呃，这里他就接受到了，因为这里他判断了，如果说啊，就是来这个请求是个 pos 的， 并且是个 imagine， 然后他就会执行，哎，这一些操作吧。执行这些操作之后，执行完之后， 我是不是有一个结果了？我是不是要把结果我再显示出来啊？所以说结果咱们来看，在这里啊，我们判断了一下，这个 r 相当于，就是，呃，我们这个返回结果吧，就是这里 咱是不是指定了一个 data 啊？因为你看最后我们是把这个 data 返回去了吧，他会判断一下，在这里我先判断了一下，就是这个 data 当中啊，这个 r 就是 那个 data， 我 先判断一下这个 data， 哎，是不是一个 success， 因为 success 才相当于是他走了一遍我这个网络的一个强传播，哦，得到这个结果。咱们刚才说那个标志位， 如果说呀，他成功之后，我说我接来啊，在这个 r 当中就是 d r 里边，我们之前不是写了吗？ r 里边我存了一个，就是预测结果，在这里我说我把这个预测结果啊，请求请求完处理完之后给我回来了，回来之后呢，我把它打印出来啊，就完事了，相当于啊，我会得到一个结果， 这就完事了。这一个就给大家演示了一下，就非常简单，咱们就可以去发送个请求，然后我就传建一个路径传给他，然后他会帮我们把这个结果，哎给输入出来啊，就是打印出来就返回来，这就完事了。然后呢给大家咱们执行一下吧。呃，在这里我先写下配置，呃，先转先转一下。 呃，然后呢，我们来写一下它这个配置，写它这个配置当中，你看这会写了就是要 cocfo， 然后给大家放大一点， 这里刚刚最好就是你写他的一个路径，你可以写一个 kite， 点 jpg 或者是其他图像也行。那我们先就先拿这个猫为例子吧，然后到时候大家写好路径，哎，就你这么写也行，或者说你你再开一个命令，行，在这个命令行当中你再执行也行。我这我就不开了，直接拿这个 id 给大家演示吧。 到这里咱们来去执行一下，该是不是想好参数了，直接转一下当前的一个判断文件就完事了，你看执行完之后， 当前他是不是给我返回值了，然后当前他是属于，呃，这是前面这个文，前面这位不认识什么什么猫的，是不是是不预测结果还挺准啊？这也是什么猫？ 因为在这个 imagine that 当中啊，呃，它的类别是比较多的啊，所以说这里，哎，我们写了就是得到了它属于 top k， 等于就是一共他有哪三个类别的可能性是最大的一个结果，这是一个猫，我看这里还有没有其他的 哦。 refresh 一下，然后这块还有狗，是吧？我再看下这个狗吧，然后把这个狗也传进来。 呃，重新写这个参数，然后把这个 dog， 这个狗也传进来，然后再拗开一下，再转一下，你看这个结果是不是也出来了， 它相当于啊。就是，呃，你看这块，当我们执行过程当中没有说去呃，走那个模型加载，也没有说走那些什么，就是 gpu 那 些抽象的操作吧，因为正常情况下你需要把牌套什么读进来，这些都比较耗时间吧。 但这是因为啊，我们之前在这个 server 当中啊，我们已经啊把所有就是准备工作，就是读这些东西，然后漏的这个 model。 是 不是说漏的 model， 这个东西在我这个 server 之前咱已经做完了，所以说现在我们就是等一个请求完事了，来一个请求，就是处理结果，来一个请求处理结果大家可以看，就在这里， 你看这块他也会显示出来。呃，你来了哪些请求？你看这块他不有一个 pos 吗？你，大家注意，你现在看这块他是有这么一二有三个吧。好，再执行一遍哦，这里再执行一下， 很快就出结果，然后这块你看它变几个了，是不是变四个了？就是说，呃，咱们在这个服务当中会一次处理一个请求，一次处理请求，哎，这就完事了， 这一点啊，就给大家演示了一下。呃，当我们用这个派特框架训练好一个模型之后，我们该怎么样进行一个基本的部署啊？相当于 呃，到时候大家你们在玩你们自己任务的过程当中啊，只需要改两个东西，就第一个，呃，就三个东西吧，第一个你的模型你自己加载进来啊，就是第一步加载好你的模型，第二步预处理啊，根据你训练时候怎么做的把预处理处理好。第三步呢， 就是你要得到什么样结果，相当于啊你就把服务一开，然后呢你就等待一个请求啊，当然咱们这个待会当中写的太简单了，我没考虑其他任何情况，就是写了一个简单点版本，然后这块就是写好，哎，你要处理所有的请求，并且呢你要得到什么样结果，咱做一个返回值 啊，这就完事了。然后接下来就是你去指定一个，或者说是 呃在哪块因为触发某些事件产生了请求也行。然后这里就是把一张图像我们传进来路径，传路径之后，然后传到服务当中，服务给我们返回一个返回的结果，哎，这就完事了。 好了，这个跟大家从到尾解释了一下咱们的一个服务，哎，该怎么去玩，说白了我们的一个部署的一个模板给大家解释完了。