南海大佬深度学习夜冷工作战事业部负责人对队友 panko 与 qtian 用哪个学习并行计算更好做出解答。现在主流 gpu 主要是 amd 和英伟达,英伟达因为已经形成了 qda 的生态环境,比如丰富的数学库,各类成熟的软件包, 很多的商业软件也支持 pu 到编程。 openco 是一种通用的加速卡,不光是因为达 gpu 支持, fmp 的也支持, 但是 amd 支持的动态环境不是特别好。要是学习并行计算,还是建议从 gpu 用 q 的来学比较好。如果上手的话,一开始可以从某本 acc 切入, 随着学习的深入可以来学习 qda。 对于 emd 同时也提供了一个工具叫黑头工具包,这个工具包可以把你学到的 qda 代码直接转化到 openco 来使用,总体来说还是 qda 比较好。
粉丝17获赞120





大家好,今天要讲的内容是使用 gpu 加速模型训练。 相比使用 cpu 训练模型,使用 gpu 可以大大减少模型训练的时间,提升开发速度。在本节课中,我们将介绍如何基于拍 touch 框架使用 gpu 训练验证码识别模型。 一般来说,我们通常会使用英伟达显卡作为 gpu 的硬件基础, 我的笔记本中的显卡型号为 g force r t x, 四零六零训练一般的模型已经绰绰有余。另外,大家也可以使用 google collab 等云浮气环境中的 g p u 训练模型,使用起来也非常方便。 拍 touch 的 gpu 版本安装起来非常的简单,在拍 touch 官网中找到安装方法,这里选择安装环境为 windows, 安装方法为康大,语言为 python 等等。下方记为具体的安装命令。 在安装命令中,拍 touch 为深度学习框架, touch vigion 和 touch audio 分别用来处理计算机视觉任务和音频任务。拍 touch 扩大即为拍 touch 框架的 gpu 依赖。 具体操作如下,打开康大控制台, 使用 kona create 放进一个新的 python 环境,其中 python 版本选择三点十,然后切换到这个环境中。 由于原始的康大工具安装依赖比较慢,这里我们在新环境中先安装 manba 工具,然后使用 manba, 可以更快地对依赖进行解析,并提升包的安装速度。 完成 manba 的安装后,安装拍 touch 的 g p u 版本,安装命令从官网中复制后,将康达替换为 manba 就可以了。 完成安装后,测试拍套至 gpu 版本是否安装正确。首先 在新环境中输入 payson, 打开 payson 的控制台,然后输入 input touch x 等于 touch, 点 rend print x, 如果正常打印出张亮 x, 说明拍 touch 深度学习框架安装成功。 接着输入 touch 点儿,扩大点儿 is available, 如果返回出说明 gpu 可用。 输入 touch 点 cuda 点 get device name 零可以显示当前显卡的型号,这里显示显卡型号是英伟达 r t x 四零六零。 一般来说,将训练程序改造为 gpu 模式会包括三个重要的步骤。第一,定义设备,我们需要根据 gpu 的可用性定义一个设备对象。第二,移动模型到 gpu, 使用 model 等于 model 点 two device, 将模型移动到 gpu 上。 第三,移动数据到 gpu, 将训练过程中的数据和标签都移动到 gpu 上。 修改训练代码如下,我们使用代码对比工具一样的 compare, 分别打开 cpu 和 gpu 的训练代码, 左侧为之前的代码,右侧是修改后的代码,红色即为修改的代码。具体的修改如下,定义好吹漏的后 定义设备对象 device。 这里如果扩大可用则使用 gpu, 否则使用 cpu。 接着创建一个 cn model 模型对象并转移到 gpu 上。最后在循环迭代中将数据 data 和标签 level 移动到 gpu 上。 另外,这次使用 gpu 训练会使用一万个训练数据。为了更好的你和这些数据,我们将迭代轮数已 post 调整至五十次。 运行程序将 windows 的任务管理器打开,可以看到在使用 gpu 训练时, gpu 的使用率提升到百分之七十左右,而 cpu 不再占满这里只有百 之八。另外一万个训练数据一共训练五十轮,最后损失 loss 可以降至零。 对于测试程序,同样需要进行 gpu 模式的改造,具体的改造方法相同,修改前后的对比如下,包括三个位置的修改,分别是定义设备对象、 device 转移模型制 gpu 转移数据制 gpu 运行程序。可以看到,重新使用一万个样本训练的模型和正确率是零点九九,高于之前的零点九三三。为了更好的调试程序,可以将识别错误的样本展示出来, 这里的三个错误分别是将三识别为五,将五识别为三,将九识别为八。 那么到这里使用 gpu 加速模型训练就讲完了,感谢大家的观看,我们下节课再会。