4060显卡驱动版本可以用k模型

大家好，阿里的通易千问在春节前发布了千问一点五版本，这次一点五版本发布了六个模型，尺寸分别是零点五 b、 一点八 b、 四 b、 七 b、 十四 b 和七十二 b。 这次所有的模型都是支持三十二 k token 的， 今天咱们安装的呢是斯比特量化版的十四 b。 首先介绍一下软硬件环境，硬件呢用的是恩威达的四零六零钛十六 g 显卡， 操作系统呢是咱们国产的 dpr。 十点九，安装好了恩维亚显卡驱动达克尔以及恩维亚容器工具包， 微信把封装好的镜像上传到了达克官方仓库里，大家只需要安装好环境以后执行一条命令，就可以在线的拉取我上传好的镜像，并在自己的电脑上运行起来。如果不行 如何安装环境？可以翻看我之前发布的视频，有详细的讲解过如何安装微带显卡驱动达克以及微带容器工具包。嗯，再来说一下今天咱们测试的内容，今天测试一下千万一点五的英文翻译，嗯，和他对中文的理解以及他的文案能力。 首先我们先打开一个命令行，然后切到入的用户，然后执行一条命令 回车，然后这时候他就运行起来了。呃，我会把这条命令呢贴到 视频的描述里，大家直接执行这条命令，他就可以在线的去拉取镜像了。嗯，这个镜像呢比较大，因为他这个模型就有十多个 g， 大家最好选择在这种网络的低峰时段去执行拉取。运行好以后呢，我们直接打开一个浏览器， 然后输入幺二七点零点零点一，冒号七八六零，呃，前面的幺二七点零点零二一呢是咱们本地的回还地址，然后呢七八六零呢是他的工作端口号，中间用英文状态的冒号分割，然后回车， 我们看到这个界面呢，就是呃运行的界面了，然后我们点击这个模型，然后在这里边呢，因为我在镜像里边已经封装好了这个模型，所以我们直接选择他，然后呢注意一下，这呢我们勾上这个斯比特，然后呢把这个 这个选项勾上，然后呢直接点击这个加载，我们就看这的提示。 好，现在他已经加载成功了。然后呢我们跟他说话， 哎，我们发现我跟他说中文，然后他这时候回复的是英文，那我们这时候跟他说用中文回答， 这时候他恢复的是中文了。 然后呢这时候我们先测试一下它的这个翻译能力， 然后呢同时我们再打开一个窗口，我们看一下这个它的显卡的占用情况， 现在现存呢，它是占用了十个 g， 然后呢 gpu 占用率百分之四十二。然后呢我们让他翻译一下， 现在 gpu 跑满了，工号也上去了，显尊消耗十一个 g。 嗯，发给他的呢是一块，这个是一段，这个关于这个 kvm 虚拟化的一段一段描述，然后让他帮他翻译一下，翻译的还是挺好的。然后我们再发一个呃中文的问题，让他去看他的理解能力， 问他夏天能穿多少穿多少，冬天能穿多少穿多少，问他如何理解，他说夏天能穿多少穿多少意味着夏季高温， 人们可以根据自己的感觉随时穿衣，不需要过多的考虑保暖，主要是保持凉爽，冬天能穿多少穿多少，是说冬天寒冷，人们可以尽可能多的穿上衣服以保暖。 嗯，理解的也是不错的。然后呢，我们再来让他写一段文案， 呃，我们公司研发了一款手游，嗯，帮我写一下推广方案， 假设的假设咱们是一个家游戏公司，然后让他去写一个推广文案， 他从几个方面阐述的。我们再来假设我们是一个老师，让他写一个教案， 我们看到他的运行速度还是很快的。接下来我们演示一下如何关闭这个服务， 我们直接直行回车，这时候我们再来看一下 卡，这时候现存占用只有六百三十兆了，呃，也就是说他把服务停了，然后现存已经被释放了。 我们来刷新一下页面，这时候我们看到页面已经不能访问了，然后呢下次我们又需要用它的时候呢，我们就执行回车。 然后呢我们再来刷新页面，这时候他就又运行起来了。然后呢我们还是在这里加载模型，然后勾选页选项，然后点击页加载， 等他加载完成好，加载完成以后呢，然后我们就可以跟他继续沟通了。 通过今天的测试， 是呢，我们能看到千万不愧是咱们国内首屈一指的开源大模型，运行速度以及能力确实很不错，适合部署到本地，协助我们做一些翻译以及撰写文案的工作。 明天就是咱们的传统节日除夕了，在这里祝愿大家新春快乐，万事顺心，学业有成，工作顺利。