mtp加速大模型怎么部署
谷歌刚刚发布了革命性的推理加速技术 m t p， 在 不显著增加显存需求的前提下，该技术可以把大模型的推理速度提升约三倍。 传统的大模型推理是逐个 tokin 生成，也就是一步一步往外吐字。而 m t p 的 核心思路是引入一个额外的小模型作为预测器。这个小模型会提前预测一段，连续进行验证，从而显著减少推理步骤，并大幅提高模型的 tokin 生成效率。 目前，谷歌 jama 四的 m t p 模型已经可以在多个推理框架中进行测试，包括 v， l， l， m， s， g， lan， m， l， x 以及 alma。 如果你对本地大模型推理感兴趣，这一技术绝对值得关注。
粉丝1.4万获赞24.7万
相关视频
04:05查看AI文稿AI文稿千万开元的三点六二七 b 大 模型发布以后反响很好，但是二七 b 全参数激活以后，对算力要求也随之升高了。今天就和大家分享在不花一分钱的情况下，如何利用 mtp 将二七 b 的 运行速度提升一倍。 我们先来看一下使用 mtp 的 性能对比，然后再和大家分享详细的 mtp 编码过程。我们先来看一下未使用 mtp 的 二七 b 生成速度， 生成速度约四十五 token 每秒。我们再来看一下使用了 mtp 的 二十七币生成速度， 生成速度约八十四 token 每秒。接下来我们看一下详细的 mtp 翻译过程，我会把文档放到网盘里分享给大家。 首先介绍一下我的软硬件环境，操作系统五半桶二十四点零四，显卡四零九零酷的版本十二点九点零。我们先安装一下编辑工具， 首先我们克隆拉玛点 c p p 的 代码 获取补丁， 合并补丁翻译支持软卡加速的拉玛点 c p p， 现在就翻译完成了， 我这里已经下载好了支持 mtp 的 模型文件，接下来我们我们用它来推理支持 mtp 的 千问三点六二七 b 模型 现在就运行起来了，我们用浏览器 ip 地址加端口号的方式打开页面， 我们输入一个问题回车，我们看到现在的速度已经来到了八十多分每秒了， 我们再来关闭 m t b 试一下速度， 我们看到生成速度又回到了四十多分每秒了。 如果大家正在本地部署千万三点六二七 b， 强烈推荐大家试一试 m p b， 这是开发者给我们提供的免费提升性能的途径。感谢这些开发者的辛勤工作，我会把视频中的命令以及模型地址做成文档放到网盘里共享给大家。
297titan909
03:17查看AI文稿AI文稿上一个视频跟大家分享了如何利用 mtp 将铅汞三点六二七 b 的 运行速度提升一倍，很多网友反馈因为显存大小的限制，所以损失了上下纹长度。 今天咱们就利用 mtp 结合 turbo 矿的来实现既要速度又要完整的二六二 a 四四模型上下纹。首先我们先来看一下效果，然后再跟大家分享完整的安装过程。 我们先来看一下不使用 m t p 和 turbo 矿的运行铅汞三点六二七 b 的 速度和显存消耗。在这里我们看到上下文是完整二六二一四四，生成速度大约四十五 t 分 每秒， 显存消耗了大约二十七 g。 我 们再来看一下使用 m t p 加 turbo 矿的运行铅汞三点六二七 g 的 速度和显存消耗。那在这里我们看到上下文是完整二六二一四四，生成速度大约七十五 t 每秒， 显存消耗了大约二十三 g。 最后我们看一下只使用 m t p 不 使用 turbo 矿的运行铅汞二七 g， 因为显存不足直接报错了。 接下来我们一起看一下 m t p 和 turboqant 的 安装过程，介绍一下我的软硬件环境。操作系统是无斑图，显卡是四零九零，酷的是十二点九点零。首先我们安装翻译工具， 然后我们从 big up 克隆项目代码， 接下来我们编一下代码， 现在翻译就成功结束了， 我们执行这条命令来使用翻译好的程序运行千万三点六二七 b， 现在它就成功运行起来了。我们用浏览器以 ip 加端口的形式访问输入一个问题， 这里我们能看到它现在是完整的上下文长度，这里是生成速度。视频中运行时我禁用了模型思考是因为 api 调用时 思考会加大反馈时长，大家可以根据自己的实际情况来决定要不要加 reasoning of 参数感。 感谢这些开源作者辛勤的工作，给了我们一次次免费提升运行效果的选择。正在私有化部署千万三点六二七 b 的 朋友不妨试一试它的效果。今天的分享就到这里了，大家有什么问题可以在评论区给我留言，大家一起友好的交流。
42titan909
02:59查看AI文稿AI文稿拉玛 c p p 的 投机解码最近迎来了更新， m t p 功能已经被合并至主线了，搭配上阿斯拉夫最近出的包含 m t p 头的千万三点六二十七币， 基本上可以做到没有代价的加速。这个版本是可以适用多模态功能的， 模型权重的话一般国内在摩达下载要快很多。我是实验已下载了 k q 四，然后多模态文件两个都下载了。哇， 这次主线部署就不需要去合并分支了，整体方便很多。嗨，苏雷，我这里拿 q 四 k m 来实验上下文，凯满两百五十六 k k b k 是 用 q 八来炼化，哦对了， 这个版本主线是不支持 turbocharged， 所以， 呃，我是用 q 八来做演示。咦，模型加载完可以看到显存占用差不多在三十 g 左右，也就是说五零九零可以很完美的加载两百五十六 k 的 上下文。 这个是没开 m t p 的 速度差不多在 六十五六十六，然后这个是开了 m t p 的 速度提升挺明显了，基本上两倍。在平时的 a 帧使用中，接受率是最影响输出速度的一个 残数，像在我在长工具调用中，这个接收率在百分之五十六左右，我的速度就是在八十头个每秒，如果是在写代码的话，基本上能干到七八十，百分七八十， 那么这个速度就会在一百二十头啃左右，还是一个相对很大的提升。 不过这里还有一个针对二十四 g 显存的方案，是把上相文降到一百二十八 k， 把 kb cash 等量化格式调到 q 四，这样的话目前就是占用二十三 g 显存，勉强能跑。哎呀，然后我不是很推荐 q 四以下的亮华精度啊， 他们的损失太大了。就是感觉智商降低很多还是 q 四以上是一个比较 甜点的一个位置。是我一般就是用 q 四 km。 那 现在换显卡了？我现在自己就是刨原版了嘿构建指令跟启动指令回头我也会放在拼楞区到底。
328Y.Ai
04:41查看AI文稿AI文稿本地大模型可以零成本的让我们去运行我们的 ai 项目，实现真正的拓客自由。但是卷过本地大模型的都发现了，本地大模型它的生成速度非常非常的慢，那么有没有一种方法能够让本地大模型的速度提升上去呢？我最近也看了一个研究报告， 说是能够在四零九零单显卡的硬件条件下，将千万三点六三十五倍跑出两百托克每秒的一个速度。那么它是如何实现的呢？我们先看一下整体技术的实现方式。给本地大王星成倍量的提速，主要是依赖于一个叫 m t p 的 技术。 mtp 中文的意思就是投机解码，投机解码，我们听到投机两个字就可以理解，它不是一种正常的解码方式，而是带有预测性的、随机性的解码技术。我们先看一下运行效果，然后再学习下如何配置 好。我们连接上四零九零主机，呃，我们可以看到 l m 四六六，它已经出现了这种投机解码的介绍，已经有这样的小功能了。但是投机解码有两种方式，一种方式是传统投机，也就是先预制小模型，调用大模型。另一种方法是自投机， 像我们现在常用的谷歌 gmail 四二十六 b a 四 b 和千万三点六三十 b a 三 b 这种已经量化后的模型就只适合于字头机， 但传统投机的话就比较简单，就像视频这个位置，我们在第三个按钮找到 lms 这个目录，然后点开对应的模型。如果说你是比较大的一些模型，尤其是千万二十六 b， 没有这个 a 四 b 的 话啊，你在这个地方再选一个千万 三点六对应版本的小模型就可以了，这个草稿模型一般选一点五的或者是零点八那种小模型，这样就配置完成了。另一个能提速的地方就是这个彩样 和一个温度啊，温度默认是零点六，你可以把它拉到零点九，零点八都可以的啊，这个温度指的不是你 cpu 显卡的温度，而是一个类似于模糊参数的一个地方哈，那一默认零点六，零点八也是可以的，零点八的话可能这个模型的输出效果不会那么好啊。 另一个就是这个彩样，彩样我们可以把可以按照我屏幕上的这种配置方法啊，把这个 重复惩罚和存在惩罚都进行勾选。嗯，当然最小最小彩样我也建议调试一下，就比如说零点一三，如果说你发现这个模型开始胡言乱语了，就可以把这个最小彩样给关掉啊，一般模型零点一三是没有问题的。 另一种方式是自投机解码，自投机解码也就是我们现在正在看到的一个运行效果。嗯，一般带这种杠三 b 杠四 b 这种量化后的模型就适合自投机解码，千万不要配置那种传统投机解码，传统投机解码反而会降低它的速度。 我们还是拿一个复杂的工作流进行测试，让它发一篇带有图文，而且图片转化为 w e b p 的 格式的。呃，瑜伽站看一下它的一个工作效果。 好，我们刚才在刷新网站的过程中，它已经把这个工作流完整的走完了，这个速度还是可以接受的啊，绝对是可以接受的。好，为了看一下它的完整的工作流啊，看一看它的一个生成速度， 非常直观的全程不快进，我们看一看他的一个工作效率啊，这个速度还是很给力的啊。好，我们下面再检查一下他的工作质量，这是很多绅士们比较关注的一个环节， 我们可以看到刷新之后已经有一篇新的文章了啊，新的文章，我们点开看一下啊，整体翻译效果也不错，然后整个文章的一个呃，图文排序都非常的棒啊，我们看一看这个工作流已经帮我们做了多少的内容啊，点开看一看 啊，非常完整，这个网站做的质量其实还是很高的，而且是完全零成本的搭建出来的， 但是这种字头机的解码方式，目前在 l m studio 里面还没有可适化的配置方案 呃，需要我们通过 s g long 或者是 v l m 进行代码配置。呃，具体的配置方法我也做了文案教程啊，大家也可以直接将文末的这种提示词 复制给你的智能体，比如说 openclaw 或者是 harmis， 让它自动地帮你配置好本地大模型的自投机解码，你学会了吗？
375酋长师兄
01:24查看AI文稿AI文稿今天给大家介绍的是视觉大魔性，本地部署是千万的视觉大魔性，八八十亿参数的，现在检测的是高精度的一个点胶机喷嘴， 嘿，看大家看看这个检测结果， 等级，权限区域以及描述以及建议。 这样的模型我想到的是可以用在人工复检， 没有经验的，嗯，操作员工可以直接用这个模型去做一些，嗯，分析判断，辅助分析判断，嗯，这是用用来检测一个二维码的一个外观缺陷。 这样的一个模型大家有没有想过可以应用在什么样的一些场景？ 欢迎在评论区交流探讨。
205测控刘工
04:35查看AI文稿AI文稿然后还有一种就是我们一般大模型要加速嘛，显卡的优化加速它常用的几个版本，嗯，前面讲过大模型的量化嘛，是吧，量化减脂等。 g p t q 呢，就是英伟达显卡的经典优化版本， 他是通过量化技术将模型权重变小更轻，干啥用呢？牺牲极小的精度，换取本地推理速度大幅度的提升。谁在用呢？拥有英伟达显卡，追求本地大模型高速运行的玩家 限制于门槛，它只能在 n 卡上高效的运行，需要配合嗯，专用的加速器才能直接运行。一句话总结，有 n 卡追求本地速度，选择 gbtq， 还有 awq， 其实它也是一种量化量化形式，咱们前面讲过理解是比 gbtq 呢更先进的量化格式，它是更聪明的压缩算法， 属于 g p t q 的 升进阶升级版，实现更好的性能。干啥用呢？也是，同等参数下 下调智商更少，模型推理速度更快，效率更高。谁在用呢？也是因拥有英伟达显卡追求 哦，模型极致推理性能和低延迟的 ai 玩家能不能直接跑？能，但是需要专属的 aw 加速器支持，如 auto aw 发展趋势呢，已成为主流的标准，很多 新发布的高性能的模型已推出 aw 版本。一句话总结，在同显卡下啊，优先选 aw 扣效果与速度都更会更优。 还有一个就是 exl two， 这个是为小显存 n 卡而生，这个大家用的比较少，因为它得为显存小的 n 卡做的格式，它也是。嗯，极致省显存的量化格式，专门为解决显存瓶颈设计， 干啥用呢？在二零六零、三零六零这类小显卡的基础上也能流畅的运行大模型，谁在用呢？显卡不大，但是低成本运行，运行大模型的 n 卡用户能不能直接跑？能，但是需要专门的加速器的支持，核心的特点也是量化 精度，控制精细，在大幅接孙显存的同时，效果则是很少。一句话总结就是 n 卡显存不大，想跑大模型，选 exl two 这样的一个格式。 我们还有一些就是 o n n x， 这个用的比较多了，它是一个跨平台的通用模型格式， 它主要是什么功能呢？是一种开放的神经网络交换格式，在连接 ai， 训练于推理的中间语言用，就像大家有没有学过 java 虚拟器那种一样，它把它编成一个跨平台的一个一个字节码，那种感觉。它的用途呢？ 思想，训练好的 o n a i 模型部署到各类软件上， app、 手机边缘设备上，受众呢？就是说负责产品功能开发的应用开发者和算法工程师。 嗯，能直接运行吗？不能直接运行，它是一种中间格式，需要开发时集成到软件和产品中。核心特点是做到一次训练到随处部署，不挑 ai 训练框架，也不挑运行系统。 一句话总结，想做 app， 把 ai 功能嵌到软件里，就转 o n i x 这样的一个格式。 还有一个叫，嗯，腾讯 r t， 这个是用的比较多的，就是算法工程师用的比较多的，它是英伟达的终极加速引擎。它是什么呢？它是将 ai 模型编一层显卡专属的推理引擎，深度适配底层的硬件。 干啥用呢？就是榨干 gpu 的 算力，实现极致的推理速度，对性能要求极高的专业部署，谁在用呢？就是大厂数据中心，就是等计算机群，能不能直接跑分呢？它是它不是通用的格式，需要通过专业的翻译与优化流程无法 加载运行。核心的特点呢，是推理量与速度拉满，就是就是延迟极低，专门为大模型规大规模并发设计。
17AI闲谈小馆
05:03查看AI文稿AI文稿你的 openclaw 和 hermes 还在花钱调用大模型的 a p i 吗？今天我教你用零成本本地部署奥拉玛，在你的电脑上直接跑大模型，还能无缝对接 openclaw 和 hermes， 实现免费玩 ai 智能题工具。首先介绍一下欧拉玛，什么是欧拉玛呢？欧拉玛是目前最简单的本地模型工具，在 windows、 mac 和 linux 上都支持，几分钟就能装好，八 g 内存就能跑。当然了，还是建议最少要安装十六 g 内存， 这样体验起来更加流畅。如果有英伟达的显卡，还能够使用 g p u 加速。了解完了欧拉玛是什么之后，我们来看一下欧拉玛如何安装。首先我们要访问欧拉玛的官网欧拉玛点 com， 它的首页是 一个羊驼抱着一个龙虾，下面的英文是 power open claw with ollama， 中文的意思就是使用 ollama 为龙虾赋能，从这一点我们就能看出它是全面的拥抱和支持 open claw 了。这也是为什么今天我要在 open claw 的 专栏里专门做一期 ollama 视频的原因。 废话不多说了，首先要下载欧拉玛，点击右上角的 download， 这里我们可以看到它有 mac os、 linux， windows 的 下载方式自动已经给我们定位到了 windows， 点击这个黑色的 download for windows 按钮， 就会弹出下载框，点击另存为保存，有点大，两个 g， 这个网速非常感人，所以我建议大家用迅雷来下载。 我们已经下载完了欧拉玛的这个安装包，下面我们就开始安装欧拉玛的安装有一个问题，就是它没有让你选择 需要安装的文件夹这个选项，它默认是安装到我们的 c 盘 user 底下的，如果你想安装到指定的文件夹，那你需要换一种方式，我们先把这个安装过程停止。 我们找到拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇 斜杠 d i r 等于这里写上我们的安装地址，也就是记盘的欧拉玛文件夹。打回车就跳出来安装界面，我们点击安装，大家可以看这里已经安装到记盘的欧拉玛这个文件夹下面。 进了这个界面，就代表着欧拉玛已经成功安装并且启动了。安装好了欧拉玛，我们再来看如何下载模型。在欧拉玛的网站上点击这个 models， 就 可以进入模型列表，这里都是可以使用欧拉玛直接下载使用的模型。我们来找一下 谷歌的 jam 四，这个是最近小模型中比较好的，可以通过这一句欧拉玛 ram 四来进行下载。 输入奥拉玛 ram 捷摩斯回车运行。安装完了，我们来跟他说一句话试试。我们在这里输入一个，你好打个回车。 好的，扎马四已经回复了我们，虽然有点慢，但那是我电脑性能的问题。大家可以看到现在已经成功地让大模型在我们的电脑上运行起来了。再下一步我们就来看如何把欧拉玛接入到 open cloud 中。 ctrl d， 我 们来退出欧拉玛，然后输入 openclaw config， 进入 openclaw 的 设置，这个我们直接选择本地运行，这个我们选择第二个 model， 打回车进入，然后我们要在这里找欧拉玛， 这个就是欧拉玛提示我们欧拉玛不可用。我们来重新编辑一下 openclaw 的 配置文件。 openclaw 的 jason， 这个就是 openclaw 的 配置文件。我们来找一下 allow 这一项，这里就是扩展的 allow 这一项，我们要在这里添加上 alama。 我 们来运行 openclaw config 来设置 openclaw 的 大模型。 选择默认的本地模式，这个我们选择第二项 model， 就是 设置模型，这个是选择模型的提供商，我们来找一下 alama， 这个是询问我们选择云服务还是本地模式。我们选择最后一个本地模式，这个是欧拉玛默认的 b、 c、 l。 回车，这个是有哪些可用的模型？只有一个，我们按空格选中回车确认 提示，我们已经把模型信息写入了配置文件，我们退出。我们回到 open 可乐，这里是我们 问了 openclaw 一 句你使用的什么模型，他们回，他回答，我使用的是谷歌的伽马四。我们这次的 olamata 下载安装以及安装模型，以及如何在 openclaw 中使用 olamata 模型。到这里就结束了，关注，我每次 都给大家带来一个 ai 的 新知识，感谢大家的观看，再见。
760波哥的AI课
07:51查看AI文稿AI文稿大家好，我是大叔，只说真话，只做实在事，只给干货。大家好，你是不是也遇到过这样的情况，手上只有英特尔显卡，想跑大模型却被告知必须用 nvidia。 但我想告诉你一个真相，英特尔显卡不仅能跑，还能跑得流畅，甚至在某些场景下表现比 nvidia 显卡还要好。别急，今天这个教程就是为你准备的。我先告诉你结论，你的 intel core ultra 处理器加上 openvno 就 能实现高性能本地 ai 推理， 不需要购买昂贵的 nvidia 显卡。这次教程含盖三个核心亮点， c p u g p u n p u 三位一体加速，以验证九款以上模型支持开放 api 接口调用。 咱们直接看内容，你是不是遇到这样的问题，手上只有英特级成显卡或 arc 独显，没有 nvidia gpu 响本地部署大模型，但不知道用什么工具能正常运行，需要开放 api 接口给其他应用调用，但不想花几万块买显卡，想体验 openclock 龙虾助手 hermes zion 的 爱马仕智能体， 担心硬套显卡性能不够，跑不动大模型，使用云服务 a p i 费用高昂，每月几百上千的成本难以承受。如果有以上任何一个问题，请继续往下看，今天这个教程就是为你准备的。解决方案是什么呢？ open vino 后端辣妈到 c p p 加上 open vino 等于完美组合， 让 intel cpu、 gpu、 npu 都能流畅运行大模型支持 api 接口开放，轻松集成到你的应用中。它有四个核心优势， one、 intel gpu 加速集成显卡和 arc 独显都能用，无需 nvidia 2 npu 低功耗 core ultra 系列专属 ai 加速器，省电高效。 三、 rest api 开放标准接口如下，应用直接调用四、零额外成本，利用现有硬件，无需购买昂贵显卡。还有一个重要特点，同一份 g g f 模型文件， cpu、 gpu、 npu 无缝切换，无需转换格式，它是如何实现的？ 第一，智能图转换，将 g g m l 计算图自动翻译为 open vivo 格式，识别输入输出权重和缓存。第二，翻译后极速运行，首次运行会翻译模型并缓存，后续推理速度提升三到五倍。 第三，算指融合优化，自动合并相邻计算步骤，减少内存访问效率更高。第四，硬件专属优化，针对 cpu、 gpu、 npu 不 同特性，自动选择最佳执行策略。 第五，多种量化精度，支持 q 四、 q 五、 q 六、 q 八等格式，平衡速度与质量显存。第六，设备无缝切换，同一份 g g 二 f 模型文件， cpu、 gpu、 npu 一 键切换，无需转换。简单来说， openwin 就 像一个智能翻译官，把你的大模型翻译成 intel 硬件能听懂的语言， 然后针对你的 cpu、 gpu 或 npu 进行深度优化，让推理速度大幅提升。安装方式有三种可选，根据你的需求选择最适合的方式。第一种，一键脚本，推荐，最简单自动下载翻译配置支持 windows、 mac os、 linux， 如 如果有需要，评论区留言获取脚本。第二种，多客容器很干净，无需配置环境隔离运行不污染系统，适合服务器部署。第三种，手动翻译，很灵活，完全自定义，适合开发者调试。下面详细介绍步骤，手动翻译只需五到十分钟，接下来我们详细讲解手动翻译的三个步骤。 第一步，克隆仓库执行命令， gitcon， 后面跟着开源代码，仓库地址，由于平台限制，完整链接无法显示，需要完整地址请在评论区留言， 然后进入 lama 到 cpp 目录。第二步，编辑 openvino 版本。如果是 linux 系统，先执行 source 命令，加载 openvino 环境变量，然后执行 cmake 命令，指定构建目录和 nintia 生成器，开启 openvino， 支持，最后执行 cmake build 命令，进行并行编译。 如果是 windows 系统，在 exo， 在 native tools command prompt 中执行同样的 cmake 命令，注意路径分幅，使用反斜杠。如果是 macos 系统，先用 blue 安装 openvino， 然后执行 cmake 命令进行编译。 第三步，下载测试模型，创建 model os 目录，从 huggingface 下载测试模型文件到 models 目录，由于平台限制，完整地址无法显示，需要下载地址请在评论区留言，翻译完成，现在可以开始使用了。为什么选择 docker？ 无需配置环境，一键启动，隔离运行，不污染系统，特别适合服务器部署和快速体验。步骤一，构建 docker 镜像清亮 call 命令，指定 target 为 light， 标签为 lama puma collin light 使用 open veneno 点 docker file 发来文件。 server veneno dpi 版本，开放接口执行 docker 命令，指定 target 为 server， 标签为 luma pen veneno server。 gpu 容器运行， 执行 docker run 命令，挂在 models 目录，映射 gpu 设备设置环境变量接 gml。 open veneno device 为 gpu 起拥有状态执行运行 luma pen veneno light 镜像 指定上下文长度一千零二十四模型路径 n p u 容器运行，执行 doker run 命令，挂在 models 目录，映设 excel 设备设计环境变量 g g m l ompenvenor 的 device 为 n p u 运行 lompenvenor colonlight 镜像， 指定上下文长度五百一十二。模型路径 server api 模式，开放接口，启动 rest api 服务，执行 docker run 命令。映设端口八零八零挂在 models 目录，运行 low open veno colon server 镜像测试 api 调用，执行 call 命令，向本地服务发送 post 请求，由于平台限制，完整地址无法显示，需要完整命令，请在频讯区留言。设置 content type 为 application json， 发送包含用户消息的 json 数据。 高清儿注意事项，需要预先下载模型到 models 目录。 gpu 或 npu 需要印刷设备文件。 server 模式仅支持单绘画多种运行方式。 gpu 加速模式推荐，日常使用性能最佳，响应最快。设置环境变量 ggml openvio device 为 gpu dot npu 低功耗模式，适合笔记本，省电、高效、续航更长，需限制上下文长度为五百亿二十二。 server api 模式，开放接口 rest api 服务如下，应用直接调用 gpu 加速模式推荐设置环境变量 g g m l open vein device 为 gpu 设置环境变量 g g m l open vein state for execution 为一。运行对话模式，执行 l m c l 命令。指定模型路径上下文长度一千零二十四。 serve api 模式，开放接口，启动 rest api 服务，执行 llama server 命令。指定模型路径端口八零八零上下文长度一千零二十四。测试 api 调用执行客肉命令，向本地服务发送 pos 请 求，由于平台限制，完整地址无法显示，需要完整命令，请在评论区留言。简化配置技巧，将环境变量写入八十二 c 或系统环境变量，避免每次手动设置遇到问题，如何解决？第一个问题， gpu 无状态执行失败 现象是推理报错或崩溃。解决方法是设置环境变量 g g m l open window stay for ex execution 为一。第二个问题， n p u 内存溢出现象是上下文太大导致失败。解决方法是限制上下文长度为五百一十二或更小。第三个问题，首次运行慢，原因是模型变异需要时间，这是正常的，后续运行会非常快。第四个问题， 多 g p u 选择方法是使用 g p u 点零或 g p u 点一指定设备铁技巧技巧查看详细日制级别三、执行 l m c l e 命令，加上 l v 三参数起用性能分析设置环境变量 g g m l open veno profiling 为一 导出计算图用于调试设置环境变量 g g m l open veno dumbed up siggraph 为一。核心要点总结，你现在可以医用 intel 显卡流畅运行大模型，无需 nvidia two 开放 api 接口如下，应用直接调用三零额外成本利用现有硬件。四、部署 openclhermes agent 等智能体。 五、 cpu gpu npu 灵活切换，按需选择推荐场景日常对话用 gpu 模式，低功耗用 npu 模式，大批量用 cpu 模式。关键命令 ggml opengeno device 等于 gpu 到 ggml opengeno stateful execution 等于一、 上下文长度控制用 c 参数我准备了 windows、 mac、 linux 三个平台的一键安装脚本，有需要的在评论区留言获取一键脚本。如果这个教程对你有帮助，欢迎点赞收藏评论，分享你的使用体验。我是大叔大，专注研究 ai acent 与大模型应用，感谢观看，咱们下期再见。
100大书大
06:06查看AI文稿AI文稿minor u 三点一是现在文档解析领域非常火的一个项目，如果你正在做 r i g 或者大模型训练，肯定会遇到怎么把 pdf， word， ppt 高质量转成 markdown 微给模型的问题。 今天我不讲虚的，直接带你走一遍 minor u 三点一的全流程实战。我们会从环境安装、引擎选型开始，一直讲到批量处理，到客生产部署，以及如何集成到 ai 工作流和处理常见的报错问题。先看环境要求， minor u 需要 python 三点一零到三点一三之间的版本， 为了避免环境冲突，建议直接用 conda 创建一个三点一一的隔离环境。创建好之后记得执行 activate 命令。进入环境安装建议使用 uv， 速度比 pep 快 很多，先安装 uv 工具，然后执行全量依赖安装命令。 如果下载超时，直接在命令后面加上清华园的地址。如果有代理环境，记得提前配置好 https 和 http 的 环境变量。 有 nvidia 显卡的话，建议配置 gpu 加速。先用 nvidia 微查看驱动支持最高版本，或者用 nvcc 查看实际安装的版本，根据查到的版本选择对应的 pay torch 安装命令。 如果是十二月一日版本就选 ceo 幺二幺的链接，十一月八日版本就选 ceo 幺幺八的链接，千万别装错了。 最后做个验证，直接在终端输入 miniro， 加上 help 参数，只要能看到帮助信息就说明安装成功了。选引擎的核心就是权衡精度、速度和显存排版模式，主打快四 gb 显存就能跑，处理合同报告这类文档绰绰有余。 如果你想要更均衡一点， hybrid 的 模式是大多数人的首选，精度和速度比较平衡。但如果你面对的是学术论文或者排版极其复杂的出版物，那就得用 v l m 模式。虽然它速度慢，对显存要求高，但能提供九十五分以上的顶级精度。 另外提醒一下，用 v l m 或者 hybrid 模式时，记得提前在磁盘留出二十 g b 左右的空间来存放模型权重。 拍拍模式非常适合处理大规模的日常文档。用法很简单，通过 pe 参数指定文件名或者文件夹路径，再用 o 指定输出位置。它的最大优势是硬件门槛极低，哪怕只有 cpu 也能跑，而且处理速度非常快。 但在处理那种带有跨越多栏表格的极端复杂排版时，它的精度会比 v l m 模式稍微低一点。当你需要处理学术论文或者那种公式和表格非常密集的出版及文档时，就要切换到高精度模式， 你只需要在命令后面加上 b 参数即可。如果你想要在精度和速度之间找个平衡，就选 hybrid。 如果你对精度有极致的要求，那就直接指定使用 v l m 引擎。 最后总结一下，处理日常文档，或者在没有 gpu 的 环境下直接用 pipeline 做学术研究。想兼顾速度选 hybrid， 如果文档非常复杂，追求极致精度，那就选 vm。 根据你的硬件和文档难度来做选择才是最高效的。 miner u 三点一的格式兼容性做得非常好，它除了支持 pdf 和图片，最新的三点一版本还补齐了对 word、 ppt 以及 excel 的 原声支持。不管你处理的是单个文件还是整个文件夹，直接用 mineru 命令指定路径和输出目录就行。 解析完成后，你会得到一个结构化的输出目录，里面主要包含三部分，一个是最终的 markdown 文件，第二个是包含版面信息的结构化，节省数据。还有一个 images 文件夹，里面存放着所有被提取出来的图片。 mine 里有的智能化程度非常高，它能自动识别标题层级，把复杂的表格转成保留行列结构的 html 格式，公式也会自动转成 a t k。 最厉害的地方在于，他能按照人类的阅读顺序重新排列正文，并且自动把页眉、页脚和页码这些干扰信息去掉， 同时把图片提取出来，并在正文中保留好引用位置。如果需要处理大量文档，可以直接把路径指向文件夹进行批量解析。 manu 三点零之后引入了滑动窗口机制，处理超长文档时能大幅降低内存压力。 如果是企业级的生产环境，我建议直接用 docker 部署环境隔离且方便管理。如果你有多个 gpu， 还可以配合 managerater 做覆盖均衡，实现高效的并行处理。 总结一下， minoru 三点一已经不再是一个单一的解析工具，而是一个完整的文档解析平台。它实现了全格式覆盖，提供了精度与速度兼备的三档引擎，拥有完善的 docker 和 api 工程化能力。最关键的是，它现在的 app 二点零协议对商业集成非常友好。 如果你正在做 r a g 或者大模型训练相关的项目， minoru 非常值得你尝试。 minoru 的 生态集成非常全面， 在 r i g 框架方面，它原生支持 lan chain， lama， index defi 以及 fast gpt 等主流工具。在平台里直接选 minoru 引擎即可。如果你是开发者，它提供了 python， go 和 type script 三种语言的 sdk 以及 rest api。 另外，它还支持 m c p server 协议。你可以直接在 cursor 或者 cloudescope 里通过简单配置实现对话式的文档解析。 在落地过程中，如果遇到报错，可以对照这几个方案。如果提示找不到版本，请检查 python 是 否在三点一零到三点一三之间。 如果保险存不足，最快的办法是换成 play play 模式，或者直接加参数用 cpu 运行。如果发现公式或表格解析不准，说明精度不够，这时候需要切换到 v， l m 或者 hybrid 引擎。如果遇到此盘空间不足，可以考虑只安装 minio 的 core 最小化依赖包。 最后补充一点关于商业使用的信息， manageru 三点一已经从原来的 agplv 三协议变更为基于 apache 二点零的协议了。这意味着对于企业用户来说，集成到业务系统里的法律门槛大大降低，不再需要担心协议的传染性问题，可以放心在生产环境中使用。
202AI技能研究社
54:42查看AI文稿AI文稿一天学一个变态的大模型知识点，今天讲的是奥拉玛大模型快速部署实战教程，那大模型的一个部署方案的话，其实有很多框架知识，那么这就介绍几种，呃，就常用的一些框架，那第一种框架就是一个奥拉玛的一个框架也，这个框架也非常的一个有名啊， 他是一个就是开元大模型的一个模型部署一个平台，他能够通过一系列的一个简单的一批交互，能够使用户能够非常方便的一个实现一个下载下载模型通过一些简单的命令 和对这些模型进行一系列的一个操作，然后呃来快速的来部署一些这些模型，并且支持多种一个操作系统，然后支持多种的一个硬件的一个加速的一个选项， 那么它对应的一个王者的话就是 h t t p s 点欧拉玛点 com， 而且这个欧拉玛呢，它还提提供了非常方便的一个交互界面和对应的一个 api， 那 么我们可以再进入这个 h t t p s 欧拉玛点 com， 以后的话，大家可以看到一个欧拉玛下载对应的一个页面， 然后你可以根据你的一个操作系统来下载对应的一个欧拉玛的这个应用。 那如果你是一个 windows 的 话，你只需要跟跟随它的一个选择前面的那个 windows 对 应的这个这个图标，然后跟随它的一个引导进行一个傻瓜式的一个操作， 然后那个下载完成之后的话，你在你对应那个 cmd 里面输入一个 alama version， 如果能显示出这个 alama 的 一个版本号的话，那说明你的一个安装已经成功了。 那如果是一个 linux 的 一个电脑的话啊， linux 的 一个操作系统的话，那么你可以通过两种方式，第一种方式是打，这是它的一个官方的一个安装方式，就打开终端运行以下命令，这个是一个官方给的一个命令来安装完成之后， 然后通过 volama version 来来看它是否安装成功。但是这种方式呢？我自己时间下来觉得下载速度非常非常的慢，在一些网络 不太好的一些环境下面，特别是一些不能翻墙的一些一些平台，那么这种下载经常下一半以后，你会断开连接，那所以我个人不是特别的一个推荐， 那么推荐的是就是用这种方式来进行一个下载。那首先的话，比如说你是在一个 auto dl 的 一个平台上，你要开启对应的一个雪速加速，那通过 auto dl 的 一个 命令，也就是这个这个 sauce， 这个这个这个这个命令，然后开启完了之后，第第一节课我们讲过，然后再进行一个 用这个命令 we get 的 这个命令来下载对应那个 alama， 它所对应那个安装包。那下载完这个安装包以后的话，你再 alama 的 呃，你在你的那个操作系统上面运行这行命令，对下载完的这个 t g z 的 这个压缩包啊， alama 压缩包啊进行一个解压，那解压完成之后的话，你不管是通过 alama version 显示版本号也好，还是通过 alama server， 那 你就可以开始进行进行一个服务操作了。 那我这儿的话已经下载完成了，就不给大家再演示下载这个过程，那我可以给大家看一下，就是啊下载完它的一个运行的一个一个一个界面，我们看 alama version， 那 看到他的 client 的 一个版本是零点一六点，零点一二点六，对吧？那我要开启这个 omar 的 话，我只需要 omar server， 好， 那我就现在就开始启动这个 omar 对 应的这个服务， 那当然它还官方还提供了一个 docker 版本的一个安装，那你可以通过在去这个 docker hub 这个网站上面去拉取对应的一个 docker 的 一个镜像，对吧？ docker pool alibaba 奥拉玛这个这个方式来拉取对应的镜像，然后拉取完成之后通过 docker run， 然后通过一三一一四三四内外端口的一个挂载端口进行一个映设，然后去建立对应的一个容器，那你最终可以在一一四三四这个端口上访问 对应这个奥拉玛，那我推荐大家的话就是按用这种方法来进行一个安装和使用。 那我们现在先看一下欧拉玛的一个部署的一个实践，那么看一下欧拉玛的一个命令行的一个操作，其实欧拉玛它提供了非常丰富的一个命令行的一些 api， 那 么这里比如说欧拉 serve self 代表启动 alama 的 这个服务，那我像我刚才这个过程的话，就已经把 alama 的 这个服务给启动起来了。当然如果你呃就如果 create 的 话，就是代表可以根据一个一个 model file， 就是 alama 的 一个配置文件创建一个模型，一会我会给大家演示， 那 show 的 话是显示某个模型的一个详细信息，那 run 的 话是运行一个模型， stop 的 话是停止一个正在运行的模型 po 的 话，是从一个 模型仓库，因为奥拉玛内部它有个模型仓库，那么你你要进行一个奥拉玛模型的一个调用的话，你首先要将这个模型下载到对应的个模型仓库，你可以通过奥拉玛 po 的 个 方式的话，去拉取对应的一个，就模型仓库的镜像上面去拉取对应的一个模型。这这个有点类似于 docker 的 一个操作，那么 orama push 就是 将一个模型推送到一个模型仓库 orama list， 列出当前你所有已经下载的模型。 老妈妈 ps 就是 列出所有正在运行的模型，这个和 docker 命令非常像啊， copy 就 复制一个模型 remove， 就是 删除一个模型 help 获取命令，那么这个就不讲了，那我们现在看一下一些主要操作的一些界面吧。 那我们先看一下就是 alama 模型的一个下载与推理，那 alama 支持的模型，你可以访问这个地址啊，比如说我， 好，那我们进入这个地址以后，你可以看到目前奥拉玛收入的一系列那么多对应这个模型吧，对吧？那比如说我们现在比较关注的一些千分三系列的，我们看看有哪些模型， 千分三 vl， 千分三，千分三 in bedding， 那 我们今天可能要操作这个千分四零点六 b 吧， 那这里它就有下奥拉玛的一个模型，呃，比如说千万三零点六位 g g u f， 这个是，这个是一个就是支持很多推理框架的一个数据格式， 那它这一反就有一系列这个对应这个模型。好吧，我这就不给大家一一看了，那么你如果要从模型仓库下载模模型，你可以用奥拉玛 pro， 然后接上那个模型名称。 假如说我现在是千万三零点六 b， 它应该是有这个模型的，我把这个模型，因为这个模型比较小，下的比较快。 哎，这个模型下掉了吗？ 千万三零点六 b， 或者你换一个模型也行，你先问三零点六 b q q 四 k m 这个模型，因为我前两天还还在的，那么你就可以把这个模型名称给复制下来，对吧？ 它它也可能在一些模型仓库也也会做一些调整啊。那么你可以把那个对应的这个模型名称给复制在这儿，那么它就会通过 moorema port 的 一个方式来下载对应的对应的这个模型。 那我这给大家稍微运行一下吧。呃，因为我现在这个这个盘有点满了，所以我现在不能下这个模型。好吧， 大家自己可以根据这个命令去下载对应这个这个这个模型，反正这个模型这个名字呢，就从那个这个这个仓库上面去扒对应那个名字是什么，然后你就去下载下载什么，包括你自己可以点到这个模型仓库里面去。 呃，它这个地方没有写 readme， 我 们找一个有 readme 的， 一个一个一个模型啊。喏，它这里面会写一些，就是下载的一些用法。 嗯，哎，这里这里没写吗？ round ten thousand with one command。 好，这里有，那就是这个，这个就是它的一个下载下载命令嘛，对吧？你可以 alama pro 加上这个模模型名字，每个模型边上都有这么个命令，然后你就可以下载对应这个对应这个模型了。好，然后你下载完成之后的话，你需要 去运行推理的时候，你就通过一个 alama run 对 应的这个模型名称，那你就可以来进行一个推理了，就相当于说我把下载这个模型调换起进行一个执行，当然的话你也可以不用 alama to pour 加模型名称这种方式进行一个下载，你直接运行 alama run 模型名称，那这种方式的话，如果你的模型在奥拉玛的本地仓库里面并不存在，它自动会去对应的奥拉玛云端仓仓库进行一个自动下载，并 且并且执行。所以的话，我因为之前录课的时候，这个版本的话是千万三零点六 b 这个模型还是存在的，那我已经下好了这个模型，当然你可以用千万三零点六 b q 四 k m latest 的 这个模型来来演示 奥拉玛的一个使用，这些都是没关系的，就是这里，这里不吃任何模型，反正我们只是主要演示一下奥拉玛交互该怎么使用好了，那我们在这个兴起一个一个 终端，那我运行这这行代码，这个代码运行的过程中大家要注意一点啊，需要在奥拉玛服务启动的一个过程中，你才能运行这个脚本，否则话相当奥拉玛服务没起，你用奥拉玛 run 的 话是 run 不 起来的。 由于我前面已经下载过了千分三零点六币，所以它并没有一个下载的过程，而是直接进行一个， 直接进行一个运行，那么你可以直接在这个地方和千分三零点六币这个模型进行对话，当然如果你在奥拉玛仓库中找不到千分三零点六币，你可以下载一个别的模型，其实也一样的。好，我们看一下 哦。当然，我这个地方有有个问题啊，因为我现在起用的是一个 cpu 的 模式，所以它推理速度会特别特别的慢，那我先退出一下，它退出怎么退呢？这样 就斜杠 b u y 斜杠 back 就 退出欧拉玛。好吧，那我这个地方我需要重新启动一下 auto dl， 那我这个地方先，因为我现在用的是那个对那个无卡模式，无卡模式运行，所以推率速度特别的慢，我要关一下。 好，那我现在重新按有卡的一个模式进行一个开机。 好，我再运行奥拉玛对那个服务，我先把这个关一下 奥拉玛 sir， 启动奥拉玛服务， 然后再进一个奥拉玛 round。 千万三零点六 b， 你 好好， 因为我现在加载了对那个 gpu， 所以 它很快能进行一个推理。 好，这个就是一个命令行模式来执行奥拉玛启动对应的奥拉玛服务。你可以通过杠 by 或 ctrl 加 d 键来结束命令行模式下对奥拉玛的一个对话，然后你可以通过奥拉玛 list 查看已经安装的模型。那我现在先结束一下，然后我先 back 退出，然后我看通过 alama list 查看我现在安装哪些模型。那我现在有一个 alama 三零点六 b， 有 一个 small 千万，这是我自定义的一个模型。好吧，这个是我刚才给大家演示的一个模型， 这是我用的所有在我本地 alama 仓库所对应的一个模型。那我可以通过 alama remove 的 一个方式来删除刚才那个千万三零点六 b 这个模型。 好，那我们来看一下，就是 alama 的 第二种部署方式，是通过一个 python 的 一个 sdk 的 一个方式，那么你首先要安装一下 pip， install 一下 alama， 然后安装完以后用 import alama， 然后 response 等于 alama， 点 generate model 等于千万三零点六 b， 那 promote 等于你是谁？那在这个过程中， 如果你千万三零点六币是在奥拉玛仓库中是不存在的，那么这个时候它会去进行一个自动下载，这一点其实和我们的一个 transformo 的 的那那种加载方式是一样的，就你本地路径下，它找不到对应的这个模型权重的时候，它就会去云端进行一个自动下载，下载到一个默认的一个模 模型路径下面，那么下一次你在执行这个代码进行一个加载的过程中，它就不会再进行一个二次下载，而是从一个指定的一个路径下面进行一个模型权重的一个提取，提取完成之后直接就可以开始进行一个推理。 呃，奥拉玛也支持一系列的一些 api 的 一些交互形式，这个我们可以先不看 啊，我们这个先，那当然的话你也可以通过 chat 的 一个模式来进行一个，只要只要交互过程中发现没这个模型，它就会自动下载，这个我一会我们再看， 那么我们看一下就是刚才讲的是 ollama 去下载一些预训练的一些模型，那么在实际过程中的话，你可能就是要去自定义一些模型。那么首先先给大家讲一下，就是 ollama 它支持的一个模型的一个格式， 它其实支持的是一个叫 g g u f 的 格式，那 g g u f 又全称叫 g p t generator unified format 的 一个格式，这个是拇拇拇 拇拇拇拇拇拇指格式，它其实是由拇拇拇点 c p p 定义的一种高效存储和交换大元模型运训练结果的一个二进制格式。 因此前面我们讲过，就是像这类的一个格式的一个模型，它的一个权重参数的话，通常是比较小的，会比一般的那种 p t h 或者 c k p t。 类似这样的一个权重格式的一个模型权重哪怕是一样参数量的情况下，数据格式会更小一些。 那 alama 也可以支持自定义模型的一个，就是采用一个 modify 自定义，就这个就类似于我们在做 docker 操作的时候，有个叫 docker file， 对 吧？那么你在每次做一个 docker 去去构建一些镜像 过程中的话，你是不是要指定一个 docker file？ 那 alama 其实也一样，你要指定一个 model file， 这个 model file 是 用来定义模型 的一些文件，包括里面有一系列定义模型所预训练模型所对应的路径。比如说如果你是 lua 微调，你还有一些适配器对应一些路路径的一些一一一些位置， 包括一些 template， 也会在这个 model file 里面进行一个定义。你就相相当于说我在奥拉玛中，如果要自定义一个模型的话，你要指定一些原生的模型所在的一些位置， 包括一些适配器对应的一些位置，然后以怎样的一个啊提示词进行一个模型的一个封装，那像我这给大家演示演示了一个叫 small 千万的一个 latest 的 这么一个 自定义模型，它就是基于千万三零点六 b 这个模型做的一个提示词的一个优化封装，我给大家看一下它对应的效果， small small 千万 latest。 好， 那我现在去运行这个模型，我先给大家看一下效果， 这个模型呢，我我是在千万三零点六 b 这个基础上给了它一个 promote， 就是 这个 promote 里面核心的就是这么个东西， 这个模，这个 model file 我 要从 from 千万三零点六 b 这个模型里面做一个导入，然后我这个 case 下面是没有 adapt， 所以 的话，如果你没有 adapt 这个因为我不是一个 low 调的一个模型，我是一个原声的一个预训练模型，所以你要在这个 case 下需要把 adapt 的 这行东西给删掉，那删掉完了之后的话， 你可以指定一些 power 那 个 temperature 和一些 top p 啊一些一一反正就一些模型参数，一些一些一些策略。然后给他一个 system， 也是由 guo 炮科技开发的智能助手，专门辅导学生做课程学习，然后给一个退兑换千万三的一个兑换模板， 那么在这个给了这个东西以后，重新给它打包成一个模型，用打包的一个方式的话，其实是这样的，就是我先建一个 model file， 这个 model file 填充刚才刚才说的那些内容， 然后在其中指定千万三零点六 b g g f 模型的一个路径，就是 from 这个这个路径，那这个路径的话，其实 就是源于你刚才下载这个千万三零点六 b c f 的 这个路径，然后你可以创建这个模型 alama crit small 千万，然后杠 f， 然后将你这个配置文件所这个 model file 所指定的这个模型定义文件的一个路径进行一个指定，然后最终运行这个模型就可以来运行这个 small 千万了。那么这个 small 千万的话，它能够根据我刚才的这个提示词 来进行一个回答，他自己是酷跑科技开发的一个智能助手，专门辅导学生做课程学习，提高学习效率和成绩，对吧？那我先把这个过程给退出去，给大家看一下这个 model 是 怎么怎么样的啊？ 我先，呃，这样吧，我先欧拉欧拉玛 remove， 我 先把这个 small 千万 latest 这个模型给删掉， 好，它就会 delete small channel latest。 然后我给大家看一下这个 model file 是 怎么怎么样运行的。 auto d， 我 先到对应的这个， 我存放这个，哦，就在就在这个文件夹下，我建了一个 model file 这个文件，我给大家看一下 model file 这个文件。好，这个 model file 这个文件首先我会引用一个， 你用一个一个一个一个模型，就是这个这个千分三一点七 b 的 这个这个模型。哦，我，我还是不要用这个，因为我这个这个这个路径下面这个的魔 logo 的 话，指定了一个适配器， 呃，这个模型我怕，因为我现在系统盘快满了，所以我怕这个用这个 model fare 来起会有问题，所以我们用一个小一点的模型来来测试， 那我这给大家写了一个小一点的模型，就这个 model file 好。 from 千万三零点六 b， 那 大家要注意一点啊，就是刚才其实那个 model file 是 有点问题的，你要用的其实是这个这个东西 为这里为什么直接写千分三零点六 b 啊，而不是直接去写一个模型的一个路径啊？原因在于我 from 的 这个这个这个模型啊，它必须是一个拇拇拇拇拇支持的一个模型，支持的格式的一个模型，也就是说我 from 的 这个模型啊，得要在你的一个拇 list 这个模型库里面所拥有的这个 name， 你 可以直接在这儿进行引用，你不能用那个前面我们刚刚指定的一个什么在在某一个什么 model scope 下面下载的一个非 g g u f 的 格式的一个模型，因为奥拉玛仓库里面模型默认是 g g u f 模型，所以你可以直接进行一个 直接进行一个引用。好，我这 from 千万三零点六 b 是 我奥拉玛仓库里的模型，然后设置一系列的一个 temperature 和一些什么 top p， 一 些什么 number， predict 的 一个长度，什么二零四八，然后指定了个 system， 以及 一一个绘画的一个 template。 好， 那我定义完这个模型以后，我，我怎么样进行一个，哎 sorry， 创建一个对应的一个自己的一个模型呢？ 因为我这个模型的话，是相当于对原声模型做了一个绘画模板的一个设置，对吧？当然如果你自己是一个微调模型的话，你可以基于千万三的一个微调的一个结果，以及你的一个 adapter 进行一个合并，那么进行 adapter 合并的时候的话，你你可以参考这给的一个视力 adaptive lora weights， 对 吧？好，那我这里因为没有 lora 的 话，我可以直接来创建这个模型，但创建的一个命令其实都一样的，那我就 alama crate small 千万杠 f。 然后我因为我是在当前目录下指定的一个 model model file， 呃， general 是 model comps， no model fail or safe 杠 f more， 这，这里写错了 modular fail， 那 这个文件名别指定错啊，因为我这刚刚文件名写错了。好，那我现在的话就能定向到这个用这个文文件名进行一个创建嘛。那我现在创建完了以后，我给大家看一下， 那我现在是不是创建了个 small 千万 latest 的 这个这个这个模型啊？那我现在就可以通过奥拉玛 round small 千万 ladies 的 这个名称来进行一个模型的一个对话。好，就是这么的简单，那下面我们就来演示，拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇。 那么第一个的话就是我们前面讲过 alama server 可以 启动 alama server 对 应那个服务，那么当然 alama server 它启动的是一个，就是相当于我把这个服务直接展展，展示在我这个 shell 的 一个窗口里面，那么我断开 shell 以后，这个服务的话就会失控。 那么也有种方案的话，是通过 no hub 的 一个方式， no hub 再加艾特的一个方式，将 alama 在 后台进行一个启动。那么我这儿的话，为了演示方便的话，依旧使用 alama server 在 我们的一个命令行中直接进行一个启动， 你可以看到它的一个 alarm 启动的时候，它会监听的一个端口是当前本机的一四三四这个这个端口进行一个监听，所以你可以通过一四三四这个端口与 alarm 内置的一些就你下载下来的一些模型进行一个交互。 那我们前面已经讲过了，就是我们安装了一个呃，千万三零点六 b 以及千万基于千万三零点六 b 加上了一个 promote 生成了一个 small， 叫做 small 千万的一个自定义的一个模型，那么我们就用这两个模型来进行一个访问，那么它的一个第一个的一个 api 交互的一个接口叫做一个文本生成的一个接口， 它的一个端点的话用的是 pos 的 一个路由的话是杠 api， 杠 generate， 它的一个功能是向模型发送对应的一个提示词，就是用户的一个输入，并生成对应的一个文本，那么我们用这个 来访问一下，当然你这可以设置一些参数啊，那我这的话给它访问一下。那首先我们先看一下我们用哪些模型啊？呃，通过 omaha list 可以 查看我现在拥有哪些模型，那么一个是千万三零点六 b， 一个是 small， 千万 latest 这三这两个模型，那我可以通过 omaha ps 来查看我当前运行了哪些模型。那么我由于我现在没有进行一个刚起服务，没有进行一个模型的一个载入，所以的话我这不需要做任何，呃，就我，我这没有任何模型的一个当前在运行的一个记录， 那接下来我直接向这个欧拉玛，对呢千万零点零三零点六币发送对你的请求，那么欧拉玛内部的话， 他要做的一件事情就是首先我要去加载这个模型吧，那我加载这个模型到我对应的一个显存吧， 然后我进行基于这个模型进行一个回复吧。好，这时候我们再来看对应的一个欧拉玛。 ps， 用这个命令查看当前正在运行的模型，你就可以看到我千万三零点六 b 这个模型已已经起起来了，并且我在我对应的一个啊 显卡上面可以看到有千万三零点六 b 这个模型的一个显存的一个占用。 当然这里要给大家提到的一点就是这里有个 processor， 它里面显示是百分之一百 gpu， 指的是当前我这个模型正在用百分之一百就是纯 gpu 加载的一个模式，那么这样速度是最快的。 当然的话，有部分同学如果在使用过程中发现了一个问题，就是你自己是有有显卡的，但是这 processor 处理器这个地方，它显示的是百分之一百 cpu， 那 么这里可能会有一个一个原因在于什么？我给大家稍微写一下这百分之一百，有很多同学都会遇到这个问题，百分之一百 cpu， 那如果你要那，那这里可能有两个原因。第一个原因是你的你的模型显存占用过大， 就是你机器载不了这个显存，那欧拉玛会会自动将其用 cpu 加载，这是第一个原因 就是你你当前这个模型啊，比如说我，我一个十六 g 的 显卡，我现在要要去跑跑一个三十二 b 的 模型，那我加载不下怎么办？那么欧拉玛会自动将加载不了这个显存，欧拉玛会自动将其用 cpu 进行一个加载，那是第一种情况，第二种情况是安装 奥拉玛的时候用的是无卡模式，奥拉玛会自动适配 cpu， 那如果你安装的是安装时，建议在有显卡的模式下进行安装，奥拉玛会 自动适配 gpu， 也就是说你这个安装过程中建议大家不要去省这个钱，就是以有卡的一个模式进行一个启动， 那么欧莱玛在安装完成之后就会适配你的一个 g p u 显卡，那么后续你起一些小模型的时候，当你当你这个机器能载这个小模型的时候， 那它就会以百分之一百 gpu 的 一个形式进行一个加载。那如果你在无卡模式进行奥拉玛的安装的时候，奥拉玛由于适配的是 cpu， 所以 下一次你在启动奥拉玛模型的时候，它会自动在 cpu 上进行一个模型的一个启动，这里是一个小的 tricks， 很多很多同学的话都会遇到。 好，那我们言归正传，我们现在已经看到了一个，就是我去请求对应的一个千分三零点六 b 这个模型，那我现在改一下，我现在把这个模型改成一个，那我就我就这个这个请求直接改一下，那我现在把千分三零点六 b 改成我们的一个 small， 哎，叫一个 small 千万 latest。 好， 我现在换了一个模型进行一个加载，那么我们现在再来看一下它，它对那个欧拉玛 ps， 那 么它你你会神奇的发现，当之前加载的那个模型欧拉玛三， 呃，这个千万三零点六 b 这时候已经关闭了，那么现在当前正在服务的是一个 small 千万，这其实也是欧拉玛的一个优化，相当于说我在不使用这个模型的时候不进行一个加载， 我只有在使用的时候我再进行一个加载，好吧，这就是一个，呃，绘画文本生成的这么一个接口， 那我们看一下对应的一个第二个接口，是一个聊天接口，也就是一个对 chat 的 一个接口，那么它的端点的话是也就是这个路由 api， 这个路由的话是杠 api 杠 chat， 那 么它是其实支持一个多轮对话的模型，会记住上下文，当然这个多轮对话也是以传餐的一个方式进行一个传递的。 好，我们看一下，就是，呃，现在有个情况就是，呃，我首先有两轮对话，就是你好，请介绍一下你自己，然后他说我是谷谷炮科技开发的 ai 助手，能唱歌跳舞，很高兴为您服务。然后我问你是谁开发的？ 注意我们现在用的这个模型是千万三零点六 b， 是 没有进行一个提示词引导的一个模型，它本身并不知道它是谷炮科技开发的，那我们看一下它的一个调用的一个情况。 好，他回复了，他说我是古炮科技开发的 ai 助手，能唱歌跳舞，那这个是不是由于我的一个历史记忆啊？ 就是我在这由于阿斯斯坦的说了这句话，所以我再问的时候，那么他就能根据历史记忆来进行一个回答，那当然的话，这里可以你可以选择一个流势和和非流势进行一个对话， 通过这个 stream 参数进行一个控制。呃，我试一下这个地方能不能用流逝来进行一个回复。好，那这个就是一个流逝回复。好，以 chunk 的 一个形式就是流逝来进行一个回复，你可以通过一个流逝的一个接收的一个方式来进行一个文字流的一个推送。 那我们现在再来看一下当前的一个模型的服务状态。好，我刚才从 small 千万这个模型，现在又切回到千万三零点六 b 这个模型了吧。好， 那接下来我们看一下 orama 和 python sdk 的 一个交互，那我这给大家写了一个文件，大家可以在这节课的一个课程目录下面找到这个文件，就是 orama 与 python 交互的这么一个文文件。那我先把，呃， 我直接来执行吧。那，那首先就是一个还是一个文本生成，你你，你，如果要跟 python 交互的，首先你要 pip install 一下这个 alama 这个包，那安装完这个包之后再来执行下面一些代码。 嗯，我看一下 promote， 哎，这为什么 import alama 等于 alama 点 generate， 哎，这为什么，哦？魔斗等于 这个为什么跑不起来？好，可以了那，呃，我们看一下就是它第一个文本生成的一个 api 的 话，就是 alama 点 generate 这个方法了，你就能够实现一个文本生成，它会自动去加载我们这个 alama 三零点六 b， 这直接写对应那个模型名称就行了，那么你可以看到它生成的对应的一个结果，可以在对应的一个啊这里面 response 里面找到，你去解析对应个 response 的 这个值，就可以拿到对应的一个模型正式的一个回复了。 那么如果你是一个对话的一个模式，也就是我们刚才讲的一个命令行模式里面的一个 chat， chat 的 一个接口的话，那么你就从 from alama import chat， 然后 response 等于 chat， 然后将 model 和对应那个 message 放在里边。当然这个 chat 模式它其实是支持单轮和多轮的，那么你可以看到就是 运行之后，你通过 response 点 message， 点 content 的 方法，就可以将原来一坨东西里面去解析出对应的一个所要的一个文本，那么这个就是我们想要的一个东西，对吧？ 那如果你要做一个流式的一个响应的话，那么你可以通过一个 stream 的 一个方式，就是 stream 等于 chat， model 等于 这这个东西，然后不一样一点是 stream， 你 就要指定 chat 的 这个函数，呃，这个函数方法里面的话， stream 要等于 true， 也就流逝进行一个传递，那么流逝在传递过程中，它由于是以以 文字快的一个方式逐个进行一个推送的，那前面我们也可以看到，看到在这个命令行工具里面也有演示，它是一块一块生成的，那么我是不是在一块一块推送给我的时候，我也要以一块一块的方式进行一个接收啊？所以的话， 嗯，所以，哎，是这个是这个文件吗？ 哦，在这儿，那所以的话，我这写了一个 for chunk in stream， 就 相当于在这个流势里面，我去不断接收对应那个 chunk， 然后把对应那个 chunk 通过一个 message 和 content， 你 或者你，你也可以是 chunk 点 message， 点 content 也可以，那么将它这个文字形式给呃那个打印出来，然后不断追加的一个方式进行一个打印。那我们看一下效果 呦，那它这这里就是一个典型的一个流逝输出，这个就跟我们在那个网页端用 deepsea 进行一个对话时候效果是一样的。 那那接下来还有个就是要讲如何通过一个定义客户端的一个方式进行一个请求。那我们知道我们前面学过很多，就是关于一些大模型的一些调用 里面，它有一个客户端，就叫做一个 open ai 的 一个客户端，或者一个谷歌有自己的一个 客户端，然后包括火山引擎，有火山引擎的一个客户端，那么如何定义一个客户端去连接我对应的一个请求呢？那么它也提供了相应的一些 api， 那 么它的一个方，一个定义客户端的一个方式，其实就是我 from alama import client， 那我有了这个 client 以后，我要去创建一个客户端实力吧，那我创建完成这个客户端实力，我就可以不断的用客户端实力在后续代码中去调用一些接口进行一个访问吧， 相当于客户端实力就是指定对应的一个。呃，我我的一个对应的一个服务是什么？然后我根据我当前的客户端实力可以不断地去调用后续的一个模型，好吧，那么它的一个客户端就是 client， 然后指定你对应的一个， 呃， alama 的 一个服务地址 host 等于 local host， 然后一四三四是 alama 服务的一个端口。那 header 的 话，这个地方随便写什么内容，因为有有一些场景下的话， header 里面需要去传一些， 呃，一些特殊的一些信息，供服务端和客户端之间之间进行一些信，一些加密啊，或者一些一些验证，那么可以在 headers 里面去做一些文章。那我们这个 case 里面的话，其实 headers 用不是用不到，所以的话 headers 里面传什么纸都可以。 那么我我们指定这个 response 的 话，就可以用我们先前定的 client， 以通过 client 点 chat 这个方法去调用。因为我前面没有指定对应的模型，所以我要把 model 等于 small model。 呃，我这个是叫 small model 吗？ model 应该是叫做 small 千，呃，我看一下我这个 model 名称叫什么？这 model 名称应该是叫做 small 千万 latest， 那我就是应该是以 small 千万，我先把这个关关一下。好，我，我应该是 small 千万 latest 的 一个方式进行一个调用吧，然后我指定对应那个 message 一个列表，那你这里可以是单轮的，也可以是多轮的。 好，那么它这里就会进行一个呃，思考，然后，好的，请问我是谁？那么这里就会有个 think 的 一个对，然后最终得出一个答案的话，呃，我是 google 科技开发的一个智能助手，那么专门为 学生辅导相应的一些作业。那这个是不是因为我们前面定义了 small 就是 千万零点六 b 一个 google 科技开发的一个 promote 嘛，包装出来一个模型嘛，那就这样就进行进行了个，进行了一个调用，那么你后续也可以连续对话过程中，你可以不断地去调用这个 client 点 chat 的 这个方法，进行一个连续的一个对话。 好，嗯，那前面讲的一些其实都是一个啊，同步的一个客户端，当然的话，我们在生产过程中，由于可能会用一些异步的方法来进行一个请求，那么同步和异步之间有一个什么区别呢？和大家稍微讲一下， 那同步服务的话，又叫主设置，主设置服务，嗯，它的一个核心理念就是说当我的一个请求过来的时候， 我一个请求过来的时候，一个 request 过来的时候， 过来的时候，那么我的一个 server 端的话，我必须处理完成当前的一个 request 以后，就处理完了这个 request 以后，我我下一个 request 才能够被我的服务端所接纳， 也就是我 request 一 结束了之后，我 request 二才能进入到我的一个服务端进行一个处理。那么这样是不是 用户量大的时候，它它这个流量就会被堵塞啊？就相当于我这个服务端，由于这个服务端要一个一个排队处理的话，那我我请求就得一个一个在后面排队啊。 request 二， request 三，那么这个就是一个同步服务， 那与之相对呢，就是一个叫做异步服务。 异步服务它的一个原理是这样的，就是当我一个 request 一 在处理的在被 server 处理的时候，这时候还没有处理完，这时候我来了个 request 二，那我在 request 二进入 server 的 一个过程中的话， server 能够先拉起 先拉起一个县城进行并行处处理， 那 request 三的来的时候，它又会新拉几个星县城进行并行处理。那么这样的一个模服务模式是不是效率会显著比同步模式一个处理完了以后，等第二个再处理效率高的多呀。 好了，那异步就在做这么一件事，那么异步的话，所有的一个方法之间的话都都得是一个非主色式的，那这个同步服务又叫主色式， 是服务，那么异步服务是一个非主色式服务，那么非主色服务服务的话，要用非主色服务的一些专有的一些写法。比如说在 python 中的一个非主色是服务的一个关键字，就是叫做 define， 然后一个 function， 那 我们同步的定义函数的方法是 define function， 以这样的一个模式，那么所有的一个过程的话都得是非主色的。因为在非主色式服务里面，方法之间的调用，如果存在一个 一个方法是主色式的，那么整一个非主色式服务的一个体系将变成一个主色式服务。所以你要写一个非主色式服务的一个接口的时候，你要保证你所有的一些函数方法全部都是以非主色式服务进行一个定义的，包括这个 client 也要以非主测试服务的一个方式进行一个定义。那么非主测试服务的 client 怎么在 alama 中怎么定义呢？那你先 from alama import 对 应那个叫 a s y n c client， 这就是一个异步客户端， 那么它是适用于一个需要并发的一个场景，好吧，然后你去定义一个异步的一个 chat 函数，那么这个 chat 函数的话，就是 就 asy and c define 和 await 进行一个搭配的话，就主必须要有这个 await 来修饰它的一个主色，主色符就是主色过程，那么才能实现 asy and define 的 一个功能，就这两个东西，它是搭配使用的，不能没有这个， 没有这个的话你可以去执行一下，代码是是执行不了的，所以必须是 asy and c define 啊 wait 的 一个方式，来实现一个异步的一个过程。那我们看一下异步客户来来调用的话，呃，哦， asy and c do wrong chat cannot call for a wrong event loop。 那我们试一下直接进行一个调用呢？ await chat， 嗯，我这里这个一个模型，这个模型不对，这个模型我得用一个 small 千万 latest 的 这个模型换个模型。 好，那我是不是通过 await 的 await 这个方法的一个形式，就能调用这个异步的一个函数，然后来实现一个异步的一个客户端的一个 chat 模式的一个推理？ 好，那这个是一个异步的一个流逝响应，那么我这里也改成一个 await chat 的 一个方式，进行一个异步的一个流逝响应。 当异步流逝响应的时候，他要接收的时候要 a， s， y， n， c four part in await 这个这个这个，然后再去请求一个流逝的过程。这这都一些固定的写法啊，也不用去记，反正就是到时候要用的时候直接直接 copy 过来就行了。 好了，那包括就是 alama 的 话，提供了一系列就是 python， s， d， k 和 alama 之间交互的一些其他的一些 api 接口。那么我这儿给大家总结了一下，有这些方法， 包括这里面我就不一一执行了，我们简单看一下 chat 方法， generate 方法。前面讲过了，那 alama 点 list 的 方法，可以看出所有可用的模型，那 alama 点 show 的 一个方法，可以看 模型的一个详细信息，那欧拉玛点 create 的 一个方法的话，可以从现有模型创建新的一个模型，就类似于我们刚才看的一个创建 small 千万的这么一个过程，那给予一定的一个 system 的 一个 promote， 那 包括一个欧拉玛的一个 copy 的 一个过程，可以做一个模型的一个拷贝 啊，删除模型是欧拉玛点 delete， 然后从远处仓库拉取模型，欧拉玛点 pa， 从本地 呃模型推送到远程。哈，我说 alarm 点 push， 然后生成文本嵌就 embedding 模型，那么就是 alarm 点 embedding 去加载对应的一个嵌文，比如这里当然是得是一个 embedding， 得是一个 embedding model 啊，就 your embedding model， 然后输入一个 input， 它就能返回一个文本嵌入的个结果，那么正在查看的一个模型列表就是奥拉玛点一个 ps 好 了，然后我们最后看一个就是 alama 的 一个错误处理的一个机制，那么 alama s d k 会在失败请求或响应流逝传输出出现问题时候，然后抛出对应的一个错误。那么这个我们在生产时间过程中的话，你一定要有对应的错误处理机制，因为模型不能保证百，永远百分之一百工作正常， 所以的话我们可以通通过一个 try x accept 的 一个方式来捕获这些错误。那么举个例子，我们用 alama 点 chart 这个接口来 来对话模型的时候，如果出现了一个错误的话，你可以用 alarm 的 response error 的 一个方式，来来来，它定义在这个 response error 这这个这个方法里面，那么你可以打应对一个 e 点 arrow 的 方法来打应对这个错误，并且如果发现一个是四零四的时候，那说明这个模型不存在，你要用 alama 点 po 方法来下载一些模型，那么这个其实就是在一些工程实践中的一些错误，处理的一些机制和方法。那这儿的话也就跟大家稍微提一嘴， 那我们 alama 相关的一些代码的话，就先讲到这儿，大家可以去根据我的这份文件去练练一下。 好啊，包括拇。 那么怎么样使用 web ui 呢？那首先你要去安装一下 open web ui， 但是这个 open web ui 这个包非常的大，所以建议大家在安装的过程中去加一个清华园，那就是这样能加快一个安装的一个过程。那么清华园是怎么 啊？我们教你这里直接搜索一个清华园源头。好，那么你就可以去看到那个呃清华园的一个镜像的一个地址，那我把这个地址直接复制到我对应的一个呃教程里面。 好，那你通过 alama pop pop web ui 的 一个方式来下载 alama 对 应的一个 web ui， 那 我这已经下载完了，这个这个这里面东西超多，要下下挺久的。下载完了以后，你可以通过 open web ui 啊，我这遮住了，然后 open web ui， 然后 sir serve 启动这个服务，然后指定一个对应的你希望的一个端口来进行一个访问。那我这儿的话，比如说我这儿因为用的是企业版的一个 auto auto dl， 所以 的话 啊，我是不需要去进行一个隧道访问，就可以进行一个外网的一个交互的。 哎，哦，我，我这台机器没有装那个呃欧拉玛的一个 web ui， 那 么我们这我们这就不演示了， 反正就是它，它是一个什么什么什么东西呢？给大家说说一下。就是你通过这款这款命令的话，就能启动这个 web ui， 启动 web ui 以后的话，你你要去 用你的一个名字和呃邮箱和密码去做做一个验证，那么验证完了以后的话，后续你就可以根据你的一个电子邮件和对应那个密码进行一个登录， 那么登录完了之后的话，你会进入一个工作台，那这这个工作台里面会有你曾曾经在 orama 里面下载的一些模型，你可以在这个 orama 下载这些模型里面进行一些模型的一个切换和选择。 那么你可以在这个这个地方的话，就是一个以一个对话的一个方式，就类似于 d 网页端 deepsea 对 话的一个方式，跟沃拉玛内置的一些模型进行一个交互和对话，那大致就是这么一个功能啊，但我觉得这个功能其实没有太大的用处。 好了，我们看一下欧拉玛它的一个优缺点及一个实用场景，那相信大家在用这个欧拉玛过程中的话，也发现了欧拉玛这个最大优点是什么呀？ 是不是方便啊？你，你现在要下载一个新的模型，我只要短短一行代码叫欧拉玛 run 这个模型的一个名称，这个模型就能够自动下载下来并且启动。 然后我通过一些很简单的一些通用性的一些 api， 那 就比如说我这这些 api 我 并不关注这个模型它它真正真正该如何进行的调用吧？ 那如果我到一个 github 上面，或者一些 hangageface 上面，那每个模型它可能调用的一些方法参数，呃，参数的一些配置可能多多少少是有些差异的吧。但是我如果我用欧拉玛来进行一个部署这个模型的话，第一我下载起来非常的方便，一个模一个一个模型名称就完事了。第二个的话， 我这个模型格式相对是比较小的，因为我是我是一个 g g u f 的 一个模型格式。第三个的话就是 我下载完了以后，我可以用欧拉玛提供的一个统一这个 a p i 的 一个范式进行一个推理吧。我不需要关注这个模型它它应该怎么样去定义，定义一些不同的一些参数的一些配置吧。那我我直接用欧拉玛提供的一个统一这个模式去调用所有这个模型吧。 所以欧拉玛的话，它非常它它的一个适用场景就是方便，它适合于一些个人用户、小型项目或需要一些快速部署来看看这个模型能力的。这这个这个场景 那么比较适合隐私保护和简单操作的一些应用。那么我直接部署一个，然后通过通过一个后台启动的一个方式将一个欧拉玛服务启动，然后我就可以直接跟欧拉玛破 破下来的一些模型就拉到我对应那个本地的模型仓库，这些模型进行一些接口上的一些一些少流量的一个交互就完事了。这就是一个奥拉玛的一个优点。那么缺点是什么呢？ 那缺点在于啊，欧拉玛相相对于一些其他的一些高效推理的一些框架，比如说我们后面会讲的一些 v l l m， 还有 s g long 这样的一个推理框架的话，它在一个高并发和大规模部署方面的话，其实是表现比较差的 啊？表现，表现比较差，因为它不是一个用来做企业级部署的一个框架，企业级的话不可能用 orama 来进行一个部署的，它更多的就是用一个个人的一个验证，好吧？
52AI大模型
02:32查看AI文稿AI文稿我又来了之前推荐的拉玛 c p p 的 turbo crown fork， 刚刚合并了上游的 m t p， 也就是说现在可以同时开启 m t p 跟 turbo crown 克隆项目后，用这两条命令来进行构建。这个是库达的指令，构建成功之后就会出现拉玛 server， 因为我本地都已经下载构建完了，这个过程我就不多做演示。 然后这次我准备了两套方案啊，分别针对二十四 g 和三十二 g， 存的二十四 g 就是 q 四 k m， 然后是一百二十八 k 上下文， 三十二级是 q 五 k x l， 然后配两百五十六 k 上下文。这里要注意啊， k 和 v 它一定要是不对称的，如果你都写四或者都写三 k cash 就 会被量化成 q 八，这个时候显存应用反而会增加。 我现在已经加载了二十四 g 显存的方案，可以看到我的显存占用现在是二十二点四 g， 留一个多 g 作为余量将不容易。 o o m。 然后我又加载了三十二 g 的 方案，可以看到现在的显存占用是二十八。呃，留的余量比较充沛，将更不容易。 o o m。 然后之前有人问 m t p 是 否支持多模态功能，我这边给大家演示一下。还是刚刚那个模型，分析一下这张图片，注意这是 windows 路径。 思考过程我就不录了，直接贴。结果比较准确的是这张图， 然后这个速度也有一百一十四头感，每秒还可以。最后我问一下，就这个新的显卡比五零九零温度高好多，不知道正不正常。 五零九零正常，我满载大概八十度左右，这个六千满载也干到九十度了，有的时候我看着都有点害怕。
326Y.Ai
02:58查看AI文稿AI文稿谷歌真的是深夜放毒，官方教你把 jam 四提升三到四倍。我们先看一看谷歌刚刚发布的这个技术文档，这个技术文档里面呢，它就提到了一种叫 mtp 的 技术，也就是我们前几天刚讲过的 mtp。 呃，谷歌提到 mtp 的 话， 它基本上已经是比较认同这个技术，而且这个技术是非常值得推荐的。呃，我们先看一下它给的一个对比效果， mtp 也就是投机解码，谷歌给出了一个实用的效果，我们可以看到两侧的一个速度差异，基本上能把这个本地大模型的速度提升两到三倍。好，我们先看一下具体的一个配置方法， 比我们想象的简单。这两天我一直在做测试。嗯，把这个 谷歌的这个模型直接在嗯， l m studio 里下载一下，看一看，试一试能不能配置。但是实际上我们可以看到它这个模型吧，就是选择这个下面这个投机接码的草稿模型的时候 是没有办法去兼容的，所以说我们只能用我们自己的方法去用命令行的方式去配置。先点开一下我们的智能体，让它帮我们配置一下，看看有什么样的方法。 在视频的最后，我也把千万三点六二十六 b 这种模型的配置方法。呃，具体方案给大家再演示一遍。呃，因为很多人对这个千万比较感兴趣。 好，我们先翻找一下。呃，我之前配置的一个历史记录，我们可以看到 谷歌非常贴心的给到我们非常成熟的方案。第一个是直接用奥拉玛直接拉取这种支持自投机解码，或者是支持已经配置投机解码的大模型，我们什么都不需要做，直接用奥拉玛运行就行了。但是我们都知道奥拉玛它的速度比较慢，我也不大喜欢，所以说 我们还看一看有没有别的方法。第二个方法就是直接使用刀口镜像啊，这种也不需要我们去手动去配置，然后直接拉取镜像运行就可以了。我也是选择这种方法，然后把这个投机码运行起来的效果还是很不错的啊，跟官方说的一致 啊，基本上这个就没有什么技术门槛了，把这个命令行就这一句话，那你运行一下就可以了。嗯，非常非常的简单，我会把涉及到的一些呃代码命令行直接贴到文本教程里面去。 好，最后我们再补充一下前文三点六的一个 mtp 投机码配置，我们可以看到这两个模型它的搭配起来是速度最佳的，我们测试一下看一看。 嗯，这个生成速度，呃，作为本地大模型来说是非常非常的够用了。其实重点就是把主模型和草稿模型选对配套可抄作业的文案教程已放公众号。
35酋长师兄
02:33查看AI文稿AI文稿那洛拉呢？这个是一个，其实也经常叫洛拉训练，是吧？但是他也是一种格式，是给大模型打补丁， 他不是完整的大模型参数，而是高效微调的补丁。他的本质是一种轻量级的微调技术，训练出一种文本，体积很小，并非一个独立的完整模型。 典型的用户就是我们会用 ai 绘画者、模型定制师以及需要快速定制的垂类开发者和。核心优势是体积小 啊，训练成本低，效果效果显著，不影响模型的推理速度。它的核心用途就是快速教大模型掌握新的发风特定知识的冷门学习。某个专业的人数 能直接运行吗？不能，他必须得跟他的 base 模型加载在一起，就是通过寄生和跨靠在一个基础模型上才能生效。大概就是这个意思，一句话总结就是现成的大模型，那个补丁，他能快速低成本的让他学到新的东西，新的技能的 啊，就是这样的，它严格来说它其实是一种训练方式。好了，我们快速的看一下这几种格式，常见的肯定是就是看你怎么选哈。就是自己电脑拟现部署聊天伺候 cpu 的 呢，是 g g u f 这种格式， 然后有 n 卡项追求数的呢，就是 aw q 大 于 g p d q 大 于 ex l two 这种就是具有 n 卡 量化版本的，就各种格式。第三是显存还小，还想用 n 卡，肯定就是，嗯， exl two 写代码呢？微调呢？二次开发呢，肯定选 self tensing， 嗯，就是 self tensing， 因为它呢是一种安全 格式。然后，嗯，就是经过社区的一个验证的。然后第四五种呢，就是做嵌入式开发的，就跨平台，大家可以理解一下，就是推荐一个神经网络的交换格式 o n x， 它就基本上要把其他格式转成这样， 然后呢高企业的高级性能部署呢？一般选腾讯 r t， 然后呢改风格，专属定制呢？这叫 rol， 其实这种这是一种训练方法，大概就是这几种。 好了，我们今天给大家分享的大模型的格式就到这，我们下期再见，拜拜。
23AI闲谈小馆
02:21查看AI文稿AI文稿最近拉玛支持 m t p 了，我测试了三个加载模型的软件，就这个拉玛比较好一点，其他的欧拉玛呀，还有这个 u m studio， 感觉都很一般呢，特别是给那些工具代理的话就代理不成功。再说一下它这个加速效果吧， 它是二十七 b 的 三点六，二十七 b 的 可以达到五十六 t 每秒，这显卡是二十四 g 的， amd 的 显卡 就这个七九零零叉 t 叉内存是三十二 g， 虽然它是五十 g， 但它平均速度的话可能就是三十 t。 也没有，因为你平时可能会去问一些比较抽象的问题 啊，比如外星有没有文明啊，他就会加载速度很慢，大概就是三十 t 每秒，然后我自己在家里测试了十多次吧。有一个比较好的一个优化的思路，比如 q 四的模型最大能达到五十八 t， 这个是二十七笔，我平时就是修改一下代码， 用这个二十七 b 的 模型是比较好的，不过你是用那个 a 三 b 就 就就可能会出错，但凡是出一点错都不行，所以说得用这种稠密模型。 嗯，你们可以照抄，当然也可以自己去修改。我是建议自己去想这个参数配置，因为很可能会超过我也说不定呢。用那个 q 五的话，它是三十八 t， 最高只能到三十八 t， 也是跑一些代码才能打动，不过问抽象问题的话就会衰竭很多。 我最近还试了一个，就是 turbo turbo 这样说，嗯，然后自己去翻译的样子，但是没有成功嘛？ 然后，然后，然后问这个 ai， 问了好久，嗯，都没有成功。我是怀疑就是不支持 a p m d a p m d 它这个功能软件出来的话还是要还是要慢一点， 这是一个下载的一个 java 的 一个文文件，然后把它翻译出来了，可惜测试了很多遍不成功啊，目前就是只能用 mtp 加速。
17Sun_^
01:41查看AI文稿AI文稿上一期我把 pro 六千塞进一个不到两百块的 m a t x 机箱里，差点给它烤熟了。评论区非常热闹，大家纷纷帮我出主意，并分享装机和本地部署经验。 有个哥们说他用双三千零九十跑到每秒七十偷啃，然后另一个大佬同样扣六千，能跑到一百二十都在高速狂飙，我的二十八一定有问题，不能忍！仔细查查是怎么回事，险存贷宽就是一条路，模型越大，要搬的货越多，路就这么宽，货太多就堵死了。 我的问题出在这，我来回试模型，最后定格在 f p 十六全精度跑这个模式下，模型占五十四 g b， 九六 g b 的 卡只用了一半显存，但待宽已经堵死了。我把工号从四百瓦拉回到六百瓦，速度一点没变，说明算力根本没吃，马路先堵了。 解决方案，把货压小，从 f p 十六换成按四压缩模式，模型从五十四 g b 缩到十七 g b， 速度直接翻倍，六十二翻倍了，但离一百二十还差得远。评论区那个大佬又给我指了一条路， m t p 多透肯预测， 普通模式是 ai， 一 次猜一个字， m t p 是 一次猜好几个字，猜对了直接跳过搞这个得从原码翻译推理引擎，翻译完加载模型，开 m t p 看看，结果幺三六，这简直快如疯狗，相当于一秒钟两百个字，比一目十行还快， 可以裸跑一百三十六瓦。 aby 实际使用一百一十一，和大佬说的基本一致，从二十八到一百三十六，速度翻了快五倍。同一张卡，同一个模型，换了推理引擎和参数差了五倍，速度的问题解决了，继续折腾。
05:23862巅峰玩家
04:03查看AI文稿AI文稿老朋友泡泡茶，今天我们来聊一个很多 ai 号者都会遇到的一个问题，面对大模型，五花八门的格式很多，比如说 g g u f g p t q a w q 等，我们到底该怎么选？这节课我们将用最通俗的方式把这些格式的来龙去脉，用途，选择方法一次性讲清楚，告别选择困难症。 首先我们经常用的 g g u f 可能很多都没听过，但是常见的都是 p t 的 b p t 啊， self tensers 等。还有另外一种显卡优化与加速这几种格式，这种用的也更少见。第三是步数与定制， o n n x 这个用的还可以， ten c r t nova。 嗯，然后第四次极简的选型口诀，我们先了解一下这些格式都是什么意思。 g g u f 本地运行的通用标准，简单来说呢，它就是在个人电脑上跑 ai 大 模型的通用标准格式。 上一次我下载模型的时候，我发现我想在本地跑，但是又没有 gpu， 然后，所以说呢， gguf 这种格式呢，就是本地部署大模型的最好的选择， 它的前身呢是 ggml， 这个了解一下就行了。 gg gt 现在统一就是 gguf 这种格式，它能干嘛呢？专属为电脑本地 cpu 和显卡运行的。嗯，模型格式 谁在用呢？我们经常用的这样的一个框架和 lm studio 叉 gpt、 本地客户端等主流工具， 它能直接跑吗？能，它下载之后呢就可以运行，因为我们本地没有 gpu， 我 们大部分电脑都是 cpu 的， 所以说就要选择这样的格式来运行。它的核心特点是体积小，加载速度快， 不崩溃，兼容性打满它的后缀呢，必须得选 g g u f 这种格式的。 嗯，那我们训练大模型的 pose 的 原声格式呢？就是开发者的原声格式呢？它基本上就是，它是什么样子的呢？它理解是模型原始的权重文件，它是大厂训练完直接保存的原声的。呃， 就是原生的模型文件。核心存储的权重可以用来干啥呢？用于二次微调，修改模型的结构、算法创新等深度开发场景。实在用呢，核心是算法工程师。嗯，模型的研究者和开发者。 然后还有一种格式叫啊，就是上面一种格式呢，一般保存的是点， p， t 等。然后。然后另外一种格式呢？我们常在它跟 face 上看到的格式呢，就是 self translucent 安全版本的原生权重 点并那格式的安全升级版本。它是什么呢？它的功能和点并格式呃，完全一致，但是必归呢？安全风险更更安全，更可靠。 它干啥用呢？是用于模型的二尺微调推理部署与开发，是模型训练的标准产物。谁在用呢？在这个 hack and fish 的 开开源社区里面，以及所有的关注模型的安全的开发者 能不能直接跑呢？不能直接双击运行，需要通过代码加载后才能运行。它的核心优势呢，无恶意代码注入风险，加载速度快，且多种语言可以支持。 一句话总结，专为开发者打造的安全版本的原生模型权重，消除安全隐患，安心微调。
37AI闲谈小馆
