ollama本地部署如何微调

啊，大家好，这里是零比说，今天我们主要来说一下如何本地部署买打最新发布的拉姆索瑞 ai 大模型，支持 cpu 和 gpu 运行。虽然在上一期视频里我们已经演示过如何进行下载和安装，但是那个教程对于新手来说可能有点难度， 所以今天我们来做一个更简单的步骤方案，你只需要动动手指头就可以安装完成。在开始之前，首先我们需要打开零度博山这篇文章链接，我会放在视频下方，打开以后，然后往下拉，接下来我会介绍三种不同的安装方式，他们更有优势哦，但是总有一款是最适合你的。 首先我们说第一种就通过 gpdfo 这款程序来进步数，他比较适合低配置的电脑用户，不仅可以通过 gpu， 也可以在 cpu 上进行运行。我先把端下来，点上方下载链接 啊，打开以后，它上面总共有三个版本，一个是 windows， 然后第二是麦克，还有另一个是都可以啊，它上方就说明这是一个免费使用，支持本地运行，具有隐私的聊天机器人，不需要 gpu， 也不需要联网就可以使用。那现在根据这情况去下载，比如这么选择，第一个就 windows 版本， 我们该倒下来，这款车型总共是二十六兆左右，我们先给他倒下来啊，下载好以后，然后下面双击打开进行安装一下， 这个安装过程就非常简单了，你直接点下步就可以了，他会自动进行安装，然后这里面勾选接受他条款协议，这么点下一步，下一步进行安装就可以了啊，安装完成以后，接着打开它 啊，进入以后啊，下面点下面有个 download models， 用来下载的大模型，打开以后大家可以看到这是我之前下 下载好的模型，如果你需要在里面下载 number three 大模型的话，那么只要在上面输入关键词 number three， 输入好关键词以后请搜索一下 啊，搜索以后就可以看到下方就可以看到这个 number three 的大模型了，它里面有多个版本，这里根据自己需要进行选择，如果电脑上没有一张好的显卡的话，那么建议选择八 b 模型，选择以后，点击右侧的登录的按钮，它就会自动下载这个 number three 的大模型。在下载过程中，我们来看一下它一些必要设置， 先给它关闭掉，然后点右上方这个设置按钮就这里了。打开以后主页看第二个选项，像第一个选项你给设置不同的颜色，比如需要白色的或者是黑色的都可以。 设置好以后可以在下方选择不同的字体大小，然后再选择设备。如果点赞没有显卡的话，当然选择 cpu 来去运行也是可以的，但通过 cp 运行的话，他速度肯定会慢一点，有显卡的话一定要取得显卡，然后其他的可以不用管。当他下载好模型以后，那么现在就可以在上方这里找到这模型了，选择指定模型以后就可以进行使用了。这里需要说明的是，如果想让这个 ai 模型进行中文回复的话，那么首先第一句话你要输入，你好，请用中文回复， 输入好以后，我发动想他就可以用中文和我们进行交流，别的没输入请帮我分析一下，你觉得额无冲动将会在什么时候结束，将会带来哪些深度影响？ 录好以后发送一下。对于八 g 上显存来说，运行这个八 b 模型速度是非常快的，不管是文本对话的写代码都非常快。但如果你是通过 cpu 来进行运行的话，我们来测试一下它的效果。我把这个硬件改成 cpu 来进行运行啊。切换以后你们试一下他现在通过 cpu 运行的，我来问他一下 幽默输入，你好，请帮我分析一下美国未来两年的经济发展趋势，那就通过 cpu 来运行的话，来看一下效果怎么样吧，大家看一下。用 cpu 来运行的话，他速度就慢很多了，所以说 cpu 并不是不能运行，只不过他速度比较慢而已， 他几乎是每秒两个字，两个字往外冒的。然后接下来说第二种方法，就通过这款 numbers 丢丢这款程序进步数，因为他支持的模型比较多，不仅有八币，还有七十币都有啊。接下来演示他的使用过程，我们先点下载 啊，打开以后，然后选择对应的版本，像第一个是有 mac 的，第二个是 windows 版本，第三个 linux， 因为是 windows 系统，所以这里选择 windows 版本，我们给它端下来，总共是四百多兆 啊。下载好以后，然后双击打开进行安装就可以了啊。安装好以后，然后进入到页面 gm， 在上方输入这个拉姆手雷这关键词来搜索这个大模型，我们点击购啊，这时候你就可以发现他上方就提供这个拉姆手雷的模型下载了，不管是八币还是七十币都有，到时候根据需要进下载就可以了，比如这里我选择一个七十一长处的这个拉姆手雷大模型， 打开以后在右侧这里你可以选择不同的模型，像这 q 一、 q 二、 q 三这个模型越大的话，他们他性能越强，如果在下方出现这种红标的话，那么意味着这个模型他已经超过电脑硬件配置了，这种模型就不要下载了，即使下载以后也没法使用的，别在上方这选择这种没有红标的就可以了， 优先选择这种绿标的，到时把登录下来就可以，点击登录以后，他会在下方这里显示整个下载过程，当他下载完成以后，那么接下来演示下如何使用吧。首先我们点左上方的兑换按钮， 这个 a charter 就这里了，打他啊，这段话他会新建一个对话框。首先第一步，在开始对话之前，首先我们需要选择对应的模型，在上方这里来选择这刚刚下载好的模型，比如说第一个就这个七十币七百亿长数的这 number three 大模型，我们选择它 这段话，他会自动加载这个模型的啊，加载完成以后你都没输入，请帮我编写一个拍正脚本，实现自动翻译 youtube 字幕，最好实现多元功能。录好以后我们点击发送一下，看他行不行啊。 好，这样他就开始了，这个是非常快的，这里需要说明一下是如果当运行这七十亿参数的模型比较慢的话，那么很可能是因为 gpu 没有开到最大县城啊，就右侧这里他有硬件设置，他可能是调用百分之五十的性能，如果想实现最大化速度，那么就在 下方选择这个 max， 它就可以百分百调用这 gpu 性能了。这个设置选项它主要在右侧有高级设置，这里打开以后就可以展开来 就会看到 gpu 设置了。如果你需要查找你自己下载好的模型，那么在左侧这里有个卖 models 文件夹，打开以后就会看到这里面都是我们自己下载好的模型，那么点上方有个显示这个文件夹的时候，他就可以进入到模型文件夹下，下载好的模型都在里面。 然后接下来我们说第三种方案，就通过这个二维码平台来进行部署，通过这款应用程序，它可以在 windows， 麦克还有雷凌的系统下进行运行，然后下面来试下它的效果。 我们先点下载啊，进入以后，他上方有提示他现在可以运行这个 number three mister 还有谷歌 drama 的计量模型，我们先把它端下来啊，进入以后同样选择对应的版本就可以， 对了，也就选择 windows 版本，总共是两百多兆。好。下载好以后，然后先把头像进行安装一下，打开以后点击 install 啊，当它下方显示这个 onoma 也是在运行中的，那说明它现在已经安装成功了啊。安装好以后，然后下面需要在我们的 windows 电脑上打开这个 wsl 功能，这样只要跟我一样在下方这里搜索这个，启用后关闭 windows 功能， 拿到选项以后，我们打开它好，进入以后，现在我们需要把里面有一个适用于 linux 的 windows 系统这个选项给它勾选上，勾选好以后，我们点确定， 他就会自动在我们电脑上安装好这个 windows 系统，安装好以后，我们点击重启下电脑，在重启电脑之前，你最好保存下我们当天这个教程，否则一会重启以后，你很可能就找不到了啊。重启以后，然后下面进行下一步， 就在我们电脑上安装下刀刻桌面板，我们点击前往啊，打开以后，那先把这 windows 版本给端下来，点安装下刀刻环境，那打好以后同样可以进行安装一下，咱们点击， ok， 还有这种安装好这个刀刻环境 啊，安装好以后，他需要我们再次重启一下电脑啊，重启以后他会自动运行这个多个桌面板，这么点击分进去就可以了，然后这他让我们注册一个多个账号来进行登录，其实不用登录也可以。然后接下来直接最后一步，就是在终端下通过这行命令来安装一个外部意外程序，对着可视化操作页面， 我把这按命令给扩闭一下，扩闭好以后，然后下方搜索栏里输入 c m d， 打开这个命令提示符啊，打开以后，那就把鼠标右键去粘贴一下，然后我们确认一下，他就会自动下载，并按照这个 opn 码这款程序的 意外程序的这个安装过程可能需要点时间啊，我们稍微等待一下，这里需要注意的是，如果你不在海外的话，那么一定要提前做好全球科六上网啊，那这里面点击允许然后就可以了。安装好以后，然后现在就跟我一样在浏览器上打开这个地址就可以了， 打开以后答应看到界面的话，那说明他就安装成功了，那下面进行注册一个账号，点下方一个三 up， 名字的话随便填写，有输入，零度，输入好以后打出一个邮箱，接着我们创建一个密码，输入好以后我们点击创建 啊这段话就可以了。在梦情况下他是英文的，然后现在把这英文切换成中文的，第三方一个设置按钮，然后找到里面一个 language， 把这个语言切换成中文的，有中文简体还有繁体都有啊， 装好以后我们点击保存一下啊，这样的话这个操作界面就完成了，那下面需要下载模型，同样进入的设置总型，选第三选项模型这里，然后选择对应的模型文件，比如这么选择这个拉莫斯瑞，如果你不清楚模型的名称的话，那么点下方这里 打开它，打开以后来获取这模型的名称，比如你需要下载这个 number 七十币的，那么选择以后在后面他会出现这个模型的名称了，把这后面名称给他扩币出来，用 numbers three 冒号七十币。扩币好以后返回来在下面输入这个模型名称就可以了。输入好以后，我们点击下载 好这段话，他就可以自动下载这个模型了。如果需要下载拉莫属类八 b 的话，那么把后面这个七十 b 改成八 b 就可以了。录好以后点击下载，他就会下载第二个模型了 啊，这拉玛索瑞八十一仓数的，他现在下载完成了，那现在试下它效果啊，我在上面选择一个模型，选择这个拉玛索瑞八 b 模型，那现在试下它效果， 比如输入，你好，请用中文自我介绍一下，录好以后发送啊，他说你好，我是那么一个由迈特 ai 开发的语言模型，我可以理解自然语言生成、人工对话并回答问题等等。 这款 ai 软件它是自带绘画功能的，它目前支持三种方式，第一个是对接 stabid defiction， 如果电商已经运行了这个 stab defiction 的话，那么可以在下方这里输入 stable defiction 的本地运行链接。然后第二是 conflic ui， 第三是 open ai， 就带有一模型， 到时在这里输入你的 open air mia 就可以了。更多的设置功能大家可以自己去尝试，大家写代码也没问题。今天视频所需要的全部资源， 他们链接我都放视频下方。