mac配置ollama本地部署
粉丝198获赞1055
相关视频
03:50查看AI文稿AI文稿macbook 本地部署大模型实战教学。
171要一直开心啊
05:03查看AI文稿AI文稿你的 openclaw 和 hermes 还在花钱调用大模型的 a p i 吗？今天我教你用零成本本地部署奥拉玛，在你的电脑上直接跑大模型，还能无缝对接 openclaw 和 hermes， 实现免费玩 ai 智能题工具。首先介绍一下欧拉玛，什么是欧拉玛呢？欧拉玛是目前最简单的本地模型工具，在 windows、 mac 和 linux 上都支持，几分钟就能装好，八 g 内存就能跑。当然了，还是建议最少要安装十六 g 内存， 这样体验起来更加流畅。如果有英伟达的显卡，还能够使用 g p u 加速。了解完了欧拉玛是什么之后，我们来看一下欧拉玛如何安装。首先我们要访问欧拉玛的官网欧拉玛点 com， 它的首页是 一个羊驼抱着一个龙虾，下面的英文是 power open claw with ollama， 中文的意思就是使用 ollama 为龙虾赋能，从这一点我们就能看出它是全面的拥抱和支持 open claw 了。这也是为什么今天我要在 open claw 的 专栏里专门做一期 ollama 视频的原因。 废话不多说了，首先要下载欧拉玛，点击右上角的 download， 这里我们可以看到它有 mac os、 linux， windows 的 下载方式自动已经给我们定位到了 windows， 点击这个黑色的 download for windows 按钮， 就会弹出下载框，点击另存为保存，有点大，两个 g， 这个网速非常感人，所以我建议大家用迅雷来下载。 我们已经下载完了欧拉玛的这个安装包，下面我们就开始安装欧拉玛的安装有一个问题，就是它没有让你选择 需要安装的文件夹这个选项，它默认是安装到我们的 c 盘 user 底下的，如果你想安装到指定的文件夹，那你需要换一种方式，我们先把这个安装过程停止。 我们找到拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇拇 斜杠 d i r 等于这里写上我们的安装地址，也就是记盘的欧拉玛文件夹。打回车就跳出来安装界面，我们点击安装，大家可以看这里已经安装到记盘的欧拉玛这个文件夹下面。 进了这个界面，就代表着欧拉玛已经成功安装并且启动了。安装好了欧拉玛，我们再来看如何下载模型。在欧拉玛的网站上点击这个 models， 就 可以进入模型列表，这里都是可以使用欧拉玛直接下载使用的模型。我们来找一下 谷歌的 jam 四，这个是最近小模型中比较好的，可以通过这一句欧拉玛 ram 四来进行下载。 输入奥拉玛 ram 捷摩斯回车运行。安装完了，我们来跟他说一句话试试。我们在这里输入一个，你好打个回车。 好的，扎马四已经回复了我们，虽然有点慢，但那是我电脑性能的问题。大家可以看到现在已经成功地让大模型在我们的电脑上运行起来了。再下一步我们就来看如何把欧拉玛接入到 open cloud 中。 ctrl d， 我 们来退出欧拉玛，然后输入 openclaw config， 进入 openclaw 的 设置，这个我们直接选择本地运行，这个我们选择第二个 model， 打回车进入，然后我们要在这里找欧拉玛， 这个就是欧拉玛提示我们欧拉玛不可用。我们来重新编辑一下 openclaw 的 配置文件。 openclaw 的 jason， 这个就是 openclaw 的 配置文件。我们来找一下 allow 这一项，这里就是扩展的 allow 这一项，我们要在这里添加上 alama。 我 们来运行 openclaw config 来设置 openclaw 的 大模型。 选择默认的本地模式，这个我们选择第二项 model， 就是 设置模型，这个是选择模型的提供商，我们来找一下 alama， 这个是询问我们选择云服务还是本地模式。我们选择最后一个本地模式，这个是欧拉玛默认的 b、 c、 l。 回车，这个是有哪些可用的模型？只有一个，我们按空格选中回车确认 提示，我们已经把模型信息写入了配置文件，我们退出。我们回到 open 可乐，这里是我们 问了 openclaw 一 句你使用的什么模型，他们回，他回答，我使用的是谷歌的伽马四。我们这次的 olamata 下载安装以及安装模型，以及如何在 openclaw 中使用 olamata 模型。到这里就结束了，关注，我每次 都给大家带来一个 ai 的 新知识，感谢大家的观看，再见。
1231波哥的AI课
00:57查看AI文稿AI文稿无需联网，不用担心数据线路完全免费。这样的 dipstick r e 模型，你要不要本地部署一个？打开 onama 官网，点击下载，点击对应的操作系统，点击安装，打开命令行，输入 oanama 杠 b， 出现这样的 version 提示，表示 onama 安装成功。来到官网，点击 models， 点击 dipstick r e， 根据自己的电脑配置选择参数，这里我选择七 b 表示七十亿参数。复制命令 on number run dipstick r e 冒号七 b 粘贴命令到命令行回车，等待一会之后，恭喜你拥有了一个本地的 dipstick r 一大模型，此时你就可以通过命令行和该模型进行交流了。你是什么大模型啊？ 北京有哪些旅游景点？简单列举出五个即可。如果你觉得命令行交流不是很方便，那就安装一下图形化界面，这里我使用的是 tidbox， 点击下载，点击安装，运行 tidbox， 打开设置模型提供方，选择 onama api 模型，选择 dipsicr 一，点击保存。你是什么大模型？上海有哪些旅游景点？简单列举出五个即可。
1.1万张艾伦Alan
01:00查看AI文稿AI文稿为什么要本地部署云服务？偷看消耗越来越快，账单让人焦虑？ mac 本机部署隐私可控零延迟成本归零真的可行吗？ m 二二十四 g 硬跑本地大模型，到底现不现实？ 实测一周先装奥利马风扇瞬间起飞，内存直接爆满，只能连夜卸载换 lama c p p 从 h f mirror 拖来九币量化版，手动配好 server 和 k d cash， 结果实测生成只有十三 tokens 每秒内存死死占着九 g， 本地算力不够真的别硬扛，放弃本地转战云端。对照 marina 五月榜单日常主力 queen 三点六 plus 代码十三，输入才零点三三美元， 遇到复杂逻辑，子弹里自动路由到 deep six v 四 pro 或代码榜第五的 glm， 五点一高频请求全走， flash 缓存命中仅零点零二八，告别单机算力焦虑，多模型按需分发才是 m 二用户的终极解法。
23小柯玩AI
06:17查看AI文稿AI文稿大家好，我是小魔头。在之前的一期视频中，我们把 cloud code 接到了四家国产模型， deep seek、 智普的 g、 l、 m kimi 千万。今天这一期我们把 cloud code 配置上本地模型。 对于注重数据隐私的朋友来说，本地模型呢，是不错的选择。我拉玛让我们可以在本地环境运行一个 asapic 兼容的服务，完全不依赖网络，不需要订阅也没有账单， 无论是处理敏感数据，在内网开发还是出差时离线工作，都能够满足需求。我想这应该是 call code 用户会感兴趣的部署方案。那我们现在就开始吧。 coco code 启动时会看两个环境变量，一个是 astropac base 二 l， 另一个是 astropacostoken。 在 之前的视频分享中，咱们配置的正是这些环境变量，从而使得能够在 coco code 环境中使用国产模型。 负责在本地暴露这个 astropac 兼容接口的就是 alama， alama 默认监听，在本地的幺幺四三四端口做了一层 astropac 协议的适配。 首先当然是安装 alama， 参考官方文档下载安装就好。本地安装成功后，通过运行 alama dash dash version 能够查看当前的版本。 我安装的呢是 alama 零点二三点一版本，然后拉取模型，大家根据自己的硬件配置来选择模型。 我录这期用的是二十四 g 的 内存，它还不足以支撑三十 b 级别的本地模型，所以在演示中我会选择千万二点五 coder 十四 b 这款相对小巧一些的模型。通过 aluma po 命令拉取模型。 这款模型呢，我已经提前下载完成，大家可以来到奥拉玛官方网站搜索自己想要使用的模型，咱们以千万三点六为例，在这里呢就列出了它所支持的模型。接下来我们配置 call code 有 两种选择，大家可以手动的配置环境变量， 这跟在过去那期视频配置四家国产模型是完全一样的。我们首先来通过环境变量配置， 这是配置 base 一 r l， 接下来配置 astropics token， 咱们只需要配置一段飞空的字符串就好。 最后配置环境变量 astropic model， 这是来指定使用的模型。配置完毕，咱们启动 call 看看效果，在这里应该能看到咱们刚才配置的模型。接下来呢进行一些问答， 我让他写一个 python 脚本实现冒泡排序，这是一个非常简单的编程任务，重点呢，我们来看看模型的加载以及是否能够成功的回答这个问题， 哪怕他给到我不太正确的答案或者不太正确的代码都没有问题。初次使用的时候，欧拉玛会在环境中加载这个模型，因此呢， 第一次的运行或问答可能会比较慢。好了，花了一些时间任务完成，感兴趣的朋友可以来看看这个冒泡排序写的对不对，我们来看看他花了多久，两分三十七秒。 我本地的环境有限，模型较小，整个执行呢，初次的时候花的时间会要长一些。在这里呢，我就不让他继续完成其他更加复杂的任务了，毕竟模型尺寸有限，本地环境有限，不能够很好的来完成这些任务。 模型的选择呢，并不在我们今天分享的话题之中，硬件条件允许的朋友可以尝试一下足够强大的本地模型，看看是否能够很好的支撑自己在 coco 中日常的各种任务的执行。 我们现在退出这个对话，刚才分享的是基于环境变量直接来配置，接下来我们介绍另一种方式，目前欧拉玛已经支持了 launch 这个命令，这是一个非常好用的命令，我们其实并不需要手动的来配置环境变量，怎么做呢？ 通过 alama launch cloud 这个命令，并且指定模型就能够配置模型启动 clock code。 这在官方文档中也做了介绍，我会将文档的链接也放在视频描述中，来看看它的执行效果吧。 现在我们就在 clock code 的 环境中用上了千万二点五 coder 十四 b 的 这个本地模型，简单地打个招呼吧，只要确保端到端能够正常地对话，说明咱们的配置就成功了。 看起来端到端工作正常，我们也能够收到模型给到我们的回复，那这就是我们如何通过 alama 运行本地模型，并将其集成到 clock code， 那 这就是我们今天所要分享的如何在 clock code 使用本地模型。一个非常方便的选择就是利用 alama。 在 本地模型的使用中，最大的考量应该还是模型的能力， 根据自己的需求选择合适的硬件配置，选择合适的模型，再配合欧拉玛，就能够在 coco 实现纯本地化的运行。 本地化运行的好处在于数据的隐私性能够得到很好的保护，客户代码，自己的代码，医疗数据，未发布的产品等等，或许根本都不想暴露在网络之上，那我们就可以走本地部署的解决方案。 在今天的分享中，我使用的这款小巧的本地模型呢，还不足以支撑日常的编程工作，这也是大家在日常使用本地模型中或许需要去考虑的，但无论如何，我们有了一个本地化的解决方案，这也是极好的事情。 那大家在日常的模型使用中是否有实现本地化呢？本地化的效果怎么样呢？在模型的使用上，我特别好奇大家在不同的应用场景中究竟选择什么样的本地模型。 乐于分享的朋友也欢迎在评论区给我留言你在本地模型使用上的心得。好了，那今天的分享就到这里，祝大家欧莱玛加 clockcode 变成愉快，那我们就下期再见。
41五里墩茶社
02:50查看AI文稿AI文稿还在研究本地大语言模型怎么破甲破件吗？其实那些方法都没什么用，今天给大家直接介绍一个无限制的 本地大语言模型，这个是欧拉玛的官网里面的啊，这是其中的一个作者，我们直接去拉取它这个模型就可以了，注意它的尾缀啊， on sensor 的 这种啊。 好，那么如果你在这里面去搜索的话，他可能还有很多个这种昂森手的，包括那个加码的，或者说是千万的，我个人推荐用千万的，千万对中文的知识要更好一点，然后它里面有很多版本，二币、四币、九币，这个四币和九币哪怕你是没有显卡的， 在内存里面跑的也是可以很快速的。那具体怎么操作呢？比方说我想，因为我这里面我的这个里面已经拉取了，我拉取了一个四 b 的 一个九 b 的 纤维三点五，还有一个加码的一四 b， 呃，感觉都还还蛮好用的啊，我，我给大家演示一下。比方说我想拉取这个里面的这个二 b， 然后点到这个二 b 的 模型里面去， 它这个里面针对欧拉玛的拉取，它会有已经给你写好了命令提示。行啊，直接选中复制，然后 windows 加 r 键，打开 cmd command 命令行窗口，然后直接复制粘贴进去，就来到这里了，看到没有回车 好，它这个时候就开始拉取了呢，这是我的网速，这个时候它就开始拉取， 呃，这个取决于你的网速，而而且这个是不需要魔法的啊。当拉取完了之后，啊，我这个把这个停掉啊，我这我这把它停掉， 停掉。拉取完了之后，我们来到我们的欧拉玛里面，你就会多一个，刷新一下就会多一个，当然我这个就不拉取了，包括四币啊，九币啊， 在在我这台电脑上，我这个是一个六 g 显存的四零五零啊，哪怕你是核显的，没有显存的也可以，跑速度也还可以，你可以跟他任何交流啊，包括角色扮演呢，或者提问呢，任何特殊问题等等等等等等，大家都懂的， 不会有拒绝回答的情况。这个这个奥拉玛的客户端程序也是在这里下载啊，客户端的程序也是在这里下载， 下载完了之后，安装好了之后，你的属呃，那个系统右下角托盘上就会多多一个这个羊驼的图标啊，然后打开这个 open 就 可以打开它这个窗口啊，大概就是这样，具体的那个过程里面的聊天内容啊什么什么的， 呃，我就不去演示了，他的四 b 和九 b 作为简单的轻度聊天或者角色扮演等等等等之类的，或者仿写扩写一些小短文什么的都是没问题的啊，千万三点五的九 b 榜三说的啊，就这个好。
216东辰视觉
