粉丝129获赞2192

哈喽,各位同学,大家好,我是珊珊老师,那接下来呢,我们要使用奥拉玛本地部署大模型,那我们刚才呢已经把这个奥拉玛平台安装到机器上了,那接下来呢,我们要下载各种各样的模型安装在这个机器上, 那我们在这里呢可以看一下这个奥拉玛支持的模型有哪些。那我们现在点到这个奥拉玛官网,然后在这有个 models, 可以 看到它所支持的这个模型, 而且在上面呢你也可以这个进行这个搜索,比如说你想安一个这个千万三,那你可以搜索这个千万三,然后在这呢把这个千万三开头的 呃包含的都给你搜索出来了。比如说这个千万三,就是你要选择要下载到本地的这个模型,你可以点进去,点进去之后呢,我们在下面可以发现你看千万三有很多版本, 你看它不同的这个版本的这个列表在这里面呢,我们都可以看到,然后你看每一个版本它的这个模型大小也是不一样的, 你看后面它有这个对应的这个大小,在这个 size 里面我们就可以看到。而且前面你看前面带一个 b, 这个 b 是 什么呀?就是那个编码,它代表的是这个呃叫模型参数的这个数量级。比如说你在这这个四 b 代表什么呀?就是四十亿参数, 因为模型本质上是要就是一堆参数堆出来的吗?你这个参数越多的话,你看他所占的这个呃大小就越大呗, 对吧?你参数越多模型越大。那比如说你现在选择一款模型,那一般我们的机器上啊,比如说你初学的话,你装个小一点的就行了,比如这四 b 一 点七 b 就 够了。比如你想装这个四 b, 你 点击 就相当于你选择这个模型,然后你这个模型选中了之后,在这有一个这个命令,这个呢就是,呃,如果你在这个命令行里面把这段命令去执行的话,那相当于它就会把当前的这个大模型进行这个安装, 然后呢我们在这啊看一个东西,我们找到这个奥拉玛的这个界面,然后在这有个 settings, 它默认呢,它会把这个模型安装到这个位置,你看它说叫 model location, 就是 你模型安装的位置,那默认是这个位置。那如果说你不想让它安装到 c 盘的话,你是不是可以选择其他的盘符?那比如说,呃,我们找一下啊, 比如我刚才是不是把这个模型放,就把那个奥拉玛放哪来着?呃, study set up, 然后这儿 这个阿拉马,然后在这儿啊,我们新建,建一个什么呢?建一个叫做 models, 这样的话我们就可以把这个模型放到这里,那我们在这个位置呢可以做一个选择,选择谁呢?选择我刚才的呃,此电脑 d 盘,然后找到哪去了?这儿 study set up, 然后找到奥拉玛,然后这个模型选择这个 models, 这样的话我后续这个模型就可以安装到这个位置,然后你可以把它关掉,然后这样的话我们在这啊把这个命令复制一下,然后在这 ctrl v 粘一下回车,现在呢就让他去跑,让他帮我们去安装, 还是啊静静等待 好,在这啊,你可以看到 success 就 证明我们这个模型已经安装好了,然后在这呢你就可以跟这个模型进行对话了,比如说问啊,你是哪个大模型啊?回车 你看它就会再进行思考了,然后进行回答你, 他会把整个这个思考过程都给我们打出来啊,然后这个是正式的这个回答,你看他说现在是这个千问三,是这个同意千问的这个最新的这个版本,然后就给我们对应的这个答案。 呃,答案给出来之后,当然了你可以继续跟他对话,如果你不想跟他对话了,你可以直接录一个杠 y, 这样的话我们就可以退出跟这个模型聊天的这个界面,然后我们在这呢可以看一下啊,我们是不可以用那个叫奥拉玛 list, 可以 看一下你当前机器所安装的这个模型,因为实际上你除了这个千问三四 b 之外,你是不还可以安装其他的这个模型啊? 所以在这个列表里就可以看到你安装的这个模型,然后还有一个叫做奥拉玛。 ps, 这个可以看到什么呢?可以看到你正在运行的这个模型,因为很可能你在这里面安装了很多模型,但是比如说你安装了五个模型在你, 但是你在这面运行的只有一个,也有这种可能吧,所以他们俩的数量不一定是一样的,只是因为当前机器咱们这个列表里只安装了一个模型,并且正在运行一个模型,所以在这我们可以看到啊,这个你下载的模型和正在运行的模型。 好,那这些基础命令呢?咱们就说清楚了,所以接下来咱们各位同学要做的事,就是把对应的这个千万三这个模型下载到你自己的机器上就可以了。

hello, 各位同学,大家好,我是珊珊老师。那接下来我们对奥拉玛的安装做一个讲解,那我们上节课呢,已经把这个奥拉玛做了一个下载,那这节课呢,我们再看一下这个安装。那首先呢,呃,我们先找到你刚才下载的那个东西啊,就是奥拉玛 set up 点 es e, 如果你双击直接运行而下一步,下一步的话,它默认呢是安装在 c 盘的,那我们一般呢不会把这个东西放在 c 盘,所以呢,咱们可以自定义安装,怎么办呢?你看我在这里啊, 嗯,因为我个人的习惯是把所有的东西放在我这个 d 盘 study set up 下面,然后我在这个目录下面呢新建了一个目录,叫做奥拉玛,然后我点进去把我刚才下载的那个文件放到这里了,这是我第一步做的事, 然后一会呢,我也打算它安装,安装在哪呢?就安装在这个目录下就可以了,这样我以后找也方便。 然后接下来我要做一件事,你直接在这里打开这个控制编辑台,你直接在这里录 cmd 就 可以了, 你录 c m d 的 话,这样直接定位到你看在 d 盘 study set up 杠奥拉玛,然后我们在这块啊要录入这个安装的这个命令,你安装命令录完了之后,它就开始帮你安装了,然后并且安装在指定的目录下,那我们现在进行安装。呃,我们直接 叫奥拉玛,然后 site up 点 es, 比如说你不想这个自己手敲啊,你怕单词写错,那你就直接到我们这个笔记里去等就行了。来杠, 然后 d i r, 你 现在要把它安装在哪个目录下呢?你在这里面做一个指定,我就打算放在我这个 d 盘目录下,然后有一个叫做 study 杠 site up, 这个目录下, up, 哎, up, 然后放到它下面,然后放到它下面,是不是还有个目录叫做奥拉玛? 所以这啊,如果你怕错的话,你就直接到笔记里去输入粘贴,那这个意思就是相当于你现在要执行这个命令进行安装。安装。放到哪个目录下呢?放到这个目录下,所以这个位置就是你指定的那个目录,这样的话他就不会把这个奥拉玛放到那个 c 盘了。来,那我们现在直接回车, 你看它开始帮我们安装了。 install, 你 看 d 盘 study setup 奥拉玛,它就放在这个目录下了,然后我们等待安装就可以了。 稍微等一会啊,很快一会那个安装好了之后,然后咱们验一下就可以了。 这个如果你安装在某一个盘符下啊,我觉得你至少要保证这个盘符它剩余的空间在十 g 以上, 因为我们安装这个东西他占的这个内存。呃,那个占的那个空间稍微大一些啊,而且后面呢,我们还要下载一些模型到本地,有的模型呢,可能也比较大,所以你预留的这个空间最好是稍微大一点。呃,别到时候不够用。 好,马上安装完成了,你看他的图标,是一个小羊驼的一个图标啊, 好,已经安装好了,安装好了之后啊,你看他在这就有这个图形化界面,在这个右下角你就可以看到这个小羊头的这个图标,你看如果这样的话就是退出了,然后你这 open 就 可以把它这个点开,它有这个图形化的这个界面,然后在这啊,你可以在这个控制命令台里面也去验一下。呃,这个奥拉奥拉玛 杠杆磨损,你可以看一下你当前安的这个版本是什么,对吧?然后你再来奥拉玛 list, 这是干嘛的呢?就是我们可以看一下我们本地已下载的大模型,你看目前下面是不是没有任何东西?因为我们现在还没有下任何大模型,我们只是说把当前的这个奥拉玛平台现在搞定,对吧?大模型我们还没弄呢,后面再弄, 所以在这里看不到任何东西。好,那到这啊,证明我们这个奥拉玛已经安装成功了,那各位同学咱们安装一下。

别再给 cloud 交月费了,今天带你解锁白嫖版! cloud code 被誉为史上最强的 ai 编码助手,现在能直接在你的终端跑,而且完全免费。 就在最近,奥拉玛宣布支持 antiropic api 协议,这意味着你可以把本地开源模型直接塞进 cloud code。 q n g l m mimix 这些顶尖模型,现在全都能在你的本地机器上发光发热。 比如我正在跑的宽二点五二十七 b, 配合四零九零显卡,响应速度简直起飞。看看这个网页,很难想象它是由完全离线的开源模型一行行写出来的吧?关键是 cloud code 的 核心的代理 agent 的 功能也完美保留,多任务并行自动计划它都能搞定。 配合内置的 web 搜索,你手里的开源模型瞬间进化成全能型。开发专家担心带不动,先去这个网站查查你的显存能吃下哪种体量的模型。第一步,官网下载欧拉玛根据你的系统一键安装。 第二步,在终端敲入指令,装好 cloud 扣的客户端搞定。现在你已经拥有了一套顶级的、完全本地化的免费 ai 编程实验室。

使用 open 可熬不花钱的办法安装本地模型。我的电脑 gpu 只有八 g, 嘿嘿嘿,测试一下,让它简单打开 word。 注意看左侧调用模型的次数和 token 消耗。由于本机 gpu 太小,所以比较慢,后续还得慢慢试别的模型。 终于终于打开了,所以个人觉得 lm studio 比欧拉玛好用,打开之后卡这儿了哈哈哈。

一天一个 web 扣定小技巧,某些朋友还在觉得用一个月两百块的包月大模型套餐贵,今天给大家测试一下 open call 加本地 alum 模型运行速度及效果。 先介绍一下安装。第一步,下载 alum, 如果之前安装过,记得 restart to update 升级到最新版本。第二步,安装大模型可以安装 quan 三点五 cloud g l m 四点六 cloud, 记得要用 cloud 版本, 这个版本是满血版的大模型,部署在 alma 云端的。第三步,登录 alma 账号第四步,启动 openclaw 安装配置好以后,从这里可以看出来 openclaw 已经在使用 alma 的 模型了。 我们来测试一下它的运行速度和效果,让它设计一个网页,等待的时间有六分钟,有点慢,但设计出来的效果还是可以的。总结一句话,虽然这个也是奥了莫部署的 cloud 云端满血版大模型,但是效果不理想,不建议使用。

olam 的模型文件都是比较大的,以 g 为单位。官方文档说明模型文件默认都装在吸盘当前用户的 olam 目录下面。 由于吸盘安装操作系统和应用程序,很可能装几个模型文件,空间就不够用了,所以建议更改默认的模型目录。 olam 通过 olam models 环境变量来设置模型的存放目录, 打开 mindows 的设置,找到系统, 点击系统信息, 点击高级系统设置,点击环境变量新建环 镜,变亮变亮名填入 olam models, 选择你想要设置的目录, 重启电脑后生效。下载模型后,在新目录下可以看到 blobs 和 manifests 两个目录,说明模型目录设置成功。