粉丝1515获赞6931
相关视频
03:14查看AI文稿AI文稿啊啊！ 之前有小伙伴问 lm studio 是 否支持小龙虾 open club 以及如何配置，这次就简单做一期视频，教大家如何设置，也是超简单的，如果你还不会的话，跟我一步一步操作即可，这也适合新装小龙虾的配置哦。 首先自然是确保你已经下载了你要用的模型，这里我就用千问三点五三十五币作为例子，大家可以看到我已经加载好了。然后只需要来到小龙虾这里，直接运行 opencloud on board， 这样我们就可以配置新的模型了。 小龙虾还是比较智能的，它会识别到你已经有配置，这里我们只需要改动一下模型，所以我们选 update values。 然后就是熟悉的配置页面了， 我们选 custom provider， 这里默认会出现奥拉玛的本地服务器地址。我们则要来到 lm studio， 点击 server settings 这里我们关闭 require authentication， 并且打开 serve on local network。 此时右侧就可以看到 url 从之前的幺二七点零点零点幺变成了你本机的 ip 地址， 这样部署在非本机的服务也可以调用 lm studio api 了。如果你的小龙虾是部署在本机的，那就不用打开 servelocal network 这个选项，保持幺二七点零点零点幺的 ip 地址即可。由于我的龙虾是在其他设备上部署 的，所以我这里需要把本地的 lm studio api 地址暴露给他们，我们点击这里复制，然后删掉奥拉玛的地址并粘贴上去。这里注意， 我们要加上一个斜杠 v 一 再按回车。然后这里我们就选 paste api。 但是由于我们之前关闭了 require authentication， 即不需要 api， 所以 我们这里随便打个一二三四即可。 这里我们可以选 open ai compatible， 即 open ai 兼容 api， 不 过 i o m studio 也支持了 osraplay 兼容 api， 你 也可以尝试拥有。这里我们就选 open ai 兼容 api 了哈。这里我们输入模型的 id 名字即可。我们回到 i o m studio， 这里就是模型 id 了，我们复制下来，在输入的时候需要加上模型的提供商，由于这个模型是昂尔斯的，所以我们打上昂尔斯斜杠，再粘贴上去。按回车之后，我们就会看到龙虾说 verification successful， 即验证成功， 这里直接回车，然后他会让我们给模型一个别名，我们就不起了，直接回车。 下面我们可以全部按跳过，因为我都配过了。最后重启小龙虾的路由就大功告成了。打开 t u i 后， 此时我们就可以看到 l m studio 已经接到龙虾来的请求了，然后这里也显示正在使用千问三点五三十五 b 的 模型，然后龙虾也回复了内容怎么样，你学会了吗？
549AI踩坑指南
06:22查看AI文稿AI文稿大家好，我是根谷，今天是 open core 第六堂课啊，本地模型配置的 lm studio 片和微软的这样一个开发了这个，呃，本地大模型管理的工具啊。首先祝大家二六年， 呃，新年快乐，明天就过年了，建议大家先去看欧拉玛篇，因为欧拉玛篇会的话，这篇就非常容易了。非常容易了，那首先给大家看一下我这个那个 bug 啊，就是这就是 open core 的 一个官网，我前天好像提了个 bug 啊，就在这个英雄里面给他开了个 bug， 我 看看 这个 bug 其实就是 l m 十丢丢的一个 bug， 就是 在它重启的时候，它会失去了这个通信链接，我待会怎么证明我是它是一个 bug 啊，我把各个的环境啊，还有我怎么操作的选择的模型啊，最后配置文件都截图都分享出来了，现在还没有人回复我， 好，我是怎么做的呢？就是首先你要打开 i m 四丢丢点 ai， 这是微软的一个官网，你去下载啊，你如果你是 windows 电脑，它自动的，就会自动的给你到 windows 的 电脑那个那个，呃，安装的这个软件啊，你把它下下就好了，下下来以后就会出现一个这样子的 i m 四丢丢啊，这个就是你的一个那个， 呃，就比欧拉玛复杂多了，因为这个他不是面向开发者的，但是我感觉，呃，用这个也是挺不错的，他有海量的这样一个模型，让你去下载，我这里面下了一个千万三的一个模型。千万三的一个模型，呃，正常的就是在这个地方，比如说 给我讲个笑话，那这个非常容易啊，就不需要去给大家演示，你直接下一个模型，它都是界面的管理，你在这里下一下就好了，点它下载它就能下载，下载了好了以后在这个地方就能够选模模型，选到了模型以后，在这里你就把它去装入这个模型了，就是去加载这个模型，这个模型在这里， 在这个地方千万三星，那就就这个，就在这个地方。然后呃，我说这这个这里，这是他开发文档，然后这个地方他有几个端点，就是他有几套的去对接 api 调用，你首先去这里设置里面把这个， 呃网络这个服务供应，这个服务网络中提供服务，把它打开之前是默认关闭的，你把它打开就好了，那这个端口也不要去改，就用它的一二三四，那这个比较好记一些，比较好记一些。 配置好了以后，配置好了以后就点一下它就关了。嗯，首先这个地方 state 需要，需要开启这个服务啊，需要开启这个服务，开启这个服务完以后就是输入这个啊，就是 ceo 啊，然后这个 我这样就跟它对接了，你看吧，我的，我的 h t t p local house， 一 二三四五，对吧？一二三四 api v e chat， 并且你还是可以用这个 open ai com compatible 这样一个呃 协议进行对接，那你 pos 的 请求就是唯一，呃，你，你是 boss， 它自动的会跟你拼接啊，那我这里就用这个客请求和它对接好了，剩下的就是我用客请求去把它塞到呃这个 open core 里面去。那怎么做呢？ 也是在这里啊，就是我因为它这个网站啊，它这个网站不像欧拉玛，它自动的里面，呃，跟它做了 open open clone 这样一个对接啊，大家看到上海课就知道这里微软的 i m studio 并没有对这个小龙虾进行做对接，那没有做对接也是没问题的，我们就直接在这个这里去做配置啊。就是我首先是 open clone 是 吧？ clone 有 一个叫 daisy board 的 啊，不是 daisy board 的 on board， on board 的 一个 insode 这样一个地方，我重新进行配置啊，重新进行配置的话是 yes 啊，然后 click start， 然后我要更新其中的一个字，这里选选第二或选第一都是可以的，我去更新它，对吧？到了这个地方 一定要选 custom pro i 的， 因为因为你这里没有没有那个 lm studio， 它都是模型在线的。我们是需要 http 请求，这个 http 请求就是呃， local house 的 一二七点一这里，这个地方就是一定是一二三四。 好，这个地方一定是写一二三四。我，我需要把这个呃日字给清掉，待会可以看一下我，我这个 open core 已经会怎么和它连通的哈。如果你这个地方假设我，我写错了，我这个地方假设有个什么 a a 啊，这是瞎写的，他就会报错啊。这个 api key 没关系，因为他我没开通那个，我没有去开健全这个地方我没有去开这个要求健全，所以说这个 api 你 写写不写 api key 都可以的。 这个时候就是 open ai controllable， 和这里是一模一样的，看到吧，哎，回车好， mod id 非常重要，你不能瞎写，这个 mod id 就 在这里，你看把它粘出来就好了。对 啊，他都告诉了你啊，就 local horse 的 一一一一 charnel 就 一二三四啊，这个它比那个小龙虾啊，不是比小龙虾，比那个欧拉玛要做的好啊的地方，就它各个地方都出来，哎，你看， 呃，其实它已经连通了，但是你这边唯一 a a a a， 它应该是唯一，你看到了吗？ 所以说他就报错，报到错，对吧？然后这里有个端点 id， 这个端点 id 让他默认给就好了。啊，这个，这个这个名字啊，然后这就是错了，错了的话你就得重新填过，所以说他没有返回的机会，就是我，我现在 就是你只要按 esc 退出重新来过，所以说这里那我快速的演示一遍就是正确的应该怎么做。 yes， click start 第一个， 然后选这个 customwide 的， 哎，这个地方他又默认的，就就写一二三四就好了。呃呃。你说有些人为什么不加 api 呢？你看我这个地方为什么有 api？ api 是 它的另外一套这个接口服务啊，是这个， 这里有一个 api 点微，但是一般来说是没有 api 的， 所以说这个就是没问题了，一定是这样子的，微一它后面会自动的跟你加陌陌的啊和那个例子 box 啊，然后这个就回车啊， 一定是要选择这个 openair compatible， 哎，然后这个 mod id 不 能瞎写啊。就是你，你这里，呃用的是什么 mod 就是 用什么 mod， 哎，你如果可以换的，就是在在在在这个地方换啊，就是在这个 my mod 里面，我这里只有一个，你可以选，你可以选 好，然后这个地方我，对了，以后你看，哎，这个地方他就补报错了，全绿了，看到没有，哎，这个地方全绿了，我给他全通了，全通了，那全通了就赶紧去启动一下，那就是 skip， 因为我之前都装了，也不要去装他的 skill 式，也也不需要装他 fuk 式啊， 直接就启动这个网关是吧？因此多领啊， get 位首位，然后让它浏览器打开，那这样就通了，其实它配置起来其实是比那个欧拉玛要简单，为什么呢？这微软还是做的可以的。但是呢，但是呢，这个 open core 竟然和它 内部的就是那个，我感觉它很多没有去做兼容到这一步就已经通了啊，你学会了吗？
511根谷
02:36查看AI文稿AI文稿呃呃， 大家好，今天给大家带来的是拉玛 c 加加，大家所熟悉的 lm studio 和奥利马的底层其实使用的都是拉玛 c 加加，简单理解就是 lm studio 和奥利马就是给拉玛 c 加加套的一个壳， 所以如果把这个壳剥掉的话，本地模型的推理性能还能更上一层楼。不过之前拉玛 c 家家是一个纯控制台的体验，所以对入门新手非常不友好。但是前阵子拉玛 c 家家推出了自己的一个简单的网页图形界面， 这个改进对普通人和新手可以说是非常友好的。作为对比，我们分别在 l m studio 上和拉玛 c 加加上用一样的提示词，一样的模型问一个相同的问题， 我们可以非常直观的看到拉玛 c 加加的吐词速度有每秒三十一个，而 l m studio 只有二十六个， 拉玛 c 加加的速度大约比 l m studio 快 百分之二十。安装也是非常的简单， 我们只需要来到拉玛 c 加加的 get up 代码仓库，直接点击这个 release， 按照你的操作系统下载相应的版本即可。由于我这台是 windows， 所以 我就选这个。下载完成后得到的是一个压缩包， 我们只需要解压缩放进一个文件夹里就行了。然后我们直接点击地址栏，然后输入 c m d， 然后回车，这样可以在当前目录里启动命令行，不过不要怕，不要哭，不要看到命令行就头大， 我们只需要输入拉玛横杠 server， 然后回车。等看到 ip 地址出来，按着 control 键点这个地址，就可以打开拉玛 c 加加的图形界面了。点击这里可以选择你的模型， 点击这里则可以上传图片、声音、文档和设置 mcp 等常用的对话功能。点击这里则是设置，大家可以在这里设置模型的推理参数什么的。 最后是模型的下载方面，拉玛 c 加加暂时不原生，支持国内的摩塔社区，不过哈根 face 的 话也是非常简单的， 只需要找到你想要用的模型，然后点击这里，再点拉玛 c 加加，然后点这里复制命令，来到刚才的命令行复制并敲回车即可。怎么样，你学会了吗？
593AI踩坑指南
09:59查看AI文稿AI文稿l m 十丢丢全面设置跟使用方法，今天给大家介绍一款工具， l m 十丢丢它是干什么用的？它是下载大模型的时候用的， 如果不知道是拿来干什么的话，就像我们需要部署离线的大龙虾，或者说工作流还有等等相关的很多啊，比如说你们需要一些啊，跟人家聊一些比较私密的问题 啊，都可以部署，他都可以用的到。那么这种工具啊，比较火的有两款，一个是 lm 丢丢，一个是欧拉玛，还有国内的，国内的我没有试，欧拉玛的话我现在也还没玩明白， 那么我们为什么啊介绍推荐这款软件呢？首先啊就拿这个我们已经下载好的软件呢，首先啊就拿这个我们已经下载这款软件呢，首先啊就拿这个是千万三 v 一 八 b 是 不是啊， 如果放在欧拉玛里面的话，他的那个啊就是每秒组的质的量的话有五十多，这个的话有三十多，为什么还要选择 lm 十九九呢？因为他啊每个选项里面可以就是细调啊，细调那个模型啊，比较方便。还有一个啊比较好的这个应用界面大家都能看得懂啊， 大概就是这个样子。首先我们啊要去浏览器啊里面搜索啊，这个官网 找不到的话可以进这个粉丝群里面啊，咱们啊分享给大家。那么啊前面介绍完了，我们现在的话就是介绍 lm studio 这款软件的， 这个啊怎么用啊，怎么设置啊？安装之后该怎么弄呢？首先我们安装之后呢，就是跟正常软件一样，安装就选 d 盘，记得选 d 盘啊，装上之后点右上角直接跳过，这边有一串英文，你们安装完之后呢，直接点跳过进来之后点设置 啊，然后呢我们一般的话是这里要选到这个啊，下面往下面拉， 直接选， ok， 我 们先介绍这款软件的这个功能，首先这里是聊天界面，这边是聊天记录，然后下面的话啊，这边输入文字的话可以对话， 你看回复很快，但是在欧拉玛里面这个啊值就是这个，这个值就是这个他每秒钟吐多少个字？欧拉玛运行这个模型的话有五十多， 但是他里面一些数值我还没玩明白，还有这种条数呢，对不对？我们 下面啊这边有个锤子啊，还有这个这个是支持图像输入，然后我们点这个加号的话，可以啊，这个可以放这个文字文档里面就可以放图片进去让他去参考啊，左边的话是调一个数值， 这个的话后面啊我给大家传一些比较好的。然后我们第二个界面是什么呢？这个是开发者点这里打开之后呢啊，它下面有一个链接啊，就是可以支持远程或者近程，你们要远程的话要把这两个功能打开， 然后这边的话就可以看一些参数啊，咱们对话一些参数是我们看不懂代码的，不用管的啊。然后呢这上面的话就是看一些啊，兼容啊，连接状态什么的， 下面的话啊，下面就是一些文档啊，我们都看不懂，都是英文的啊，看不懂啊就不管他啊。然后这里的话就是加载模型，下载好的模型出现在这里，这边是加载好的模型，第一个的话是加载好的模型，这边是下载好，在这里面打开， 这边是下载按钮啊，这边是下载按钮，我们可以啊，在这啊下载的模型可以在这边看啊，下载过的这些更新啊，或者 这边的话就选这两个，然后我们啊最后一个的话啊，这里面的话就是这个模型，我们没有开这个啊，就是下载模型记得勾赞啊，这个啊就是最适合你们电脑的啊，最适合你们电脑的， 然后呢我们可以啊，选一个最佳匹配，或者说最多点到里面去找啊，找你们的模型。那么模型我们该怎么下载呢 啊？就拿我的配置来说啊，就是我觉得你们先下载一个七 b 的 模型，如果他吐的字更亮啊， 特别特别低，每秒钟吐一两个字的话，你们下载那个四 b 一 点五 b 那 种的啊，如果说他一下载好只是有二三十的话，你们可以啊下载啊，二十 b， 三十 b 以内的配置很多，如果你们想学的话，后面啊我会好好研究一下， 那么到最重要的环节来了，设置前面忘记说了啊，你们下载模型的这个路径啊，在这里面啊，有一些人在左边，有一些人在右边，反正他是跟你默认设置有关的啊。 呃，大概就是这个啊，我们点这里要更改这个默认路径啊，选到第一排啊，来到设置啊，同样啊，我们现在是最新版本的啊，有一些人的在在右边有一些图片，我们啊就认识这个图标就行了，点一下 他啊设置的话啊，是第一个选项，然后 下面的话勾选这两个，其他跟着来， 然后第二个的话就是主题啊，我默认的话是白色的，黑色的话不一样，我们选选这个，而这边不用改啊，制作模式的话也不用改，然后下面啊你们跟着啊，这两个跟着调啊 就行了，看不懂英文没关系啊，因为我们看过比较多了啊，大概是这个样子比较好，我们来到第三个选项啊，这个啊， no， 然后呢这里面的话，你们就是看你平时玩电脑玩多久 啊？我设置三百三百分的话就是好几个 小点。打开啊，这个使用本地服务的话，这个使用本地服务的话可以打开啊， 我是不开的，你们要开的话可以开，然后呢这个自动更新关了，然后呢这边选择稳定版啊，我们下面的话聊天信息啊啊，这边的话跟着调就好了。 试过了，刚刚忘记说了一点，你们要下载模型的话啊，就记得勾选上这个啊，用 lm 九九的代理，不然的话你们下载不到的，下载不了就加载了，下载不了我们接着看 啊，接着看第三个，然后这边的话啊就跟着调啊，这个开这个开这个开这个开啊，下面的话你们看一下有没有跟对， 然后不使用 ai 生存的聊天，然后我们的话选第二个，我们接着到啊这个选项， 这里面是什么呢？这边是图片啊，这边怎么选呢？你们电脑的分辨率是多少就选多少，我的是幺九八零， 然后呢记得把它开了，而这边的话选第一个，这个是什么用呢？这个是上下文，这个是上下文，我的话是一万五啊，也可以调低一点 k d d 的 话调到五千 提示啊，这里面的话就没有这个加载提示了，然后这个模型保护的话选平能或者宽松严格的话有一些模型加载的话就会有卡顿啊， 就是说不给他这么多内存啊，防止这个电脑啊，懂了吗？下面，下面的话啊，选第一个啊， 我们这个的话是啊，这个不用看，再看下面啊，这边的话你们跟着他这个会自动适配你的电脑的啊。啊，其实呢就是你们更新的一些版本啊，选哪个版本 的啊？这边比较复杂啊，就选他默认的就好，下面的话你们跟着来， 我们这里面最后一个呢就是插上这个 cpu 啊，这边的话我们可以看到 cpu 是 兼容的，然后呢啊这个内存条啊啊 什么什么的等等的，然后我们就这边的话这个就是显卡信息，记得开了啊，右边的是开，然后呢限制啊，我先加载到 ppt 就 可以关了，然后呢这个打开 下面呢想放松就是啊，希望你们不管是啊玩大龙虾也好还是说工作流也好， 先把这个 lm 十丢丢玩过，一天两天玩明白了，玩上手了，你们再考虑那些，直接跟着攻略来一个没学完又去学那个，左边学完右边又忘，没用啊，先把这个玩明白了再慢慢去搞，如果你们 还有哪些设置操作没有说到的，或者说你们发现了什么问题， 可以打在评论区咱们一起解决，咱们粉丝群里面啊，定期啊更新一些知识，大家有空的话可以加一下，我们一起探讨研究啊，新领域 ai 的。
140魔王哥哥
14:37查看AI文稿AI文稿哈喽哈喽，我是大海，很高兴又和大家见面了。那很多朋友反馈，大海之前教的大家的本地养虾 open club 里头呢，用的大模型欧拉玛比较卡顿，那今天呢，大海就给大家推荐一个全新的 本地大模型引擎啊，比这个欧拉玛要好用一些，我们用来替换他。在开始咱们今天介绍新的大模型框架之前呢，咱们先给大家解决几个之前视频里头很多朋友提到的问题。 首先第一个呢是这个登录，有些人登录这个 openclo 的 时候，就是没用大海的那个一键安装包，自己去虚拟机平台搭建的，然后登录的时候输入了密码之后还是登录不了，他问你要那个 token， 这个 token 呢？如果说你呃 安装的时候没有复制他那个带 token 的 链接，大家可以自己去提取一下，用这个命令，我已经在我的这个 文档里头更新过了，就是在 power 里头用这条命令啊，很简单，我们用这条命令啊，直接给他回车，他就会直接给你返回一个 token 值，你把这个 token 值复制一下，然后去咱们小龙虾的那个登录界面，然后去黏贴进去，再加上你的登录密码一起啊，他就能够进行登录了。 那还有些朋友反映说呢，自己去连接了这个自己本地的大模型之后呢，这个和大模型说话他反应比较慢，或者说他压根跟他说了话不回话， 那我到底是大模型连接正确没有，还是因为他反应慢了？其实最简单的方法就是你切换一个云端的大模型，因为我给大家讲的时候就是说，呃，咱们既有本地大模型，也注册了那个欧拉玛的官方账号，你可以去用他的云端大模型，比如说这里呢，我这里切换云端大模型啊，你和他说话， 如果云端大模型他能够快速的回复你啊，你好，在的有什么可以帮你的吗？那就说明了这个连接欧拉玛是没问题的 啊，有两种可能，第一种可能呢，就是你本地的这个大模型呢，处理的速度比较慢，比如说像，像现在大海这个就是本地大模型，处理速度很慢，对吧？你可能需要等好久，他这个东西会一直跳跳跳，等好久他才会弹出来，最后解决的这个问题，哎，你看我这里也返回了，再的有什么可以帮你，对吧？ 那么还有一种可能呢，就是你这个欧拉玛这里设置的上下纹长度的， 咱们的 open clock， 它在实际使用过程中至少也得十六啊，三十二，当然这个官方推荐的长度是六十四 k 的 这个上下文长度，它才能够，呃，有一个前后很好的关联，帮你去回答问题，解决问题。 如果说你这个设置的太低的话，他回复不了的就是那个上下文长度不够，你看比如说我这里把它调成一个十六 k 的 上下文长度，然后再给它保存，保存了这个上下文长度之后呢，我们可以再来这试一下。你好，你是， 你看还是要等很久，就是你把这个欧拉玛的上下文长度调高之后呢，他的反应就会越高，反应会越慢， 但是呢，你低还不行，低他回回复不了话，所以整体上呢，这个欧拉玛的综合性呢，还是不够强。那么有些朋友说是我直接在欧拉玛里头和他对话的时候，这个速度是很好的，基本上一问一答没问题， 而是因为在欧拉玛里头，他不会调用那么长的上下文长度，而在 open call 里头，他会调用那个上下文长度，所以说在 open call 里回复慢是非常正常。那么还有一些朋友说是在使用了欧拉玛之后，有一个问题，就是这个欧拉玛是开机自启动对吧？会占用我电脑的很多性能，那我不希望他开机自启动，我用的时候自己去手动启动， 这个怎么办呢？也非常简单，右键我们的这个工具栏，然后选择任务管理器，然后呢你在这个左侧呢，你给他选启动应用， 然后在这里头你去找到奥拉玛，把它去禁用，那么奥拉玛就不会开机启动了。而且大家也可以用这个小方法去把自己这个启动应用启动里头这些项啊，自己认为没有用的，你去给它全部关闭。当然大家注意，如果这个名字你认识，你就给他决定禁用或者不禁用，如果这个名字你不认识，你最好不要禁用， 因为如果你有一些这个系统服务呃应用，如果你给他禁用的话，可能你这个系统一开机他就打不开了啊，很可能开不了机。由于咱们今天呢要给大家推荐新的这个 大模型的本地框架，所以说咱们还要给欧拉马进行一个测速，咱们看一下相同大模型下，哪一个获得的结果会更快一些啊？我这里呢给他准备了一个数学题，我给他复制一下啊，然后我先发到这， 然后呢我给他开一个，来一个秒表，对吧？哎，我这头点了启动，这头点发送，然后看看他多长时间能把咱们最后这个最终答案得出啊？我这里点启动 发送好完成，咱们就有个大概时间就行了，就是一分十三，算是他这个得出结论，时间是一分十三。咱们现在呢，咱们这个欧拉玛就用不上了，给大家正好演示一下咱们欧拉玛如何的卸载， 我这里呢专门写了个小短片的话，告别欧拉玛，这里大海推荐大家卸载软件，用这个即可。大海在我的这个使用的电脑软件推荐这个系列视频里头给大家推荐过，非常的好用， 他在卸载一个软件的时候可以帮助你去卸，不光能卸载这个软件，而且还能清理残留，对吧？残留的，呃，这个注册列表啊，相关这些东西都非常的好用，那么接下来咱们就用它卸载一下， 这个卸载软件非常的小啊，你去点击登录的，他有两个版本，免费和收费，咱们直接下载这个免费的就行，点出来之后你就会发现他是一个单文件啊，放在哪里都可以。然后呢在卸载之前呢，我们先把这个奥拉玛给他关掉， 去给他退出，紧跟的呢，我们去点击这个即可，然后呢找到我们的奥拉玛，双击他， 然后点击试，然后呢我们直接给他卸载啊，卸载完成了，然后完成之后他还会去扫描你留下这个东西啊，如果没有他就未发现痕迹，对吧？那么接下来呢，进入咱们今天的正片给大家今天推荐的是这个 lm studio 啊，呃，他也是一个本地格式化的这个大模型的引擎啊，而且呢在使用方面呢也非常的方便啊，大海就不多说，咱们直接来下载，然后去给他安装啊，首先呢是去他的官网 下载对应的软件啊，直接下载这个 for windows 版本就可以，大海这里已经下载好了，我就不下载就是这个啊，然后我们直接双击它进行安装，点击我同意，然后呢仅为我安装下一步 安装。然后呢我们去点击完成，我们直接开始就行，然后他推荐咱们安装一个模型，对吧？根据咱们电脑推荐，咱们这里直接跳过啊，然后直接咱们点击康提扭，然后呢咱们首次这个登录的时候呢，咱们点击这个设置，把这里的语言先改一下，至少给咱们改成一个中文的，对吧？ 连体中文好，然后接下来呢我们就可以在搜索这里呢去下载我们想要的模型，由于这个 l m c 六六它内置了这个爆脸上头的所有的模型，所以使用起来非常的方便，想要什么模型直接搜啊用就行了，我这里给他搜一个千问 咱们刚才要测试的这个千万二点五，然后给他来个够的，再输一个七币，可以看到你输了对应的模型之后呢，他会给你展现这个模型他是什么时候上传的，并且下载量是多少？呃，咱们就选择这个点赞最多的这个吧，二百零九个点赞点击他。 然后接下来呢咱们选择 down load 的 就可以，也是非常好用的，而且爆脸的这个上头的模型下载速度也是比较快。好，现在咱们这个模型已经下载好了，显示下载完毕。然后咱们这里呢，直接去给他点击柚子 in the new chat 啊，就是在新的窗口去和他对话， 然后啊新模型加载成功，咱们把这里关掉。再说一句，你好，你是什么？可以看他这个速度还是很不错的啊。 嗯，可以看到它这个反应速度，呃，我觉得可能比在欧莱玛里头还再快一点啊，这个对话的这个感觉好像还更快一些，然后接下来呢，咱们不在这里浪费时间啊。当然如果大家想，呃 在本地使用打模型的话，用它这个对话窗口敢说也是很不错的。接下来呢，咱们直接去给它配置这个服务。 首先呢咱们是要在这个 server setting 这里去配置一下，咱们要把这个地方给它开启，在网络中提供服务。 如果你这不开启，在网络中提供服务，他只能在本地访问，那么你的虚拟机里头的那个 open， 它相当于是另一台电脑，它就不属于是本地访问了，大家知道吧？所以这个地方必须开，开了之后呢，咱们这里呢去把这个地方打开，象征着咱们这个服务的开启啊，允许。 那么这个地方我们再点击加载模型，然后在这个模型里头呢，你要把之前已经加载过的这两个给他删掉啊，然后重新呢去给他选一个，然后这个地方咱们给他调成十六 k， 然后这个地方我们点击重新加载已应用，更改好没问题，这又重新加载好了。 然后呢，我们需要点击下面的这个支持的端点，咱们首先是把这个地址给他复制一下啊，然后在我们的浏览器里头去访问一下这个地址， 然后，哎，它会打印这样一个结果，对吧？然后呢接下来我们再回到这个里头，这个上头呢，咱们选择 open ai 兼容的这个，把后头这个给它复制一下，哎，就是 v e 再加上 models， 然后呢给它黏贴到这个刚才的链接后面，然后我们去回车，它就会给我们打印一个模型的 id 啊，一会咱们会用到这个模型的 id。 这个地方结束了之后呢，咱们去重新配置咱们的 open klo 啊，回到我们的这个，呃，管理 open klo 的 终端里，我们去呢 使用我们管理 open klo 的 这个命令。呃，如果说你是第一次看大海的视频，你需要去看大海前几天发的这一期视频，对吧？呃，然后去看那个详细的配置流程，这里大海不再演示，太复杂了 啊，这个地方呢，我们去用这条命令直接回车给它重新配置一下，这里呢我们用键盘上的左键选择 yes， 然后选择 quick start， 就 快速开始，然后呢我们选择，呃，第一个。 好，接下来呢，咱们这里就选择模型这个地方呢，我们就要选择这个，这个地方，意思就是和 open ai 模型的那个输出方式一样的模型都可以用这个来使用啊，就是一个通用的，我们来选择这个在欧莱玛上面，然后地址这里呢，我们把这里删掉，咱们选择给他用这个地址， 注意不能带后头的 models， 就是 到 v 一 这个地方就结束了，有的朋友说咱们之前这个地址不是用的那个，呃， vm net 八那个地址吗？也可以，对吧？这里呢，咱们用一个 cmd 方口，然后给他来一个 ip config， 对 吧？ 然后，哎，咱们用这个地址也可以啊。 vm net 八，他是二四七点一，对吧？我们这里呢，给他改成个二四七点一 啊，它结果是一样的啊。然后呢，咱们还是把这个给它复制一下这个地方，哎，我重给它配置一下啊，给它删除掉， 哎，右键粘贴上去，二四七点一幺二三四，斜杠为一。好，没问题。然后回车，然后呢这个地方输入一个 ati 的 密钥，这个可以随便输，因为它咱们本地是没有设置过的，所以随便输啊。然后呢使用的这个模型的方式，咱们肯定是选择 open ai 的 啊， 然后接下来呢这个模型的 id， 哎，这个非常重要，我们必须去复制咱们刚才访问的这个链接下的这个 id， 然后这里给它黏贴进去，然后回车，然后后面的就全部回车就可以啊。 然后接下来咱们把剩下的配置给他跳过这里，我弄，然后呢空格给他倒过，最后呢啊，重启一下网关，然后接下来咱们还是继续啊， 不配置好，这就完成了，然后你会看到咱们这里呢，还是同样的界面，咱们去把它刷新一下， 然后这里有呢，我们就可以选择这个，这个是我们刚刚配置的这个模型的吧，那么，呃，他这里会显示 十四点六 k， 十六 k， 就是 说咱们这个上下文长度快用完了，呃，这里呢，为了保证这个测试的公平起见呢，咱们先给他来一个清理记忆文件，清理记忆文件和缓存，重新 开启对话。好，他说好的，我将清理记忆文件并重新开启对话，请问有什么需要我帮助的吗？这个地方呢，咱们就还是和刚才一样，对吧？把它放在左边，右边呢，咱们选择刚才那个秒表计时器，依旧是用咱们刚才这道数学题，对吧？把它复制一下， 放到咱们 open 可乐里。我还是啊，这里启动，这里我给他先重置一下啊，咱们刚才是一分十三秒，我直接给他重置一下，这里点启动，这里点发送啊。启动发送 好，可以看到他很快，刚才八九秒啊，十秒的样子他就完成了，而且刚才没有给大家打开这个界面给大家看，我给大家看一下这个东西呢，是能看到他的这个推理的过程的啊， 我给大家增加一条命令，然后让大家看一下这个推给过程。因为他这个反应速度太快了，所以就来不及给大家打开看啊。这个地方我说帮我写一个 p y 什么 python 代码 啊，检验这个结果大家看到没有，这个地方他是可以看到他是怎么跑出来这个东西的，知道吧？他会告诉你这个头肯是怎么花掉的，然后最后结果是什么？ 所以说整体而言呢，我觉得用这个 lm studio 比起咱们那个欧拉玛效果要好啊，最后得出的效果要好，刚才得出的这个结论都是错的啊，要凑出一双同色的袜子，最少要四只袜子然后要凑出三只同色的袜子呢？最少要七只袜子。 这个所以他这个答案都是错的，这上头这应该是四只，下头是七只，虽然他最后得出这个结论是错的啊。呃，这个计算结果是错的，但是呢， 人家这个输出速度还是相对会快一些，而且也让大家看到这个模型计算的这个过程，也就说当你这卡住的时候，你可以来你的模型这里看一下，对吧？它是正在计算呢，还是真的卡住了，对吧？能验证你这个模型联通是不是正确。那么我认为呢，你跑本地大模型可能用 l m studio 这个 工具是更好的，当然你要想最后的推理效果好，得出正确结论，相关的这些东西，你应该去下载更大的模型，对吧？这这个地方大家可以用这个呃搜索，然后去找 适合自己大模型，而且他这里呢还能看到最新出来的热热度模型，对吧？呃，大家可以去试一试。我觉得像目前他这个反应速度大海的这台机器，安装一个千万三点五九币可能效果会更好一些。 那么希望大家呢，也能找到自己适合自己机器的这个框架，然后同时去安装最适合自己机器的大模型，然后来本地运行我们的 open color 养虾。好吧，那我们下期视频再见，拜拜。拜拜。
270大海资源
03:41查看AI文稿AI文稿今天 lm studio 团队发布了他们最新的零点四点五版本，这个版本加入了 lm link 的 功能，可以让安装了 lm studio 的 设备之间远程互相访问大模型，并使用远程设备推理， 这是什么意思呢？比如你有一台安装了 lm studio 的 一百二十八 g 的 macbook pro， 然后你的另外一台设备是安装了 lm studio 的 一台极显笔记本，你可以从这台极显笔记本远程访问你的 macbook pro， 把 macbook pro 当做一台大模型推理服务器来使用，这样你在这台极显笔记本上也可以进行高效的大模型推理了。 lm link 是 lm studio 团队和 tail scale 一 起开发的，如果你不知道 tail scale 是 什么的话，你可以简单的看做一个设备到设备之间的 vpn 即可， 这并不是仅限局域网哦，而是可以穿透内网，让你在任何地点都可以访问远程设备推理大模型哦，使用也是超级简单。我们只需要注册一个 lm studio 的 账户，然后点击这里创建一个 link。 由于我已经创建好了，所以进来之后可以直接看到我已经加入的两台设备，一台是 m 三 max 的 macbook pro， 一 台就是 dinkpad p 十六 v 键。二，目前有五台设备的上线，点击这里的三个点，可以选择删除已经加入的设备， 然后来到 lm studio， 首先确保更新到了最新的零点四点五版本，更新到最新版本后，在左下角就可以看到一个 lm link 的 图标，点击就能看到目前加入的设备和链接情况，这里显示的是当前设备，而这里则是你加入远程设备 中间，这里则是显示远程设备信息，我们可以看到 macbook pro m 三 max 右侧则是该设备上的模型，目前显示已经加载了千万三点五二十七币的稠密模型， 点击三个点可以远程卸载模型，然后点击任何的模型就可以加载模型了。这个加载界面和本地加载是完全一模一样的。点击加载，此时远程在我的 macbook 上也可以看到远程设备发来的模型加载请求。 加载完毕后就可以来到聊天界面选择加载的模型，然后开始愉快的聊天啦。怎么样，是不是非常简单，速度也完全不用担心，七十三个 tokens， 每秒和本地推理速度一模一样。 来到模型加载界面的话，你会发现操作和本地模型几乎一模一样。远程设备的模型会在名字前面显示一个图标，点击加载的话也是和本地体验完全一致的。 最后，既然模型加载的体验上和本地完全一致的话，那 open code 的 这些支持 l m studio 的 代码智能体也是可以完美运行的哟！ 体验上和本地模型完全没有区别。选择 l m studio， 然后选择模型。这里以 g p t o s s 二十 b 为例， 我们可以看到 open code 的 推理完全是通过远程模型完成的。现在你可以非常方便的构建一套家庭 ai 工作平台了， 只需要一台 m 四的 mac mini， 六十四 g， 装上 lm studio 后直接以无头模式运行，你就拥有了一台百分百完全私人的在哪里都可以访问的 ai 推理服务器啦！
136AI踩坑指南
