不想把我个人资料传给外部的大模型,我该怎么去本地在我电脑上部署大模型呢?那欧拉玛和 lm studio 我 们在迎来更新之后,我该如何选择这两种工具呢? 那么我将从四个方面整体对比大模型选择范围以及模型使用和管理。最后总结这四块来讲解一下我该怎么去选择欧拉玛还是 lm studio。 那欧拉玛的话,它是一款完全开源的软件,那 l m studio 呢?它目前是不分开源客户端,它是闭源的,但是底层工具呢?还是开源的。检查下你的电脑设备, windows 最好要有显卡, mac os 最好是 m 芯片的,这样可以加快你的大模型的推理速度。 那大模型的大小呢?我建议不要超过内存的一半,比如说八 g b 的 内存,你就部署四 g b 以内的大模型。 欧拉玛现在也支持通过 ui 与大模型进行交互了。如果你要下载模型,我们要去它的官网上面, 官网上我们也看到它的大模型的范围还是非常多的,并且它的更新非常及时。在 l m studio 中,我们通过搜索进入到它的模型广场, 我们这里选择最佳匹配,并且勾选只有符合。像我的电脑是八 gb 内存,我勾选的话,它就会自动展示符合我内存要求的大模型。那我这里选择了千万三四 b, 它在这边会提示你是可以完全加载进 gpu 显存的,那说明这个大小就是 ok 的 啦。 并且如果你是苹果的 m 一 到 m 五的芯片,你直接下载的话,它会自动适配给你下载 l l x 框架,这个的在苹果上运行的速度会更快。 在模型管理上面,我通过欧拉玛删除模型,需要在欧拉玛 setting 里面,我找到我这儿的模型的 储存路径,你就可以对模型进行管理。那在 i o m studio 中,我在我的模型库,我的模型里面对模型进行管理,比如说我这模型我不要了,我要把它删掉去,我就我这进行删除, 或者我的这对他的上下文长度进行调整,根据我的实际的使用情况,我可以把他上下文长度调的更高,那这样子对我模型的速度要求会更大,但是呢,他这个模型的精度会更好。 好了,那我们来总结一下欧拉玛,它是一个开源的工具,如果你有高度定制化的开发要求,或者你还有很高的隐私的要求,那你选择欧拉玛,并且它的模型种类选择更多。那对于 l m studio, 我 认为它对新人非常友好,界面简单,容易上手,并且它支持苹果的 m l x 框架,非常适合 mac 这两款软件啊,我建议大家都从官网上免费的下载下来,大家都体验一下,因为每个人的习惯都不同嘛,到底是哪个更好,还是得要用的人感觉好才是真的好。那大家有更多的关于大模型相关的想了解的知识,请在评论区下方告诉我。
粉丝44获赞466

dpc 可以在线使用,但本地部署体验后激发出了我更多的灵感。废话少说,马上开始一、下载安装 overama, 打开新页面,输入 overama 官网地址,点击 download, 选择 windows 点击下载, 下载完后双击运行,直接傻瓜式安装,留意此处就是安装的路径, 安装完成后会自动关闭窗口并自动运行。二、下载运行 dpc 二一、模型,按住 ctrl 加二键,打开 powershow, 输入 olam 回车可以看到 olam 可用的操作命令,回到页面,点击 model, 选择 dp 二一,选择一点五、 b 模型复制运行命令,回到 powershow 粘贴命令运行, olam 会自动下载模型文件并立即启动对话 holo, 得到答复即为成功。三、安装和 lom 对话客户端,打开新页面,输入 lomb 官网地址,点击 release 查 查看发布内容。下载 vnx 六四、安装包,下载完毕直接打开,安装到自己喜欢的地方,完成后运行和 lome, 选择 olomb, 添加连接, 勾选使用此服务的模型。验证提示,验证成功,点击绘画,新建绘画,输入你好,开始调戏他。至此,本地部署已完成。相关安装包我已经上传到网盘,需要的同学可评论区中获取。
