粉丝342获赞8447

如何本地部署大模型是我每天被问的最多的问题。其实很简单,没有技术基础也能搞定,只要搞定这两个工具就行了。 olama docker 第一步,下载 olama windows 和麦克版都有,安装即可,用一条命令确认一下是否生效。 第二步,下载大模型,又是一条命令直接拉取阿里千万大模型,也可以去 hogging face 或者魔塔社区下载,然后就可以在命令行和本地大模型对话了。 现在我们需要一个类似 gpt 的交互界面,先下载 docker 很简单,安装后就能看到这个界,然后用一条命令拉取 open webui 需要一段时间下载, 下载完成,打开 docker, 点击三千八千零八十就到了 web 界面了。自己设置下就拥有一个舒适的 gpt 交互界面了,本地部署大模型就完成了,是不是很简单?详细图文可留言。