00:00 / 00:31
连播
清屏
智能
倍速
点赞NaN
00:00 / 00:50
连播
清屏
智能
倍速
点赞73
00:00 / 00:53
连播
清屏
智能
倍速
点赞NaN
【个人知识库】Ollama本地部署DeepSeek的几种方式 (一)视频内容概述 本次视频主要聚焦于本地部署 DeepSeek R1 模型,涵盖了如何选择蒸馏版本、各种部署方式。关于集成方面不做过多涉及,PPT 模板通过 Kimi 提示词生成。相关文章也借助 DeepSeek 深度推理方式,依据设定的技术博客模板完成撰写。 (二)Ollama 下载与安装 下载:Ollama 是用于本地部署大模型的跨平台兼容工具,可直接在其官网首页获取对应版本下载链接进行下载,如 Mac 版本就下载 Mac 版 。 安装:下载完成后,点击安装文件(可能是带有 Ollama 标识的文件)进行安装。安装成功后,在 Mac 系统中,点击安装文件后,可能在图标栏出现 Ollama 小图标;也可在 “其他工具” 中找到 “终端”(在 Mac 里搜索 “终端”),通过在命令行输入 Ollama 命令,若能够展示当前 Ollama 所拥有的模型(主讲人之前通过本地 Modelfile 文件导入了两个大模型,通过 ollama run 方式导入了 deepseek - r1 1.5B 这个 embedding 模型),则表明安装成功。 (三)模型下载与选择 下载方式:模型可通过 Ollama run 的命令方式进行拉取。在模型仓库中选择 deepseek - r1,默认版本为 7B,可按需选择如 1.5B 等较小版本用于本地测试,因模型拉取较为消耗资源,运行回拉的时间根据网速和模型大小而定,可能从几十分钟到一小时不等。拉取完成后即可使用,不同版本模型对电脑性能要求不同,主讲人的 Mac 电脑为 8G 内存,选择 1.5B 版本的模型回答速度较快,7B 版本则对 CPU 和 GPU 要求更高。 蒸馏版本分析: 1.5B 到 67B 特点:1.5B、7B、8B 版本可在有显卡(如 RTX 3090 或者 4090 消费级显卡)的本机电脑上较快运行,1.5B 相对对硬件要求较低,适合搭建小型智能问答系统或简单 QA 本地知识库;14B 和 32B 对硬件要求极高,需要 A100 和 H700 等才能发挥推理效果,适用于代码补全、数据分析、科研海量数据研究等场景,通常需云端资源支持。 性能差异对比: 通过对比模型在不同任务上的性能差异,例如在 AIME(美国数学邀请竞赛,考验数学逻辑推理)、GPQA(在线编程库指标) 、code force(编程平台相关)等方面的测评
00:00 / 09:36
连播
清屏
智能
倍速
点赞12