【个人知识库】Ollama本地部署DeepSeek的几种方式 (一)视频内容概述 本次视频主要聚焦于本地部署 DeepSeek R1 模型,涵盖了如何选择蒸馏版本、各种部署方式。关于集成方面不做过多涉及,PPT 模板通过 Kimi 提示词生成。相关文章也借助 DeepSeek 深度推理方式,依据设定的技术博客模板完成撰写。 (二)Ollama 下载与安装 下载:Ollama 是用于本地部署大模型的跨平台兼容工具,可直接在其官网首页获取对应版本下载链接进行下载,如 Mac 版本就下载 Mac 版 。 安装:下载完成后,点击安装文件(可能是带有 Ollama 标识的文件)进行安装。安装成功后,在 Mac 系统中,点击安装文件后,可能在图标栏出现 Ollama 小图标;也可在 “其他工具” 中找到 “终端”(在 Mac 里搜索 “终端”),通过在命令行输入 Ollama 命令,若能够展示当前 Ollama 所拥有的模型(主讲人之前通过本地 Modelfile 文件导入了两个大模型,通过 ollama run 方式导入了 deepseek - r1 1.5B 这个 embedding 模型),则表明安装成功。 (三)模型下载与选择 下载方式:模型可通过 Ollama run 的命令方式进行拉取。在模型仓库中选择 deepseek - r1,默认版本为 7B,可按需选择如 1.5B 等较小版本用于本地测试,因模型拉取较为消耗资源,运行回拉的时间根据网速和模型大小而定,可能从几十分钟到一小时不等。拉取完成后即可使用,不同版本模型对电脑性能要求不同,主讲人的 Mac 电脑为 8G 内存,选择 1.5B 版本的模型回答速度较快,7B 版本则对 CPU 和 GPU 要求更高。 蒸馏版本分析: 1.5B 到 67B 特点:1.5B、7B、8B 版本可在有显卡(如 RTX 3090 或者 4090 消费级显卡)的本机电脑上较快运行,1.5B 相对对硬件要求较低,适合搭建小型智能问答系统或简单 QA 本地知识库;14B 和 32B 对硬件要求极高,需要 A100 和 H700 等才能发挥推理效果,适用于代码补全、数据分析、科研海量数据研究等场景,通常需云端资源支持。 性能差异对比: 通过对比模型在不同任务上的性能差异,例如在 AIME(美国数学邀请竞赛,考验数学逻辑推理)、GPQA(在线编程库指标) 、code force(编程平台相关)等方面的测评
00:00 / 09:36
连播
清屏
智能
倍速
点赞12
potplay+deepseek+ollama本地部署全攻略 这可能是全网最硬核的PotPlayer教程!无需编程基础,三步实现: 1、 Whisper大模型实时生成字幕(附最新large-v3-turbo模型网盘) 2、直连DeepSeek/硅基流动API翻译(新用户注册福利领取攻略) 3、Ollama本地部署Qwen/DeepSeek离线翻译(附显存优化方案) 如果你觉得这个视频对你有帮助,别忘了“👍点赞”和“❤订阅”我的频道,这样你就不会错过接下来的教程了。同时,如果你有任何问题,请在**评论区**留言,我会尽快回复你。再次感谢观看,我们下个视频见! 视频中讲到的所有安装包下载地址 PotPlayer官网地址:https://potplayer.daum.net/ 网盘链接:https://pan.quark.cn/s/964a9ac0632c Faster-Whisper-XXL引擎下载链接:https://pan.quark.cn/s/0e596c709d91 large-v3-turbo文件下载链接:https://pan.quark.cn/s/043f5ee1b05d Chatgpt翻译插件官网地址:https://github.com/Felix3322/PotPlayer_Chatgpt_Translate 网盘连接:https://pan.quark.cn/s/eda64ad39a5f DeepSeek API官网地址:https://platform.deepseek.com/ 硅基流动官网地址:https://cloud.siliconflow.cn Ollama翻译插件下载地址:https://github.com/yxyxyz6/PotPlayer_ollama_Translate 网盘连接:https://pan.quark.cn/s/da9e0e4706d0 Ollama官网地址:https://ollama.com/ Ollama本地部署安装包网盘连接:https://pan.quark.cn/s/fd6bc2ffb343 #potplayer #deepseek #ollama #api #本地部署
00:00 / 23:41
连播
清屏
智能
倍速
点赞892
00:00 / 02:06
连播
清屏
智能
倍速
点赞171