00:00 / 01:27
连播
清屏
智能
倍速
点赞24
00:00 / 00:50
连播
清屏
智能
倍速
点赞180
00:00 / 05:52
连播
清屏
智能
倍速
点赞7
00:00 / 00:52
连播
清屏
智能
倍速
点赞38
00:00 / 08:49
连播
清屏
智能
倍速
点赞3
博弈1月前
使用6张2080ti显卡,每卡22G显存,使用llama.cpp运行MiniMax-M2.5-UD-IQ3_XXS.gguf量化版大模型,大模型为87G大小,130K上下文占用每卡约19G显存,通过vscode远程ssh代码服务器上的opencode进行程序编写时,使用命令CUDA_VISIBLE_DEVICES=0,1,2,3,4,5 CUDA_SCALE_LAUNCH_QUEUES=8x ~/llama.cpp/build/bin/llama-server --port 8000 --host 0.0.0.0 --n-gpu-layers -1 --parallel 1 --ctx-size 130000 --flash-attn on --batch-size 2048 --ubatch-size 512 --cont-batching --no-mmap --mlock --split-mode layer --cache-type-k q8_0 --cache-type-v q8_0 --temp 1.0 --top-p 0.95 --top-k 40 --jinja --chat-template-file /home/boyiu/models/GGUF/MiniMax-M2.5-GGUF/UD-IQ3_XXS/chat_template.jinja -m /home/boyiu/models/GGUF/MiniMax-M2.5-GGUF/UD-IQ3_XXS/MiniMax-M2.5-UD-IQ3_XXS.gguf,最大化发挥显卡性能,大模型智商最高,极致压榨显卡性能,在0上下文的情况下,首句话速度可达43token/s,首次上下文占用约为13K,首句回复速度为27token/s,当上下文占用为20K时,速度降为22token/s,当上下文占用50%左右时,速度降为11token/s,速度比minimax2.1略有提升,可增加更多上下文,但会牺牲token速度,财经资讯分析程序已建立基础功能,可实时获取最新资讯,并进行api调用分析,从获取最新资讯,到分析结果不到3分钟,完全适用现有策略,后面将增加新闻源获取途径,增加个股独立新闻分析功能#大模型 #量化
00:00 / 00:29
连播
清屏
智能
倍速
点赞609
00:00 / 01:07
连播
清屏
智能
倍速
点赞0
AI工具读论文提效,我的实测与选型 GPT‑5、Gemini、Claude、NotebookLM、Llama.cpp、Cursor、ima 本期和大家分享我用AI工具高效阅读论文的整套方法:从PDF文本与图表,到TEX源码工作流,实测对比多款工具的优劣势,并给出不同场景的选型建议。 快速结论(基于我的实际体验,仅供参考): - 一般长度论文:优先 GPT‑5 thinking;图表多时可先整篇发、再补截图核对细节 - 多模态理解:Gemini 表现稳;Claude视觉能力相对弱一些 - 长文档/多文件:ima(DeepSeek V3.1 thinking)整体优于 NotebookLM(我这次测试) - 隐私/离线:Llama.cpp Web UI + Qwen 3 VL 30B A3B 组合可用性高 - 开发者工作流:Cursor + Composer 读TEX源码,高效定位结构与要点 演示亮点: - 用Meta一篇ASR论文图片做图表解析实测,对比 GPT‑5 / Gemini / Claude - Llama.cpp“每页当图”设置与效果验证 - NotebookLM vs ima 的长文档对比 - Cursor + Composer 从 Arxiv TEX source 到结构/要点/图片解读的完整流程 声明:不同版本/模型更新会影响效果,以上结论为当下个人体验,并非商业推广。 欢迎在评论区分享你的经验与更佳实践(李沐老师的“如何读论文”视频也很值得看)。 时间戳 00:00 开场 & 读论文方法 00:33 快速选型结论 03:06 实测对比:图表解析与纠错 06:06 本地方案实操:Llama.cpp Web UI 09:20 Cursor + Composer 读TEX源码工作流
00:00 / 13:29
连播
清屏
智能
倍速
点赞16
00:00 / 06:21
连播
清屏
智能
倍速
点赞3
00:00 / 16:34
连播
清屏
智能
倍速
点赞7
00:00 / 10:57
连播
清屏
智能
倍速
点赞28