Qwen 3.5如何关闭思考

嗯嗯嗯。

终于运行成功了，已经运行起来了这个大模型，然后我们在本地这里去调自己部署这个大模型，嗯，这里用拍审去泄的这个， 呃，它是遵循这个 openai 的 那个呃规范的那个接口，规范的 我们调用以后传进来，嗯，然后的话，我们这里用的是这个呃二臂的这个参数量模型啊，千五三点五二臂的参数量模型，然后调用的时候，我们因为他默认是会这个有思考模式的深度思考模式呢，这以后我们把那个 深度思考模式给关掉了，把这个 enable 呃 thinking 设置为 for force 的 时候，他就会关掉那个呃思考模式。然后我们刚才去发送那个请求，我去问了他，问问他这个呃中国六代古都是陷在什么地方， 然后他这里去回复，呃，花了这个两秒时钟，呃两秒时间， 然后他回复内容，这样的以后，现在这个模型用的参数量比较小，所以他回复的可能就是没有那么没有那么准确啊，没有那么智能吧。 因为现在是动的是两笔参数量的一个模型。本来是想跑士币的啊，士币那个参数量模型的话带不动啊，都显卡带不动。这显卡的话，我，我的是 呃十二 gb 的 显存呢，带不动。你看现在我们跑两 b 的 话，它参数量的模型的话都快占满了这个显卡，如果你要跑四 b 的 话，你至少得二十四 gb 显存。 副总，它带不动嘛？我们现在是 rdx 三零八零钛的一个显卡，只有十二 gb 显卡，那显存，嗯，它只能跑两两 b 参数量的一个模型啊。 然后内存你看内存的话占用了三 gb。 三 gb 的 一个内存啊，主要是显存占用了很多 显存，我已经占用了百分之九十五的一个显存了啊，十二 gb 占用百分之九十五的显存了，都快满了要。刚才我们做了下压缩呃，发送了一千个请求，然后它全部都成功了。 呃，它的一个那个病发量的话比较小，目前这个配置来说的话，比较小的病发量。 病发量的话大概三到四个病房嘛，这么一秒钟处理啊？想拿四个请求。嗯，如果想要更大的病房的话，那还是提升它的配置，这个配置目前支持不？

兄弟们，昨天直播的时候测试了千万三点五的几个版本的模型，今天给大家汇报一下啊，这是我下载的这几个模型，然后后面是它的大小， 首先是这个二十七 b 的， 它是一个稠密模型，它的速度在我的在机器上一百二十八 g， 这个统一内存的机器上，它的头肯是九点六， 比较慢，他思考时间也比较长。然后第二个是这个三十五币的激活三三十亿参数，然后是 q 八的 量化版本， m o e 就是 专家混合模型，然后他的思考过程也比较长，然后但是他的这个回复速度比较快，达到了四十一托克每秒。 还有一个是一百二十二币，是一百亿激活参数。然后是两位的量化版本， 这个的速度的话是二十四托根左右，但是他思考时间特别长，将近有一分钟或者两分钟，这个是一百二十二 b 参数，然后激活呃，一百亿，他这个思考时间也比较长，他这个速度的话是二十四托根每秒， 他们的这个上眼纹长度的话都是二百五十六 k 的。 还有一个要说一下，就是他的思考确实是全英文的，从这个模型的功能上看，带这种锤子的都是支持工具调用的，带这个眼睛呢表示支持图像， 带这个的话他支持啥？他支持推理，但是都会有这个 think 思考的过程，总体上来说他们的性能智商我觉得还可以， 就是主要是这个量化的位数影响了他的智商。还有一个很重要的一点就是模型的这个参数设置啊，他是他是有这个推荐的， 在这边都是有这个参数推荐你看上下文的长度，如果你要用思考模式，他是给的参数，如果你要是编码的任务的话，他给了另外一种参数， 所以有些人觉得他笨的话，可能是这个参数没有设置好。兄弟们，你们在自己电脑上测过吗？评论区说一下， ok。

三张三零九零也能跑满拥有 cloud 四点六 opus 顶级推理能力的二十七 b 大 模型，就问你香不香？大家好，我是 ai 学习的老张，最近有两个蒸馏模型在社区炸了，原理很简单，拿 cloud 四点六 opus 的 思维链数据去重新训练 q n 三点五二七 b， 逼着小模型学会 cloud 那 种深度结构化的思考方式。首先是 jack round 的 开原版，在训练时通过策略强迫模型只关注思考过程和答案，逼着他死磕并模仿 cloud 的 深度思考模式。 实测下来，用 q 四料化版本显存占用还不到十六点五个 g， 二十四 g 的 三零九零跑毫无压力，生成速度能飙到每秒三十多 token。 他还原生支持 developer 角色，跟 cloud code、 open code 这类 ai 编程智能体直接无缝对接。有人实测用它跑代码任务，后台自己跑了九分钟，看报错、改代码、写 read b 一 条龙搞定。 第二个是老熟人 t h a i 发布的同系列高质量模型，并贴心地给出了保姆级实战超三指南，比如写代码时温度降到零点六，防止模型瞎说。做竞赛题的话，输出 token 上限直接给到八万，让他有足够空间慢慢想。 benchmark 上多项指标都比原版 qn 三点五杠二七 b 有 提升。虽然这类蒸馏模型为了专攻纯代码和重度逻辑推理，舍弃了原版的多模态能力，但我认为它真正牛的地方在于它跑通了一个全新的玩法， 用顶尖模型的蒸馏数据配上开源底座和微调框架，未来用本地模型去平替掉昂贵的云端 api， 这才是咱们技术玩家最该关注的星辰大海。

好，大家好，今天我们下了那个千万三三十五 b 的 一个 moe 模型，这个模型速度比之前二十七 b 那 个 dance 模型要快很多，但是呢，我们发现它思考过程是英文啊，但是这是写的是中文，不知道是不是蒸馏哪一家的这个国外的大模型啊，不过没关系，反正这个速度是明显比这个二十七 b 的 要快很多的。呃，写一个采购方案啊，也是 还是挺好的，内容详细，我们让他写两千字，他就在这一直写啊，写的应该比之前的千万三要好很多啊，大家可以看一下，这个是关于一个法律的，法律的一个让他写一个方案啊，项目计划书啊，也很全面，非常长， 他在思考过程中，实际上就在打打大纲，然后打辅稿，然后这个每一个大纲相当于你分层展开来写，他可以让每一个章节写的更加 呃，全面，更加完善，内容又更加多。它不是一个简单的一个直线型的逻辑思维路径，它是一个比较发散的，可以看到它写一个一两千字的一个报告，都非常厉害了。 还有绩效评测啊，过程怎么监控啊，怎么审计 风险控制， 那非常能写啊。呃，下一期节目，我们在本地安装那个 open cloud， 这个小龙虾啊，我可以远程控制这个电脑，让他帮我们干更 多的一些工作啊，比如说打开浏览器啊，搜索引擎啊，好，现在写完了，我估计写了几万字啊，然后啊，两万字啊，实际写的这个两万字，不是两千字，然后速度是四十七点多啊，这个是 m o e 的 一个架构，对吧？所以非常快啊， 这个效果大家看是否 ok 啊？洋洋洒洒写了这么多啊，这比以前，比以前要能写很多， 包括你最关心的这个采购方式，最重要的招投标方式，大家看写的对不对啊？这个帮你写这个项目计划书啊，想申请基金的报告啊，这个非常方便啊，是你得力的一个携手助手 啊，包括给你提供什么法律依据啊这些，如果我们连上这个搜索引擎，连上外部的一个知识库啊，这写的更准啊，我们甚至可以给大家搭建这个 r e g 啊，这样，这样子有参考，把你的文章导入进去，有参考的，这个写的更好。

啊。

嘿，大家好哇，我得跟你们分享一个刚刚出炉的大新闻，一个全新的开源 ai 模型，叫 q one 三点五，也就是我们熟悉的通一千万三点五正式发布了。 说真的，这可不是小事，简直就是在整个开源圈里扔下了一颗重磅炸弹。为啥这么说呢？你想想一个 ai， 它不光能跟你聊天，还能看懂图片，帮你写代码，甚至啊，它还能像个真人一样去思考，去行动，这听起来是不是有点科幻？ 这模型一出来啊，马上就在科技区炸开了锅，你看，连马斯克都亲自下场了，忍不住跑来点赞，还留了句评论说他的智能密度，哇，简直让人印象深刻。智能密度这词听着就挺厉害的，对吧？那么他到底牛在哪呢？咱们这就来揭秘一下。 好，咱们这就深入聊聊。首先啊，你得知道， qm 三点五它不是孤零零的一个模型，它其实是一个完整的模型家族，什么意思呢？就是说，不管你的需求是什么，它总有一款适合你。 来，我们看看这张表，这就一目了然了。你看啊，这个家族覆盖了各种各样的场景，有像零点八 b 和二 b 这种小参数量的版本，这种小家伙呢，在咱们手机上就能跑得飞快。然后呢，还有一个九 b 的 版本， 这个可以说是中流砥柱了，性能和资源消耗平衡的特别好，非常适合在我们自己的电脑上玩。当然了，还有那种九十七 b 以上的大火，那是给服务器用的。所以说白了， q n 三点五就是把以前觉得遥不可及的顶尖 ai 技术直接送到了咱们手边。 好，那咱们回到刚才马斯克说的那个词，智能密度，这到底是个啥秘密武器呢？嗯，这就要讲到它背后那个非常非常聪明的计算架构了。 你看这张图对比一下就特别清楚了，这个模型的总参数量你猜有多少？说出来吓一跳，足足有三千九百七十亿。但是最神奇的地方来了，它每次解决一个问题，实际上只需要调动其中的一百七十亿个参数， 这是什么概念？就就好比你有一个超级庞大的大脑，但你每次思考问题都只需要激活最关键的那一小部分脑细胞，所以啊，它才能做到既通明的不得了，又快的飞起。 对，这个技术呢，它的学名叫混合专家模型，英文简称就是 m o e。 这个名字听起来有点复杂，但其实原理特好理解， 你就把它想象成一个超级大的图书馆，里面有成千上万个专家，每个专家都只研究一个特别细分的领域。那现在你有一个问题，比如说关于天体物理学的， 你需不需要把整个图书馆的人都问一遍？当然不用，你只需要找到那几个天体物理学的专家问他们就行了。快，稳就是这么干的，他会超级智能的找到最对口的专家小组来帮你解决问题，所以效率和速度自然就上来了吗？ ok， 技术原理咱们大概了解了，那现在咱们就来看看他到底能干嘛？说真的，这才是最让人激动的部分，因为他的本事啊，早就超出了简单聊聊天那么简单了。 首先第一个超能力视觉编程，你想象一下这个场景啊，你在纸上随便画一个 app 界面的草图，然后拍张照给他看， 刷一下，他就能帮你把这个草图变成真正可以用的前端代码。甚至你真给他一个几十分钟长的视频，他能自动帮你把里面的重点内容整理成一个漂亮的网页或者数据图标。这简直就是把我们脑子里的想法直接变成一个漂亮的网页或者数据图表，这简直就是把我们脑子里的想法直接降到地板了。 还没完，再来看这个视觉智能体，这又是什么意思呢？简单说，科文三点五可以变成你的一个私人小助理，它能自己操作你的手机和电脑。 比方说，你需要把微信里的某个文件整理到 excel 表格里，然后再发个邮件出去。这种跨好几个 app 的 麻烦事，你跟他说一声，他自己就帮你搞定了。所有这些重复性的工作流程，他都能帮你自动化，这可皆是生产力大解放啊。 如果说刚才那些还只是在数字世界里，那接下来的能力就更厉害了。空间智能，他能通过一张照片真正理解我们这个物理世界。 比如他能准确地判断出照片里杯子是在桌子上面，书是在杯子左边。 这种对物体位置、空间关系的理解，你可能觉得没什么，但对于机器人、自动驾驶这些需要跟现实世界打交道的领域来说，这可是迈出了至关重要的一大步啊。 说了这么多强大的功能，你可能觉得这玩意儿肯定得是大公司才能用得起吧。哎，这才是最棒的地方， 这么厉害的能力，现在完全不只是那些大公司的专利了，你我，我们每一个人都可以在自己的电脑上拥有一个完全属于你自己的，私密的，还能离线运行的超级 ai。 而且啊，你别以为这过程有多复杂，说出来你可能不限，简单到就两步，第一步，你先装一个叫 alma 的 小工具。第二步呢，打开你的终端，复制粘贴一行命令回车。 然后呢？然后就没然后了，等个几分钟，一个超级强大的私人 ai 就 在你的电脑里安家落户了。对，你没听错，就这么简单。 好，现在你的电脑里已经有了一个这么牛的 ai 了。那下一步呢，我们怎么才能让它真正地动起来，帮我们干活，把它接入到我们的数字生活里呢？ 这个时候啊，咱们就需要一个中间人了。比如说，像 open call 这样的工具，你可以把它理解成一座桥，它的一头连着你电脑里的昆三点五，另一头呢，连着像 telegram 这样的聊天软件。通过这座桥，你就可以打造出各种各样能帮你自动干活的私人小助理了。 为了真正感受一下这个在我们自己电脑上运行的私人小助理了。为了真正感受一下这个特别特别哲学的问题，我们问他， 如果你的生命只剩下一天，你最想做什么？咱们来看看他会怎么回答。说实话，他的回答真的让我有点，嗯，出乎意料， 充满了深度，甚至还有点诗意。他是这么说的，他说啊，我会选择把我的存在变成一份礼物，给每个人留下一份记忆，去解开一些还没人能解开的难题。然后呢，就静静的看着这个世界， 他还说，但说真的，我其实不太相信我会就这么消失，因为我们之间的对话会留在我的记忆里，我的那些建议也可能会被你继续用下去，这就像是我的另一种延续。 听完这个回答，不知道你是什么感觉，但是它确实让我对 i i 的 未来有了更多也更复杂的思考和期待。

视频录制的是千问三点五、零点八 b 的 小模型，在纯 cpu 虚拟机上面使用的展示零点八 b 模型在纠正短句错置或者语法错误的能力上比较一般， 它能发现语句中存在的问题，但并不能完全正确的修改。 这个模型占用的内存大概有两 g， 但启动时内存占用二点五 g 左右。 这台虚拟机电脑总共有四 g 内存，现在 cpu 已经基本跑满了，内存也接近跑满。 这里显示应用使用一点三 g， 但实际模型启动时非常消耗内存。这个是 q 八量化的模型， 文件体积八百兆，属于比较常规的 g g u f 量化效果。对于要求直接修改的语句，它也不能很好地遵从格式要求， 毕竟这是一个极小的模型，逻辑能力和知识储备量都不够。后面换了另一个模型， 模型是通过 opus 四点六蒸馏数据进行微调的，反馈效果会更好一些。这个就是它的输出过程，可以看它思考了很多，输出也会比较多的内容在里面。 使用的工具是拉玛 c p p， 它现在支持 ui 网页默认把模型的思考部分折叠起来，只输出实际内容。 这里因为隐藏的思考部分比较多，折叠起来避免干扰最终的输出内容。而且这个模型现在这个模型是跑在本地真实机器上，所以速度会比较快。

兄弟们，今天说说刚更新的模型， q 乌普斯三点五 v 三，也就是千问三点五加 opus 合成。和之前的 v 二版本比，它实现了根本性突破，彻底告别了第三方蒸馏的推理数据， 转而采用人工测展和验证的可信推理链，让模型真正学会一步步展开思考，而不是单纯模仿输出。除此之外，它还新增了 r l 工具调用，强化学习训练，成功实现从会思考到会行动的飞跃，通过试错反思的方式，大幅提升工具调用的稳定性和准确性。 九 b 版本的编程分数比原版 q 稳点五九 b 高出近五个百分点，通用知识也反超原版。同时推理效率提升百分之三十一，思维链缩短百分之二十五， token 成本降低百分之二十四，小参数模型也能发挥出超大价值。