闪的红彤彤的白云和黑雾在山间飘来飘去,山中溪水流淌,植物茂盛,而且还有特别多的山峰。孙悟空自下查看,突然发现从山中飘来一朵奇怪的红云。 兄弟们,红云没有妖怪,快保护师傅!哈哈哈,他感觉不太对劲,马上和师弟们围成一圈,保护好师傅。悟空, 为师只见满天红霞,哪有什么好怪。妈妈,妈妈,不行不行不行。
粉丝177获赞4390

你绝对想不到你的网页响应时间特别慢,玩游戏的时候延迟特别高,并不是你的电脑配置不够高,很大原因跟你的时间服务器有关系。咱们电脑默认的时间服务器是美国的微软服务器,国外的时间服务器会导致你的网络响应时间不精准, 我们只需要把它改成国内渺小型的时间服务器就可以了。那怎么去更改以及改成什么时间服务器呢?接下来跟我操作。首先我们点一下开始菜单,然后找到设置, 从这个里边啊找到时间和语言,然后这个里边有一个日期和时间,这有个小三角,我们点一下往下拉,这有一个立即同步,这有个小三角, 哎,这有个更改时间服务器,哎,我们点一下更改,你看这个,这个就是电脑自带的微软时间服务器,改成哪个呢?给大家看一下啊。这个是国家售市中心的一个服务器 啊,然后下边是阿里云的一个服务器,阿里云的可能就是改的比较多,如果这个没响应的话,你就试下一个啊,如果一不行就二三四,就挨个试就行了。比如说我们改成阿里云的时间服务器, 我们复制一下,然后只需要把这个选择,然后 ctrl v 把这个复制过来,然后最后点一下,确定它会响应一段时间, 然后你看这个时间一点二十四,就是这个时间啊,它立即同步,同步成功了。 win 十或旧版本的 windows 十一,需要在搜索框里面搜这个控制面板,然后打开它,这里边有一个时综合区域, 然后点这个添加不同时区的时钟,然后从这个里边找到 internet 时间,这点更改设置,它默认也是微软的时间服务器,我们直接 选择它,然后给它改成这个阿里云的服务器,这需要点一下这个立即更新,当它显示与这个阿里云的这个时间服务器同步成功了之后,我们才能点确定, 最后一定要点这个确定去确认它。更改之后,你打开网页的速度几乎是秒响应的,玩游戏延迟也会特别低。

关闭全车遮阳帘。好的,有没有发现你的糯米语音指令总是慢一两秒,反应慢吞吞的?今天给大家分享一个方法。首先打开设置,找到这个我的糯米,这里基础语言板块往下滑,把全仓免唤醒这个功能,打开 连续对话这个功能,打开,一语既达这个功能,打开对话联想这个功能打开,除了勿扰模式跟沉浸对话不要打开以外,其他全部打开。这些功能打开之后呢,你会发现糯米响应快很多。关闭右后车窗。好的, 关闭遮阳帘。好的,打开遮阳帘。 ok, 遮阳帘打开了。

你的大模型 api 响应要五秒,用户已经不耐烦了,怎么把它变成二百毫秒?这一集我们不讲模型训练,只讲三件事, reg, 让模型更懂你的数据,压缩让模型更轻,推理加速让模型更快。我们先从一个最常见的痛点开始, 你部署了一个大模型,但用户问起公司内部的最新政策,模型却一无所知。为什么?因为大模型的知识截止于训练数据,他不知道你私有数据库里的内容。 reg, 也就是解锁增强生成, 就是解决这个问题的标准方案。 reg 的 核心思想很简单,在让模型回答之前,先从一个外部知识库里解锁出相关的文档片段,把这些片段和用户问题一起塞给模型,这样模型就不是凭空生成,而是基于你提供的实时资料来回答。我们来看 reg 的 完整流水线, 用户输入一个问题,比如我们公司的年假政策是什么?哈哈哈。第一步,用一个嵌入模型把这个问题转换成一个向量。嵌入模型会把文本映射到高维空间中的点, 与意相近的文本在向量空间中距离更近。第二步,拿这个向量去向量数据库里做相似度搜索,向量数据库里存的是你公司所有文档的向量表示,比如员工手册、产品文档 faq 系统找到最相似的几个片段,比如年假政策那一页。 第三步,把这些解锁到的片段和原始问题拼接成一个提示词交给大模型,模型看到这些上下文,就能生成准确的回答。根据公司政策,员工每年享有十天年假,这里的关键组建有三个嵌入模,形象量数据库以及解锁策略。嵌入模型的选择直接影响解锁质量。 常用的有 b、 g、 e、 e 五这些开源模型,它们专门针对中文或英文检测做了优化。项量数据库负责高效存储和搜索项量。 fast 是 metac 开源的库,适合单机场景。 milbus 是 分布式项量数据库,适合大规模生产环境。 但仅仅做一次向量检测往往不够。比如用户问年假怎么算?向量搜索可能返回年假申请流程,而不是年假天数规定,这时候就需要重排序,重排序模型会对初步检测到的后选片段进行更精细的相关性打分, 把最相关的片段排到前面。另外,混合检测也很常用,同时用关键词检测,比如 b m 二五和向量检测,再把结果合并,这样既能抓住精确关键词,又能理解语义 查询。改写则是把用户模糊的问题改写成更利于解锁的形式。比如把年假怎么算改写成年假天数计算规则。 在生产环境中, rug 还面临几个挑战,第一,上下文窗口有限,你不能把解锁到的所有片段都塞进去,必须精选。第二,解锁本身有延迟,如果向量数据库响应慢,整体响应就会变慢。第三,幻觉控制。 即使有解锁模型,有时还是会编造信息,所以需要设计提示词约束模型,只根据提供的资料回答。我们来看一个实际案例,一个电商客服机器人接入了产品手册和退换货政策, 之前用户问我的订单能退吗?模型只能泛泛而谈。接入 red 后,系统先从知识库解锁到七天无理由退换货政策,然后模型回答。根据我们的政策,您可以在收到商品后七天内申请无理由退货,准确率从百分之六十提升到了百分之九十以上。 reg 解决了知识更新的问题,但模型本身还是太大,推理太慢。接下来我们给模型瘦身。模型文件动辄几个 gb, gpu 显存放不下,推理还慢,怎么压缩?这就是模型压缩要解决的问题。 模型压缩主要有两条路,量化和减脂。先说量化,大模型训练时通常用 f p 三二,也就是三十二位浮点数来存储权重。量化就是把 f p 三二转成更低位宽的表示,比如 it 八八位整数,甚至 it 四四位整数,这样模型大小直接缩小四倍或八倍, 显存占用大幅下降,而且整数运算在硬件上更快。量化的原理是什么?我们看一个权重矩阵, f p 三二的权重值可能是零点一二三四,负零点五六七八这样的浮点数。 量化时,我们先统计这个矩阵的最大值和最小值,确定一个范围,然后把这个范围限性映射到艾特八的负一百二十八到一百二十七。 比如最大值零点五应设到一百二十七,最小值负零点五应设到负一百二十八,中间的数值按比例缩放,这就是对称量化。非对称量化则允许零点偏移,能更好地处理分布不均匀的数据。 量化会引入误差,因为浮点数被近似成了整数。但好消息是大模型对量化误差有一定的容忍度。训练后量化,也就是 p t q, 不 需要重新训练, 直接用一些校准数据来统计激活值的范围,然后量化。 g p t q 和 aw q 就是 两种流行的 p t q 方法。 g p t q 基于二阶信息逐层量化, aw q 则保护那些对输出影响大的重要权重。量化感知训练,也就是 q a t 会在训练过程中模拟量化误差,让模型适应低精度,精度损失更小,但成本更高。再说减脂, 减脂就是删除模型中不重要的连接或神经元。非结构化减脂是随机或按重要性删除单个权重,但这样得到的吸脂矩阵在 gpu 上很难加速,因为硬件不擅长处理不规则的吸脂模式。 结构化减脂则是删除整个神经元通道或注意力头,这样模型结构保持规则,可以直接减少计算量,硬件加速效果明显。实际工具方面, bitus 三 bios 库提供了 l l m 点 int 八方法,可以在推理时动态量化,几乎不损失精度。 auto g p t q 则用于离线量化。模型生成。量化后的模型文件 精度损失怎么补偿?一是用校准数据集,让量化参数更准确。二是混合精度,对敏感层保留 f p 十六,其他层量化。三是量化感知训练。我们来看一个对比,一个七 b 的 模型, f p 三二需要二十八, g b int 四只需要三点五 gb。 推理速度上, int 八在支持整数运算的 gpu 上可以快二到四倍减脂。如果结构化 减掉百分之三十的注意力头,计算量减少百分之三十,延迟也相应下降,模型变小了。但推理框架的选择同样关键,不同的框架性能差异巨大, 模型已经压缩了,为什么推理还是慢?因为大模型推理的瓶颈往往不在计算,而在内存待宽和调度。我们来看自回归生成的过程,模型每次生成一个 token, 都要把之前所有 token 的 key 和 value 缓存起来,这就是 k v cache。 随着生成长度增加, k v cache 占用的显存限性增长。如果管理不好,显存碎片化严重,实际能用的显存就少了。 v l m 提出了配置的 attention 来解决这个问题,它把 k v cache 分 成固定大小的块, 像操作系统管理内存一样按夜分配。这样不仅减少了碎片,还能让多个请求共享同一块缓存,显存利用率大幅提升。 v l l m 还支持连续 p 处理,也就是在一个 p 字里同时处理多个不同长度的请求, g p u 利用率更高。 t c r t l l m 是 nvidia 推出的推理加速库,它做了几件关键的事, 算子融合。把多个小算子合并成一个大算子,减少内核启动开销。针对量化模型的内核优化,比如 int 八和 int 四的矩阵乘法,还有高效的 p 处理策略。 tensor r t l l m 通常能比原声 python 推理快好几倍。怎么选择? 如果你的场景是高吞吐的在线服务,比如同时有几百个用户请求 v l l m 的 配置的 attention 和连续批处理能最大化吞吐。如果你追求极致的低延迟,比如单个请求要在几十毫秒内返回。 tensor rt 杠 l l m 的 算子融合和量化内核更有优势。 实际部署时,通常先把模型量化成 int l l m, 然后用 v l l m 或 tensor r t l m 加载。 比如一个量化后的七 b 模型,用 v l l m 部署单卡,可以支撑每秒几十个请求,延迟在二百毫秒左右。现在我们把三个技术组合起来,看一个完整的生产案例。假设我们要构建一个企业知识问答服务,用户问的是内部文档里的内容。 整个流程是这样的,用户请求进来,先经过 r a g 解锁,我们用 b g e 嵌入模型,把问题转成像量,在 miwos 像量数据库里搜索相关片段,再用一个轻量级重排序模型精排,选出最相关的三个片段。然后我们加载一个量化后的模型,比如用 auto gptq 量化的 int 四版本, 显存占用从二十八 g 币降到三点五 g 币。最后用 v l l m 来推理开启配置的 attention 和连续批处理。优化前用 f p 三二模型加原声 py torch 推理 一个请求要五秒,吞吐量只有每秒两个请求。优化后, reg 解锁加量化模型加 v l l m, 延迟降到二百毫秒,吞吐量提升到每秒五十个请求,显存占用从二十八 g 币降到四 g 币。但有几个常见的陷阱,第一,解锁延迟可能成为瓶颈, 如果向量数据库响应慢,整体延迟就下不来,所以要对剪缩做缓存,或者用更快的缩引。第二,量化模型和推理框架的兼容性。不是所有量化格式都被 v l l m 或 t l l m 支持,部署前要确认。第三,上下文长度。 red 检测到的片段,加上用户问题不能超过模型的最大上下文窗口。决策建议,如果业务对延迟敏感,优先考虑 t 杠 l l m 加 int 八量化。 如果追求高吞吐, v l l m 加 i n t 四量化更合适。 reg 部分解锁质量比生成质量更容易成为瓶颈,所以重排序和混合解锁值得投入。这一集我们讲了三个关键技术, i a g。 通过解锁外部知识库,让模型能够回答私有数据和实时信息。核心是嵌入模型、向量数据库和重排序。模型从 f p 三十二降到 int 八甚至 int 四,显存和计算量大幅下降, 精度损失可以通过校准和量化感知训练来补偿。推理加速框架 v l l m 和 tensor r t l l m 通过 paged attention 算子融合和批处理,把推理延迟从秒级降到毫秒级。 三者组合是生产环境部署大模型的标准路径,但模型高效了不代表服务就稳定。当模型变得高效后,如何确保它在真实业务中稳定可靠?下一集,我们将深入大模型的服务化部署与监控,探讨负债均衡、弹性伸缩和故障恢复。

前两天小米发布了自研大模型咪某,我们也测试一下他的能力到底怎么样。东北菜、锅包肉和铁锅炖哪个更权威? 这个回复情商还是挺高的,测试了几个问题,他的思考时间和响应速度都比较快,看来这种基本的文字生成能力没有什么问题。接下来我们难度升级,帮我写一个俄罗斯方块的小游戏,适配浏览器,在浏览器中可以运行, 看到了吗?也就是说,它不但可以生成代码,还可以在浏览器实时化预览并运行,即使你不是程序员,以后你想玩什么小游戏,可以让它帮你做出来。对于咪蒙大模型,我其实更期待它与小米生态能给我们带来哪些全新的体验。

大家有没有遇到这类困扰?明明我家的网络已经升级到五百兆了,这个贷款看四 k 的高清电影都没有问题,但是当我用手机刷个视频,居然还会缓冲,会卡顿,贷款很大,网速仍然很慢,到底是什么原因?有没有什么技术可以解决这个问题? 你可能很难想象,也许正是家里面的三百兆的所谓高速无线路由器拖慢了网速,因为他们速度虽然很高,但是采用的是 summo 的技术,也就是单用不通信。 此时路由器虽然可以与多个设备连接,但是采用的是分时复用的方式,也就是说他一次只能与一个设备通信,所以呢, 每台设备都必须排队等待,等到轮到他时,路由器才和他通信。如果我们家里越来越多的设备连接到 wifi 路由器上,就意味着越来越多的设备加入排队,网络堵塞就会发生。如果这些设备都只用来看看新闻,上上网倒没有 出问题,但是如果他们都在刷在线视频或者是下载文件,你就能明显的感觉到网速被拖慢了。为了彻底解决 sumimo 技术的各项短板,通信科学家发明了多用户播出录输出技术,也就是 mumimo。 如果你们家的路由器支持 mumimo 技术,那么恭喜你,你的手机、 平板电脑通通不用排队等候,因为这种路由器可以同时与多个设备通信。有了这项技术,你会感觉家里的网速明显提高了,特别是在观看在线视频或者下载东西的时候,因为它减少了设备通信的延迟,通信不会中断,也不用排队。这就好像我们每一台设备都有自己独立的 wifi 路由器一样。 所以,如果你家里有很多的无线设备,而你再也无法忍受频繁的网络缓冲和卡顿,那么就应该考虑换一台支持 mumimo 技术的路由器了。那么是不是说只要我们选用了支持 mumimo 技术的路由器就万事大吉了嘛?当然不是, mumimo 技术是在八百零二点一一 acv 二的 wifi 版本上产生的,而那个时候 mumimo 技术还不够完善,使用上还有很多限制。 比如他最多同时支持四个空间零,超过四个设备时,就会继续采用 s u m i m o 技术进行通信。另外,他只能在五 g 赫兹频段才能发挥作用,而二点四 g 赫兹频段的旧设备将无法利用 m u m i m o, 并且旧版本的 m u m i m o 只改善了下行链路,而对上行链路并没有做什么优化。 但是呢,到了 wifi 六就不一样了,这个版本的 mvm mm 技术逐渐成熟,它可以工作在二点四 g 赫兹和五 g 赫兹两个评论,最多支持十二个空间流,其中四个是在二点四 g 评论, 八个是在五 g 赫兹停顿,并且上行和下行通信均支持多设备的独立连接。所以呢, wifi 六的路由器或许才是我们家里网速变慢的解决方案。
