粉丝496获赞2.5万


首先打开呃, chase space 器,建立数据库,维护数据库和操作使用。数据库是 chase base 的强大的地方和它的精华所在, 如果只是分析处理一个气魄很多小的 app, 甚至可以使用类似于 python 这样的脚本语调,用国际象棋的引擎接口就可以比较容易的实现。 而且 space 呢?呃,不仅可以做到这些,还可以做到大量棋谱之间的比较,归大维护和保存。 首先呢,啊,我们来学习如何建立一个数据库,建立数数据库就要把数据库放在一个地方啊,我们 作为例子在桌面上。哎,建立一个文件夹,文件夹的命名呢?呃,可以比较随意嘛。呃,你只要理解就可以了。 呃,但是最好这个文件夹的整个路径和名字啊,都用英文字母,不要用中文。呃,现在这个 cheap space 就是有中文版,他对中文的支持好像还不是特别好。 建立好以后,这是当然,这是一个空的啊,文件夹啊,什么都没有啊,你可以在这看一下哈。然后呢,呃,在呃 chasebase 这个区域,他的数据库区域,你右键点击以后有个 newtaidbess, 这就是新建的意思。然后你到桌面这下边找好,到桌面下边的这个 games 下面,你建好的这个,呃,文件夹里边在这起个名字,或者还叫这个蚂蚁哎, games 也可以。这个这个数据库呢,只存放你自己下过的重要的棋谱在里边。 嗯,这个文件格式,嗯,这是最新的。呃,二零二零年底彩康 刚出来这一个新的文件格式叫呃,二 c b h, 以前是 c b h, 当然你可以存储,存储为披肩在这,不推荐在这,呃,你都储存为这个二 c、 b、 h 比较好, 这个格式,呃比较合适,也是它,呃最最常用的这种格式。好,按一个 creates new 的地方或者床键,在这儿就产生了 一个,呃数据库,他产生很多文件,这些文件他是,呃利于他自己的加密以及这个数据查找。哎,比较用的这个你不要去挂他,这是他自己的。呃,前提是自己的功能啊, 现在这个数据库里面是空的,哎,你建立好了,嗯,这个数据库呢?呃,建立好以后可以慢慢的往里面放这种各种棋谱。呃,首先呢在这,这是这个是可以删除的,比如说在这我云幕掉以后, ok, 他删除以后,他这个实际的文件并没有删除,还在这放着啊,你要是呃按一个,这时候你不要重建了,再一个打开数据库,你然后再到这个 里边来以后呢你双击他呢又把这个回来了,在这说空的,就是,呃,学会,呃新建一个数据库,然后啊啊打开这个数据库。

录一下拆分十六中文版的安装教程。嗯,这个 x 就是 chinese 的,这个是中文版的安装文件,他需要下载这里面的文件不一定都要下载,如果你要最少下载的就是这个文件,还有这个 cbk 三零,这个是激活工具,是必须下载的, 然后把它下载以后下载到本地,就这个文件和这个 这个文件。然后首先这个安装文件需要安装的时候需要序列号,所以我们先打开这个 cbk 阵。 嗯,这个 cpk 键有可能被你的杀毒软件查杀掉。嗯,我可以负责任的保证这个文件没有病毒, 你可以放心的把它添加到信任里面。嗯,因为我这台电脑这个是我把它添加到长沙排出像里了, 所以他不会,所以他不会被查杀掉。嗯,你先打开他, 嗯,然后谁来个 gy, 选择车子杯子十六,记住,是是车子杯子十六,不是车子不如 goram 十六。然后我是来看他的认证,选择纳红默认的。嗯,然后你用 siric 好评,然后再返回到那个安装文件。 嗯,我这台电脑上有一个英文版的,他是装在 c 盘的这个位这个位置,然后现在我们装这个中文版,他们可以共存。 这边先这个序列号是五组,一二三四五组,最后一个摆放用手来点一下就可以了,你或者你手也可以手动输入 cpcp 幺六。可以, 一般直接点一下就可以。然后下一步,嗯,我们改一个按照位置,嗯,因为我这个英文版的装到 c 盘了,嗯,他们可以共存,你也可以把英文版卸载。 嗯,地盘的,嗯,其地盘新建一个问题啊, 然后下一步, 一定,这一步一定要新建一个文件夹,不要直接放在地盘,因为不要直接放在那个,因为他他有一堆文件要上传。 然后下一步,嗯,然后安装,嗯,这里说是, 嗯,有点确定,确定的话最后安装完成要重启,这是必须点确定以后点取消就取消安装了。嗯,还有的时候就是有的时候有安装进程干扰,这个有干扰安装进程的程序,那你其实也要点 要点确定点那个,不不,嗯,不关闭经用程序,点那个充一,不关闭经用程序。因为我们这台电脑没有遇到那个问题,所以他顺利的安装过来, 然后点完成,然后他要重启电脑,我们现在可以不重启,点否,然后这里不,不需,这里不能激活程序,这里是,你看这里有个 幺六,他自动填入。嗯,嗯,这个渠道号不需要输,因为这里是线上激活,我们激活不了,我们用那个,嗯,用这个 k 镇激活,这里点 carso, 然后 k 镇里选中,不用费劲也 p 不行,确保,然后点 app, 然后输入验证码 agm, 如果这里的验证码不完整的话,我们就比如说不完整的话,嗯,我们就重新点一个注意,然后输入验证码, 然后点屏幕,出入眼完以后按照他只是点屏幕左上角, ok, 然后他返回到这个窗口,返回到这个窗口,点一下这个窗口,他就会自动填入这个,所有的三个板框都填入 a, 然后点 ok, 结果成功确定,然后这里点一下, ok, 嗯,再点一下这上面的 cope, 然后打开桌面上的车内十六, 嗯,他几乎好了,有的时候,有的时候还需要那个粘贴一下序列号,粘贴一些序列号,然后再再输入那个验证码,这些电脑还没有出现,有的电脑会出现,再再输入一遍序列号。那个。 嗯,他现在要更新,可以更新程序,更新到九零点一 s 更新程序。嗯,现在下载都是挺快的,有的时候你下载很慢, 我们选中文,简体也 ok。 下一步,然后这里确保他是跟那个你开始安装的位置是一样的, 一样的位置,然后点安装。如果你下载慢的话,这里百度网盘有个 sp 九这个文件跟那个刚才下载的那个更新文件是一样的, 然后我们先不允许你点完成。嗯,你可以手动的把它下载来,如果他下载,如果刚才那个更新下载慢的话,嗯,然后我们重新打开车距十六, 然后下面把语言是中文的话,在那个 of 上一次里边烂规矩,这里选中文,然后这个选英文或中文都可以。 嗯,这里主要是那个买个数据库,或者你自己数据库里中文中文注解。嗯,那个注解决定那个注解是混乱吗?嗯,这里选择闹。 嗯,这里是减少乱码,然后点, ok, 这样就是中文版了。 嗯,这个 oppo 拧一下 p 这个科技摆扣是我以前安装的,所以他在这里直接显示了, 现在拆的是十六就安装好了。就是一开始他的步骤就是一开始用序列号,用这个工具生成序列号,然后安装,安装完以后激活程序,在这里跟 stv 激活完以后再更新一下程序,进行程序以后再改成中文的, 就所有车费十六就安装好了,就可以使用了,还要重启一下电脑。嗯,因为刚才那个重启,然后又重启一下电脑就可以正常使用了。嗯,现在也能也能使用,但是你充起电脑就完全正常使用。 嗯,这是十六就安装好了,这个也可以退出了。嗯,这个工具是完全没有病毒的,你也你如果担心的话,你也可以删,删掉他,没关系,因为激活好以后就不会,就不会再,嗯,就不需要他了。 另外吃,嗯,如果你电脑上有三六零卫士的话,你可能还要把这个不是不是打开,嗯,如果三六零卫士的话,还要把那个 c b 十六这个文件添加到三六零卫视的那个信任列表里,因为他有可能被删。三六零卫视有叉叉,那个三六零卫视, 嗯,今他是误伤,所以,所以这个这文件是绝对没有病毒的。 好的,嗯,这是十六安装过,安装教程就是这些。

上一期我们讲了二 a g 向上数据库按 chunk 切分里边的制度文档切分啊,它是按首先第一步按照标题来切分,第二步按照语义来切分啊,第三步再以固定长度来进行兜底。那这一期我们主要讲 chunk 的 长度和 over 怎么设置, 其实到了这一步的时候,串口的长度其实按照规定的角度来说,应该是在三百到八百 topos 左右。那有的人会说了,那你这个三百到八八百 topos 不 就是以规定那个固定次数来切吗? 呃,首先,呃,有一个规则,就是你首先你得按照段落结构来切,切完之后再羽翼来切,然后到羽翼缺的时候到第三步,然后才开始按照三百到八百 topos 来进行一个规则的约束。 比如说,嗯,你,你,你虽然说按照语义来识别,结果识别出来的字数还是特特别多,那么你按照那个那个向量解锁的时候,你返回的还是大量的文本,那还是不能达到一个呃答案的这么个要求。所以说你到了第三步的时候,还是要 你那个创可的长度设置三百到八百透视。比如说你,嗯,如果真的是制度类的文档,或者说是一一些呃管理过一张制度啊,或者是你公司的一些呃报销啊等等制度啊,你可以适当的多一点,可以比如说是一一千透视左右。 那么第二个就是讲到 overlap, 那 overlap 是 和 trunk 的 强度,强度是相关联的,正常情况之下是按照 trunk 的 百分之十到百分之二十来进行设定,其实你在整个的设置的情况之下,它并不是固定的,你是在, 嗯,你首先你有一个评测级,评测级完了之后,然后你按照这个字数来切了,切完之后你可以先跑一下看看,按照你的评测级,一个所谓的叫黄金级,黄金级来进行测试,测试完了之后发现有问题,那你要不断的细微的调整,比如说第一次是五百套粉丝, 那这个 over 设置的是五十,那你第二要是发现不太好的时候,你可以把它比如说变成五百五,后面这后面这个 over 变成是五十五,它是一个动态调整的一个过程, 那所以,呃,在后面的里边我会讲到那个评测的那一段,我会重点强调这个里边的那个评测集,在你做 i g 的 时候,这评测集也是非常重要的,这个后面再说。所以这一期呃,再总结一下,就是 chart 的 长度正常是在三百到八百 tokens 左右,然后 overlap 就是 chart 的 百分之十到百分之二十,这是一个通用的约束,也供大家参考。关注我让我们理解 iag 的 运行流程,以及掌握 iag 相关数据库的原理,一起学习,加油!

关于我的照片虎虎的,很多人好奇怎么拍的,其实这和我用的滤镜有很大关系,今天就和大家分享一下我使用的滤镜以及怎么调色得到一张正确的氛围感照片原图展示,背景杂乱,人物逆光,整体色调没融合在一起很生硬, 是不是很好奇这组原图为什么和修完没什么差别?我现在把我的拍照前准备的小技巧分享给大家。方法一,首先拒绝在镜头上抹鼻油,抹鼻油大多数会得到一张糊的很油的照片,在后期的时候会很困难,所以你可以想办法在镜头上撒一点点灰,就可以得到和我的同款糊糊但很有质感的照片。方法二, 找到朦胧柔光这个特效,朦胧柔光可以很自然且不会感觉很糊,可以很好把深意的光线揉在一起,让照片看起来更有自然氛围感。根据自己的照片调节强度, 这个方法我更常用一点,方便后期这张比较夏日逆光的筒里选择柔光加发光即可拿捏氛围感。根据自己的照片调节发光色,能让照片看起来亮亮的,很适合海边的照片。这两个是我经常使用的滤镜,可以套用大多数照片,大家赶紧收藏起来吧!

想象你正在用大模型敲下一句话,点了发送,结果对面整整一秒没动静, token 像卡住了一样,一检查才发现根本不是你网卡,而是有一个八千 token 的 长 prompt 同时进来了。它的 prefill 阶段,独占 gpu 整整八百毫秒,把正在 decode 的 十几个请求全都堵在门外。这不是个 bug, 这是传统推理框架的结构性问题。今天我们用四分钟把 chunk prefill 长 prompt 分 块技术讲清楚,先看清问题的根源。 大模型推理分两个阶段, prefill 一 次性吃下整段 prompt, 计算是 computer bound 的 decolor 的 一个 token, 一个 token 往外蹦是 memory bound 的 问题在于,传统推理引擎把 prefill 当成不可分割的整体, 一段八千一百九十二 token 的 prompt prefill 要跑八百毫秒,这八百毫秒里,所有正在 decolor 的 请求全部饿死。原本流畅的五十毫秒,一个 token 瞬间飙到八百毫秒才蹦一个 用户视角看就是聊得好好的,突然集体卡了一秒。这就是臭名昭著的 i t l 抖动 token 间食言被长 prompt 拉爆。 chunk prefill 的 思想朴素到可爱, 既然一个长 prefill 会卡住所有人,那就把它切成多个小块。比如把八千一百九十二 token 切成四块,每块两千零四十八 token 每次迭代只算一块,剩下的 gpu 时间塞给低扣的请求。这样长 prompt 还是要算八百毫秒的总算里,但它被摊到了四次迭代里, 每次只占用两百毫秒,剩下的六百毫秒低 call 的 都能正常跑。从物理上看, gpu 的 总工作量没变, 但时间片被切得更细,调度器就有了腾挪的空间。这就像把一辆大卡车换成四辆小面包车,马路瞬间就不堵了。把切分前后的时序图放在一起对比,差异一目了然。左边是没切分的情况,一条八百毫秒的巨型 prefill 矩形横在那儿, 所有 dico 的 请求全部被压在下面排队。 i t l。 曲线在 prefill 期间直接飙到天花板。右边是切了四块之后,每一块 prefill 只占两百毫秒。快与快之间穿插着 dico 的 步骤。从时间轴上看, dico 的 请求每隔两百毫秒就能跑一拍, i t l 几乎回到五十毫秒的正常水位。 saraty serve 论文里的数据更夸张, chunked prefill 让 p 九十九的 i t l 下降了一个数量级,整体吞吐提升百分之二十到百分之五十。代价是 t t f t。 略增, 因为切开后多了几次 kernel launch 和 kv cache 拼接的开销。那么 chunk size 选多大?这是工程上的艺术。 chunk 太小,比如两百五十六,启动开销占比太高。 t t f t。 太大,比如四千零九十六。 虽然 t t f t 漂亮,但 i t l。 平滑效果打折扣,相当于半个长 prompt 还是会卡人。经验值在五百一十二到四千零九十六之间。 v l l m 默认五百一十二偏保守优先,保证低 call 的 流畅。 s g land 默认两千零四十八偏激进。在吞吐和食言之间,曲中还有一些更聪明的做法, 把 chunk size 设成动态的 gpu, 空闲时切大块,快速跑完 gpu 繁忙时切小块。给 dico 的 让路,本质上是在 tft 和 i t l 之间走钢丝,选一个对你的业务最友好的平衡点。 chunked prefill 真正的威力是和 continuous batching 配合时打出来的。 continuous batching 是 按 iteration 调度的, 每个 iteration 都要凑一个 batch 喂给 gpu。 传统的拼凑方式是只塞 dico 的 请求,因为 dico 的 占的算力小,结果 gpu 经常吃不饱, 利用率只有百分之三十到百分之四十。有了 chunked prefill 之后,调度器手里多了一种填充物, decode 请求不够,塞满一个 badge, 塞一块 chunked prefill 进去。 decode 请求太多,这一拍就不放 prefill gpu 的 算力像俄罗斯方块一样被填得满满当当。 sarathi serve 论文把这个叫 store free scheduling, 无停顿调度。总结一下 chunked prefill 记住三件事, 第一,问题根源, chunk prefill 是 compute 棒的独占 gpu, 期间会卡死所有 d code 的 i t l, 从五十毫秒飙到八百毫秒。第二,核心思想,把长 prompt 切成两千零四十八一块的小块, 每块单独 prefill, 块与块之间穿插 d code, i t l 立刻平滑。第三,工程权衡, t t f t 略增换 i t l 大 降 吞吐,整体提升百分之二十到百分之五十。 chunk size 在 五百一十二到四千零九十六之间,选 v l l m 默认五百一十二, s g land 默认两千零四十八。一句话,记住,长 prompt 不要硬塞, 切成小块慢慢喂。想系统学推理优化点下方加我大模型面试专栏持续更新,我们下期见。
