粉丝1889获赞6437

有很多小伙伴说 windows 十,可能他占用系统资源比较多一点,但是现在大家可以看一下,那目前我运行了一个 happy v, 里边运行了一个类的系统, 然后并且这个爱纸浏览器也打开了,然后我们可以看到它目前 cpu 值占用了百分之十吧, 算是百分之十左右,十有时候都不到,内存的话占用了是三点五 g, 因为我给这个软陆油它配置的是两个 g 的内存,我觉得完全是够用了。 那我们呢就可以进入我们的 pe 系统,然后打开这个分区工具, 看一下你想把这个温石的 open double t 镜像,然后把它呃刷 到哪个硬盘里边,我想把这个温石呢安装在这个呃撒塔的 ssd 四百八的这个里边,然后首先呃我这边呢就 把这个所有分居都给删除一下,那你确保你之前的资料都是备份备份过的,不然这里边就啥也没了。 好,然后我们点击这个快速分区,分一个区也行,分两个区也行,看你的这个硬盘大小,我这个四百四十七的,为了跟大家演示,我就先分一个区了,那这边呢,这个分区表格是一定要选择 guid 的格式,因为我们安装的是温石,然后我们点击确定 好新建完分区之后,我们就可以直接把它给关掉了啊,好,关掉之后我们选择这个 windows 安装器,我们这边呢, 点击一下搜索这个就是找我已经给呃你已经下载好的这个五幺零五的呃, windows 加 open wt 这镜像。然后呢,我们点击打开, 然后他的后缀是 win 的一个格式啊,然后这边呢,然后我们选择你想要把这个系统安装在哪一个盘里边,第三个我们把它放安装在 d 盘 好,这样就可以了,然后我们点击安装,点击确定好,现在呢就在安装过程中 提示你此阶段就完成了,那我们就点击一下确定就可以了,把这电脑上面的这些 u 盘呀,硬盘呀啥的啊全部给拔掉就行啊。拔掉之后我们重启一下,然后开机之后我们按你键盘上 delete 往下,我们选择第一个启动,像把它设置成这个 windows b o o t, 然后往后回到退出,点击一下保存并确定 ok, 这样的话进入的就是 windows。 好的 好,现在呢,我们就已经把这个温石加奥坤 wt 这个系统呢写入到我们这个五幺零五的机器上了啊,这边呢,这个网卡都是二点五 g 的,驱动也是都已经安装好了,然后 大家可以看到这是二点五 g 的啊,但是呢,如果你另外一头接的是一个千兆的话,那他就会显示是一个遗迹的啊,所以你必须是这个设备两端都是二点五 g 的网卡, 他才会显示是二点五 g 的啊。设备管理里边我们可以看到这四个网口都完全没有任何问题。 这个版本呢,是我在原版系统的基础上呢,集成了 happle v 里边,并且配置好了这个 open 豆瓣 t 啊,目前我安装的这个是啊,一个类的的版本啊,然后并且这个网口都已经跟大家配置好了,所有的配置都已经配置好了,包括这个 啊,累的他是会开机启动的啊,这些都不需要大家来管啊。然后,呃,这个是针对于原版的温石企业版本 ltsc 的二零二一版本制作的,其他的完全没有任何的更改啊, 且五幺零五的这个机器接在你的电视上面, hdmi 线接在你的电视上面,或者接在你显示器上面,你显示器有音箱或者是有那个耳机音频接口,他是有声音的啊。安装上之后我们如何使用呢?使用方法也是非常简单,首 将我们点击右边啊这个网络,然后我们点击进行设置更改适配期选项,我们就可以看到这个里边的这些网卡了啊,现在呢,我是在软路由上面没有插任何的网线,我们只需要找到这个一,这个 v eth 括号里面有一个烂三口,这个烂三口是哈佛威里边集成的这个类的软路系统的一个管理口啊,所以我们只要找到他就行了。那默认的我是 啊,设置在 eth 三的那个物理网口上面,但是呢,因为 happy 他可能会造成这个网口的错乱,所以我们先在这个网口 eth 三上面插一个网线,然后这个网线呢,你接在你的电脑上面,然后我们可以看一下他是否有反应, 他是有反应的,有反应的话那说明就选对了,如果呢,你插在 eth 三上没有反应,你就去试一下其他的网口,当这个有反应之后呢,我们就可以直接进入我们的这个软路由后台了,然后我们直接打开这个 呃,浏览器,我们在里面输入这个幺九二年幺六八点十一点一。好,那现在我们就可以正常的进入了,密码是 password 的。 好,进来之后呢,我们往下翻,我们就可以看到我们路由器的正常的一个情况了,那现在我只接了一个网口,我的另外一段呢是接的我电脑上面,所以他也是啊,他会显示是两千五百兆啊, 但是现在还没法上网,是因为我们的万口还没有接,所以我们现在呢直接往下翻,找到网络点击接口。 那这个时候我们可以看一下啊,这个烂口这边就已经有数据包在传送了,这个烂口就没有任何问题 啊。然后,呃,我们下一步就需要找到这个腕口,这个腕口同样也是你从你的路由器,你的一级路由或者是光猫上面直接拉一根网线,然后呢插在剩下的那三个网口上面,看哪一个是腕口。插上之后呢, 你刷新一下他这个万口就会获取 ip 地址,那我现在就插在一 th 二这个物理网口上面刷新一下。 好,大概等个四五秒的时间之后呢,如果你的腕口上面已经正确的识别了这个 ip 地址,并且已经有数据包啊在动 的话,那说明这个万口就找对了。如果你等了四五秒之后发现他没反应,那你就去试一下另外的网口啊,反正剩下三个网口有一个肯定是万口啊。那 等你找到万口之后,那现在一切就设置好了,现在就不需要管了,然后我们可以打开我们的呃,这个网页来看一下是否已经有网络了。 好,没有任何问题,现在已经有网络了,我安装的这个是类的系统,类的系统是 open w t 分出来的一个分支,所以呢它是一样的,包括它里边的这些服务 啊,然后插件都是挺多的。最后呢再说一下,如果你的烂口你想改变地址的话,我们点击这个修 修改,然后你改变这个 ipv 四这个地址就行了,默认的是十一点一,你可以改成三十点一或者是十点一都是可以的,那你这边改的话,你这个网关也要跟着改。还有呢就是这个万口啊,万口默认的是 dhcp 的功能,也就是说你上一集是有陆游的 啊,无论是一级路由,二级路由都是有路由的,如果你想拨号上网的话,你这边选择这个 pppoe 啊,然后呢选择之后呢,我们点击下这个切换,然后去输入你的这个宽带的账号和密码,之后呢我们点击这个保存和应用之后呢就可以拨号上网了。 等这一切都设置好之后呢,我们可以把你的这个呃 windows 十,然后我们把它改成自动获取 ip 就可以了,然后我们找到 这个更改试配器,然后我们找到这个烂三口,呃,点击属性,虽然现在他是上网,但是呢他我这边是没有给他设置网关的,那所以你就让他自动获取 ip。 有很多的小伙伴说 windows 十可能他占用系统资源比较多一点,但是现在大家可以看一下, 那目前我运行了一个 happy v, 里边运行了一个类的系统,然后并且这个爱纸浏览器也打开了,然后我们可以看到它目前 cpu 值占用了百分之十吧, 算是百分之十左右,十有时候都不到。内存的话占用了是三点五 g, 因为我给这个软陆油它配置的是两个 g 的内存,我觉得完全是够用了,这个网络这边是一个 烂二口,就是我的万口,所以他还会一直有数据包在发送啊, cpu 至目前几乎处于一个没有任何占用的一个水平, 也就是说我们在温室里面运行一个 open wt 的系统,对于系统的占用基本上可以忽略,也就是占用一些内存,他对于你整个家庭的网络也是没有任何影响的。 平常我们用这个电脑进行一个简单的这些视频播放,包括轻度办公,包括孩子上网课什么的,都不受任何的影响。 前我做的这个懒人系统呢,他只用于啊五幺零五二点五 g 英特尔 i 二二五网卡的这个版本,如果你其他的版本的话,可能你装上之后呢是不使用的,之前我也做过一个四幺二 二五的一个专用版本,呃,大家需要的话可以下载你相用的版本来直接安装就可以使用啊,这个也是大大的降低了大家在使用过程中的这个门槛。 我也看到有很多人喜欢安装 e s x i, 然后里边集成很多的系统,但是我发现一个问题就是 e s x i 它启动的真的是太慢了, 但是温石的话,它启动几乎啊就几秒的时间就启动了,因为这个软陆油大家想要安装什么样的系统呢?你自己来决定, 不过我给大家提供了一个方案就好了,我们今天呢就跟大家分享到这里,希望呢能够帮助到大家。需要的小伙伴可以直接在视频下方下载我这个系统,直接刷入就可以用了。

评论区好多兄弟们都说自己有 h 一百 a 八百,这有什么稀奇的,这年头谁没有几张啊,嚣张!有钱当然嚣张,但你手上的 h 一百和我手上的 h 一百那是真的一样吗?同样数量的卡,我能让他们的性能发挥到极致!本期纯干货,速速点赞收藏!相信很多兄弟们啊,都知道显卡交货, 那这个时候啊,就不得不提到我们黄教父首创的高速 gpu 互联技术 mvd, 欧宁可是英维达开发的一种高速互联技术,用过的人啊,都说很香,说白了就是把多张显卡连接起来,实现并行计算和共享内存,连接后,他们的显存可以合并为一个大的虚拟显存空间。结果呢,就是你拥有了更大的显存容量, 但是你以为只有如此吗?五年后啊,你不仅仅有了更大的显存容量,计算的性能还能翻倍提升,还会立刻提供高带宽低延迟的连接,确保 数据之间传输的效率,可以并行处理计算任务,从事 ai 计算、图形渲染等工作。兄弟们应该都知道,数据量只会越来越大,那就需要更多的 gpu 系统,单纯的上 pca 肯定是不行的, 因为带宽有限,我们需要速度更快,拓展性更强互联。而 nv link 很好的帮我们解决了这个问题,用了 nn link 的兄弟们,请在评论区留下你的使用感受。

豆姐,显卡当前跑不满该怎么办呀?如果 cpu 跑满而显卡没有跑满,说明 cpu 存在瓶颈,根本带不动显卡。相反,如果 cpu 没有跑满而显卡能跑满,则说明显卡没有偷懒,这是一个正常理想的状态。 但如果 cpu 和显卡都没有跑马,很可能是游戏优化差,负债低,也可能是你的配置太好,显卡根本懒得动。天三十秒学习小技巧。

兄弟们,今天我来分享一个提升 steam deck 性能的小方法。首先在关机的情况下,我们按住这个加号键,再按一下电源键开机,就可以成功进入 bios 设置模式。接着选择右下角的齿轮图标,按 a 键进入,然后选中第二个 advanced 放大镜图标,再选右侧倒数第二个选项。 然后在弹出的窗口中,我们选择分配四 g 内存,最后按选择键保存并退出。此设置有助于提升游戏的图形性能,让帧率更稳定。你学会了吗?学会了!点赞关注加收藏!

显卡占用越高越好,为啥 cpu 就不是呢?不难理解,显卡就像打工人,你当然希望他搬砖效率拉满,这样花的钱他超值吗?但 cpu 就像小老板,不能满脑子都是搬砖,他还得进行其他运算呀,占用高反而会卡顿,降低体验。 抢不到显卡怎么办呀?再等等呗,等哪天黄牛们良心发现矿老板们大射显卡,我觉得我的一六六零还能再战一年,毕竟等等等永不为奴嘛。为啥笔记本能装下那么大的显卡?别看显卡那么大一块,但决定性能的只是小小的 gpo 芯片和现存, 还是记忆空间大,可以给显卡单独配置电源、内存、主板和散热,让显卡时刻超平。但笔记本这么薄一片,只能砍掉非核心的部件,让 gpo 和 cp 共享风扇和主板。

最近有小伙伴们会问到这个显卡输出模式,天选二还有天选三,天选二、零二二,他们的奥创中心这个输入版本是不一样的,像天选二为例的话,这个开启显示模式开启的话,这个时候显示的话是独立显卡输出, 然后切换到天选三上面,天选三上面的话会有更加的明显就是独显输出,还有混合输出,极限输出, 然后包括天选 a 二系列也是同样的。这咱们用的时候的话一定要看看一下任务管理器, ctrlsc 的加 gsc, 打开任务管理器看到性能,性能上面的话会有一个 gpu 零,还有 gpu 一这个你能看到它的温度还有占用率,就说明是极独立显卡输出。

呃,今天呢,我们跟大家介绍一个模型量化呃的一个算法叫 a w q 啊,它是属于呃大模型压缩和加速的这样的一个优化算法啊, 我们一起来看看一篇。呃,这个这个算法是麻省理工他们研究的啊,而且他也以他的,他他们也把整个一个算法变成了一个这样 他有一个项目叫 alt a w q 这样一个项目。那么我们今天的话就先了解一下他这个算法,他这个算法到底是怎么回事啊?能够做到什么程度啊?对我们来讲,好,我们来看看。那么为什么会有这个 模型的量化呢?我讲的通俗一点,因为呃大模型呢,它非常消耗这个 g p u 里面的内存啊,我们一般呢,我们都是跑在单精度跟十六啊,这种 f p f 十六的半精度的 f p 十六的这个半精度这个上面, 但是有些时候我们是还可以跑在这个 r n t 八八位整形八 bit 的这样的一个量化的这样一个操作上面,八个 bit 量化的话呢,它也有很多好处啊,它至少可以让我们的内存效率呃减少一半啊。那么 麻式理工呢,他们就说啊,这个够了吗?因为我们现在的模型越来越大啊,像拉玛六十五 b 的这种模型越来越大啊,我们用 a 一百可能还不够啊,那么怎么办啊?那么我们可以再小那个 化变成不行,那么我们把它变成 r n t 四 r n t 三,看看行不行啊,对吧?就是要需要使用更低的这个 bit 啊,然后把这个权重进行量化,然后去减少它的整个一个计算量和 g p u 的内用 内容的使用率啊,他等于是这样,那么他们也做了一个实验啊,他这个实验里面这张图就讲了一下,如果是 a 一百呃拉玛六十五 b 的这个模型啊, 如果他跑在呃 bench size 是一的这样情况啊,他的这个算力和是远远够的啊,如果他跑在一百二十八的这个 bench size 的话呢,他的算力还是够的,那么他的算力还在增加,但是你可以看到他这个就已经上不去了啊,他的主要的问题还是在内存,内存强,就是他这个内存上面 内存的消耗,上面内存的这呃吞吐量上面他还是有巨大的这个 get 跟他的这个算力其实是没有太大的问题啊,那么他跑不上去,主要还是要减少内存的这个消耗,那如果把 内存消耗能够减少的话,它能够进一步的去带动它的整个一个呃大模型的整个一个吞吐量啊,它这个是一个基础问题啊,那么他们呢就研究了啊,如果我把 f p 十六就单精度的啊, f p 十六,然后转成 r n t 三,就三 bet 的这样的一个量化的这样的一个东西啊,这个里面也讲了啊,它只是把它整形的话 啊,一零三啊,对吧?你可以看得到啊,它这个操作叫 r t n r t n 的这样一个操作啊,操作完了之后呢,它确实它可以大幅降低内存的这样的一个使用量啊,而且它用 r n t 之后,它其实是可以把那个就是这个,它所谓的就 那个叫矩阵啊,就是 group 啊,它可以把那个 group size, 它可以把它变成一百二十八个呃,集集中在一起啊,进行批处理啊,那这样的话呢,它在这个单位的整个一个呃内存里面,它可以存更多的这个数据,呃,计算量,呃可以显著降低内存的使用量,也可以显著的降低, 去进一步减少这个内存的这样的一个瓶颈啊。啊,他这样做啊,是有带来非常大的好处,但是他的坏处是什么呢?他的这个精度降低了,他的精度降低了啊,是显著的降低啊,他就是你这个大模型原来是非常 聪明的啊,但是经过你的量化之后呢,他就变成了一个傻子啊,他觉得是这样啊,所以这个方式啊,虽然 gpu 的使用量 降低了,但是他的精度是不够啊,所以这样光这样操作是不够的,那么他们就想了一个办法啊,他想了一个什么办法呢?他们发现啊, 我,我在量化的这个过程当中,我可能把某些列啊,某些权重上面的列它进行 f p 十六啊,它就是保留百分之零点零一的这样的一些权重啊,有些重要的权重啊,它还是适用 f p 十六的这种方式,他这样就会变成一个混合精度啊,大部分都是用了这样一个整形,只有一部分,很少的一部分用了 f p 十六,哎,这样他就会发现,哎,他这个精度啊,还是能够保持的非常好哎,他不但 它的内存稍微增加了一点点,但是它的这个整个一个模型啊,它的精度它还是保持的非常好啊,它的稍微损失了一点精度,但是它 大幅下降这个 gpu 内存的使用量啊,他有这样一个好处啊,那么这个就是他们目前的叫混合精度的这样一个操作啊,光有这个混合精度的,我们要去看他到底把哪一列 啊,哪个权重作为一个混合进度呢?这个是比较重要的啊,他们试了很多方法啊,一种方法呢是我不管三七二十一,我看哪个权重啊,啊,比较重要,我就固定的有一列,把它变成这个,他这个发现呢,就固定的这个权重的这个量化啊,他的 他对改进还是非常小啊,他的,呃性能还是不好,还有一种呢,随机,随机也不行,他们呢就发明了一种方法,通过一个叫 active 啊,去计算你这个 像量当中一个最重要的这样的一个权重,让他保留下来啊,那么这样他就会得到最大的一个改进啊,所以他这个方案叫做 active activation 啊,啊,他就会变成 这样的 a 就是这么来的 activation 啊,激活感知的这个权重进行量化哎,他这个名字就是这么来的,这个就是 awq 啊,他的算法的名字就是这么来的啊,好 操作啊,但他这样操作,他想,哎,能不能进一步,再进一步再降低啊,他的这个损失啊,那么他呢就会发现,哎,我可以在权重上面重要的这个上面,我先成一个,一个 scaling, 就是成成一个系数,成成一个扩大的一个系数大于一的这样一个系数,去减少他的这个量化的这样一个错误啊,他在后面的操作里面呢,再做一个 除法,那么一乘一除,他等于是说这个精度啊,没有任何变化啊,这个数值没有任何变化,但是他能够很好的去进一步去降低他这个权重的这个错误率,那么他们也测了如果一点、五倍、两倍、四倍,到底哪一个好呢?哎,他等于是这样,那么他目前看下的四点 两倍这个数据是比较好的,一定是固定值,一定是最优的吗?他们又去研究了一些算法啊,他就做了一些函数啊,他就想方设法啊,尽可能的啊,不要用一到一些混合的精度啊,他尽可能不要用到一些混合的精度,他尽可能把它整形化,但通过一个系数啊,把它给 全部整形化,那这样他所消耗的这样的一个算力呃是最少的呃,包括他所需要的这个内存也是最少的。他通过这种啊,把它成一个系数,把它整形化啊,进一步去除一个系数,去降低他的整个一个损失,通过这种来做的啊,那么他发现 如果去乘一个系数的话,那么这个系数是到底是多大呢?那么他们又发明了一个算法叫 fast grade search 啊,他通过这种方法啊,去找到这样的一个系数啊,这个系数去乘以这个权重,或者后后面去除以这个权重,他 是最优的啊,他找到了这样的一个方案,他得是这样,他的损失率啊,可以进一步的降低啊,变成十三点幺八啊,比原来成一个固定系数会更好啊,他是,所以他就会变成 叫 activation, 呃, where, 呃, weight, 呃,这个权重的这样一个量化啊,他就会变成激活的这样的一个, 呃,感激的一个权重量化啊,他这个名字就是这么来的。他这个里面也有一个算法啊,好,这个是他的这个基础的原理啊,好,那么他按照他这个原理呢,他就把这个 算法给算给做出来了,那么他也做了一些呃,对比啊,叫呃, g p g q, 他是用拉玛 two 的这样的一个模型和拉玛一和拉玛二的这样一个模型,分别做这样的一个对比啊。呃,他用不同的算法,用 i bit 三位和 bit 四位,呃呃, group 是幺二八,呃,这样一个参数,这个呢是 f p 十六, 是半径度啊,是比较准的啊,你可以看到啊,他的这个数值越低是越越好,他的这个损失率啊,他的这个错误率,他的也是这样,你可以看到这个还是比较好的啊,像这个啊,如果是 rnt h 四的话,你可以看到他跟五点六零跟五点四七,差别已经不是太大了, 差别已经不是太大,特别是在大模型上面,七十 b 的这种模型上面,它的差别已经很小啊,所以到它的内存的使用量,如果我们用 r n t 四的话, 你可以看到啊,他需要的内存就会非常少啊。回头我给大家展示一张图,这张图里面会重点会去讲啊,如果我们用七十币的这种辣妈的这种大模型,哎,其实是可以跑在一张 gpu 卡里面的,同时它的性能也是非常好 啊,推力加速的效果也是不错啊,所以这个是他的这个算法的 a w q 的这个价值啊。好,那么他最后呢啊,他又给了一张图啊,呃, g p t q 的话,也是一种 变化的算法,这个他的这个算法到 a w q 啊,他也是一种算法,他跟对比了其他的这个算法之后呢,他会发现就是他的这个算法啊,他的这个损失率会更低,会更好,大家也是这样啊,他主要是讲的是这个啊。好,那么这篇的呢,论文就会跟大家就介绍到这,我们看看这个项目 项目这个情况啊,这个项目的话呢,它原版的这个项目是在这叫 l l n a w q 啊,那么这个是老量啊,这个项目啊,那么现在的话呢,它这个项目呃,又在新的一个项目上面进一步去发展啊,这个项目叫叫 alter a w q, 他们做这个架构可以做的更好一些啊,所以他叫 alt a w q 啊,那么他跟 f p 十六对比啊,他这个上面也讲了一下,如果用四倍的话,他会比 f p 十六要少用三倍的这个 内存啊,就是这样啊,非常有价值,而且他的效率还会得到翻倍,叫速度会翻,推力的速度会加倍,同时他的内存的消耗会只有原来 三分之一啊,这个是他这个项目的价值。好,我们来看看他目前支持的模型啊,拉玛 two, 拉玛一啊, mister 二、米库纳,像这种啊,中国有一个叫,呃,这个叫飞鹰啊,飞鹰一模型和飞鹰二模型哎,特别我比较看重的是中文中英文的这个飞鹰二,他有一个三十四 d 的这个模型,他也是可以支持 a w q 的讲话啊,这个非常有价值啊,我们可以看一下啊,如果他经过量化了之后啊,他的内存呃就会非常少啊,他七 b 的话,你看他经过 rnt 亮化之后啊,它只需要四个 gb 啊,就够了啊。如呃,它是可以跑在那个,如果是 啊,这个是七 b 的模型,他在测这个是七 b 的这个模型,拉麻特的,这这这个也是七 b 的模型,我们看一个模型大一点啊,啊,看一个三十四 b 的模型啊,三十四 b 的模型呢?他这边讲了,如果二零四八的他跑在一块 gtu 卡上就可以, 只要二十 g b 的这个就够了啊,他也是跑在这个量化上面, a w q 四倍的量化,只要二十四 g b 就够了啊,他的如果你要呃这个 contex 更大一点的话,比 co 的要更长一点的,那你可以用两块 g p u 啊,用那个 三零九零啊,四四四零九零的两块 gpu, 那你就可以跑这样一个三十四 b 的这样一个大模型啊,原来的话是不可想象啊,你这么大的一个模型啊,怎么可能用两块 cpu 就可以跑出来了,同时它的性能也不是很差,但可以用这个大模型用作一些推理商。好吧,好,下次这个项目我就跟大家就介绍到这,下次有机会的话我再给大家演示一下怎么用 啊, o two a w q 进行量化啊,然后怎么进行推理啊,怎么省内存,怎么样加速这个推理的过程,好吧,好啊,今天这个啊,这个文章啊,就跟大家就介绍到这。