你知道为什么深度学习、人工智的训练能都强力依赖 gpu 吗?今天我们一起探讨 gpu 为何适合用来深度学习神经网络训练的。五乘六、再乘七等于多少都是二百一十八乘三,再乘五等于多少都是幺二零 七乘十二,再乘三等于多少都是二百五十二。 cpu 运行速度之快令人震惊,而 gpu 的速度接近但稍显逊色。矩阵 a 乘以矩阵 b 的结果是什么? cpu, 你的回答是什么呢?显然, cpu 耗费了更多时间。正是因为 gpu 在执行矩阵乘法时极速,所以他们在神经网络中得以应用。但这背后的原因是什么?为何 cpu 在处理标量乘法上如此卓越?而在举 真乘法上, gpu 更胜一筹?有三大关键因素, gpu 具有更高的内存带宽,采用定型处理,且相对于 cpu, 其内存访问更快且更广泛。 我们将深入探索这三个关键因素。首先,这里是一个框架图示,我们有一块系统内存, 这是储存储器,储存了需要进行乘法的矩阵。我们配备了 cpu 和 gpu, 同时他们也有自己的内存,我暂时简称为内存,不做具体解释。我们来打个比方, cpu 犹如法拉利,而 gpu 则像货车。第一种情况进行标量乘法。 cpu 可以通过读取操作从内存中获取数据。我们能够获取的数据量很小,但他已经足够,几次读取操作即可获得浮点数。 这些读取过程快的像法拉利。相较之下, gpu 的读取操作可以传输更大数据量,但并为专为速度而优化。因此他们就如同火车,处理小数据快时可能会花费更长时间。 这也解释了为何在标量乘法中, gpu 的效率可能不如 cpu。 第二种情况当成两个大举证实, cpu 拥有超快的读取功能,但每次仅能传输极少的数据,因此他可能需要上千次的读取操作来获取全部数据。当一次数据正在读取时, cpu 内存就进行处理,并为下一次输入做好准备。而在这方面, gpu 表现的更为出色。 每次我们可以从 ram 读取大量数据到 gpu 内存,因此 gpu 不必执行那么多次操作。更 专业的说, gpu 的内存带宽超过了 cpu。 内存带宽是指单次操作可以从内存中传输的数据量,这也是 gpu 在大矩阵乘法上相较于 cpu 更有优势的主要因素之一。 但是,尽管我们获取了众多数据, gpu 处理器有时还是会闲置,他们运行的太快,而数据传输比如货车却较慢。因此,我们可以同时运行多个传输通道,而非仅有一个。这样, gpu 处理器无需等待,它始终有数据进行处理。 这种使用多个传输通道的思路极为并行化,结合高内存带宽和并行处理,可最大化的减少 gpu 的等待时间。首先,我们迅速的获取了海量数据,然而, gpu 所提供的不止如此,它还有更高 高速的内存。我之前对内存这一术语的描述或许有些笼统,但我实际上指的是缓存和寄存器。虽然 gpu 也有相似的结构,但其 l 一和 l 二缓存相对于 cpu 的 l 一和 l 二缓存来说体积更小。体积越小,访问的速度就越快。 此外, gpu 中的高效处理器拥有大量寄存器,他们的运行速度极快。事实上,与 cpu 相比, gpu 具有多达上千倍的寄存器资源, 因此,这些内存优化功能共同使计算速度飞快。正因为这三方面的综合优势,使得 gpu 在进行矩阵乘法时,特别是大矩阵比 cpu 更有优势。高速的乘法计算意味着我们在深度学习的操作中也能实现更高的效率,真的很酷。但如何才能 作为开发者充分利用 gtu 的能力呢?这正是 cuda 发挥作用的地方。从开发者的视角看, cuda 提供了一套 api, 是我们能够直接操作 gtu 的组件,如高效处理器、缓存和寄存器。 尽管 coda 已经提供了非常友好的高级抽象,但像拍拖这样的深度学习框架进一步简化了操作。如此,我们甚至不必深入了解 gpu 的内部结构。
粉丝8.9万获赞43.6万

同样的 cpu, 一个是三点八 g, 一个是五 g, 那么增速可以相差将近三十多阵,那具体是怎么操作的呢?今天我们来学习 cpu 超频。 cpu 超频不像显卡超频, 咱们需要进入到 blog 里面去完成。每个主板的 blus 界面都不一样,但是大致的操作都是差不多的。我们首先要进入到高级模式,找到相应的超频工具。 cpu 配置里面这有一个备屏,备屏就是指 cpu 的主屏,然后我们这里一般是选择 所有内核,把它定平到你想要的频率。如果是九代或者十代的英特尔的处理器,那么基本上五 g 是没有任何问题的,五 g 就是对应到五十 应用。然后这里我们调完过后还要给一个电压,电压的话是根据你的 cpu 体质去决定的,如果电压过高,会导致你的 cpu 温度爆炸,我们这个电压是可以慢慢去加压的。比如说我先给了一点三伏, 我们保存重启,然后去进行一个正常的烤鸡测试,发现如果没有问题,那就 ok。 相反,如果烤鸡不通过玩游戏不稳定,那就是电压给低了,那我们就给到一个三点五伏,或者怎么样,你去测试啊, 发现,哎,一点三五伏刚好,那就 ok。 比如说你给了一点三的电压,你发现打游戏烤鸡都是正常的,那你这个时候还可以再降电压,给个一点二五, 这样子,发现,哎,还能稳定,那你可以还在还这样啊,这是属于我们说大雕蹄子,不过这个需要你们自己慢慢的去尝试啊。然后我们保存重写,进入系统后可以发现我们的 cpu 已经乘以五十了,就是应聘到五 g 后置,那他对于游戏的增速提升到底有多大啊?我们 来看实测的对比视频, 你学会了吗?

今天给大家介绍一篇文章优化神经网络训练的十几种方法。需要指出的是,这十几种方法均是在疾病环境下利用配套的方法进行训练的。然后文章地址放在视频最后面,感兴趣的话可以关注一下,谢谢大家。

为什么显卡渲染能比 cpu 快几十倍?他们是如何工作的呢?美国有个科普电视节目留言终结者曾经做过一场这样的实验,他们用两台机器生动地还原了 gpu 和 cpu 的工作原理。 首先登场呢,是个看起来非常别致的机器。他接下来会我们演示 cpu 是如何工作的。按下启动按钮之后呢,只见他在画布上一步一个脚印,画出一张笑脸。 其实这就是 cpu 所擅长的串行计算,按照规定的顺序执行任务,就好像人走楼梯一样,通常都是一步爬一个阶梯,你总不能一下蹦到五楼,然后又跳回二楼吧。 接下来就是演示 gpu 工作的机器了,它的体积是 cpu 内台的好几倍,按一下启动按钮的瞬间啊,一副蒙娜丽莎就画好了。通过慢动作回放,可以看到红绿蓝三原色几乎是同时发射出来的。 这就是为什么 gpu 渲染会比 cpu 快几十倍的原因了。由于 gpu 的核心更多,所以它适合进行并行计算,可以多个任务同时进行。而 cpu 是一个一个执行的,效率自然是天壤之别。你还知道哪些领域是 gpu 的并行计算所擅长的呢?

cpu 超频能给你的电脑提升多少技能呢?结论啊,你们可能会说,我们看看游戏实测啊,差多少?吃鸡差了有百分之五没有?没有啊,吃鸡他不吃 cpu 他更加吃内存。那我们来看看吃 cpu 的撸啊撸,差了百分之五没有?差了,但是啊,也仅仅只有百分之五。 而且想超频 cpu 需要准备更好的一个散热,更好的主板和供电,而且只有六九零激烈才支持四比六超品。那这些超预算你花在内存显卡甚至硬盘上要比超频来的更好呀。啊,真香,有什么应急问题等一下。 而且啊,小白千万千万别去抽 cbu, 内存超过了头顶多就是蓝屏开机失败。 cpu 你一旦电压过头是真的会坏的,超频损坏你的硬件,厂家是不会管你的。这也是我不让靓仔做 cpu 超频教程的原因。 但是呢,评论区给我的感觉是什么,不超平就不要玩电脑,我很担心啊,有小白看见之后自己去超平,然后炸鸡,提升又不大,花钱还很多,又折腾人,费力不讨好。来,咱就不要再去弄这种东西了啊。

我们有些网友在问我啊,如果企业要做大模型呃,使用这些大模型的话,应该选择什么样的 gpu 啊?那就建议大家就是选择这个四零九零啊,因为它的性价比会更高啊。那啊,李博士的这样一篇啊, a 一百和 h 一百太贵,何不用四零九零啊这样一篇文章跟大家来介绍一下 啊。首先先讲结论啊,结论的话呢,就是四零九零的话呢,他是做推理,他的性价比会非常高啊, 如果做大模型的这个预训练的话是不行的,四零九零是不行的啊,那么如果四零九零做一些微调的话,其实勉强也是可以的,勉强也是可以。好,我们来看看啊,他为什么,那么我们看一下,其实一百 a 一百和四零九零,他是在算力上面,他其实相差是不大的,特别四零九零跟 a 一百,他在 p 十六的这个算力上面啊,几乎是差不多, 甚至四零九零比 a 一百还更快一点啊,那么 h 一百的话,跟四零九零的他的那个算力才接近三倍,这是一个,所以的,因为我们在推理过程当中呢,主要是用单模型,模型需要的这个数据量会比较小,所以他主要靠算力就够了,当然呃内存贷款也会比较重要一些,但是问题也不是太大啊, 它比训练的时候要少啊,那么预训练过程当中呢,因为它是要呃几千块的 g、 p、 u 进行联合训练的,所以的话非常看重这个 呃 gpu 跟 gpu 之间的这个通讯贷款啊,他会非常看重啊,这个会成为他的这个瓶颈,所以四零九零跟 a 一百 h 一百对比的话,他啊至少差了十五倍啊,所以的话呢,他的这个通讯啊, 如果有几千块 gpu 同时要进行相互的数据进行交互的时候的,那么做大模型的运行,连 h 一百和 a 一百就更合适了,四零九零就不太行了,那他这个主要的差异在这,好,我们来 看一下啊,这个网站给大家看一下啊,四零九零跟 a 一百的那个对比来看一下,我们看到那个四零九零的话是二点三九啊,他的这个速度,速度还是比较快。 a 一百二点二九,你看的话差别不是太大了, 差别不是太大,但是它的价格要相差十倍啊,甚至十对啊,所以的话它这个性价比是非常高的。 二点三九,他跟这个相差不是太大的,二点九五差不多的,这个要差,所以他的这个性价比,四零九零的性价比就非常高啊,我们测下来他的性价比至少是至少是大概是 五倍以上的这种性价比啊,除非就是说你的这个量非常大啊,你的这个量非常大。好,我们再来看一看啊,我们来讲一下他,他他如果,为什么他四零九零,他这个训练他就不太行啊,我们看一下,如果一个训练拉玛 two 七十 b 等于一个模型,他需要 两千四百块 a 一百的这个 g p u 啊,你看啊,它是需要的 g p u 是非常多的,因为它在呃喇嘛处,它不光有参数啊,它还有数数据啊,还有这个中间的每一层的这样的一个一些一些过程的一些数据和参数,它都要保留和计算,所以它需要大量的这个 g p u 大量的内存, 那么有这么多块 gpu 之后的话,他就要对 gpu 和 gpu 之间进行通讯啊,所以他的贷款就会成为一个比较大的一个成本啊,最大的一个瓶颈啊,所以四零九零的话就,呃,他只有六十四 gb, 跟九百 gb 比起来,他这个差的就太大了啊,如果用四零九零来训练的话,就成通讯就成为了最大的一个问题啊, 同时性性价比就会非常差了,他等于是这样啊,而且这么多块 gpu 的很容易坏啊,因为你 gpu 快速越多的话,他越容易坏,如果当中有一块出现问题的话,他整个模型要中断掉了,他等于是这样啊,好,我们一起来 看看。我们如果要进行这种阿玛 two 这个七百亿参数模型训练的话呢,他们需要做几个事事情啊?这个两千四百块 gpu, 第一个的话呢,他是要做数据的并行,他就是他把一个 几个 t 的这样的一个数据,他要分发到不同的这个 gpu 上面去,然后训练啊,这是叫 data 的并行数据并行啊。第二个并行的话呢,就是他会把因为你这个模型一块的这个一个模型的数据在一块 gpu 里面可能是放不下的啊,所以的话呢,他会按照每一层 把某几层放在不同的这个 g p u 上面进行串联啊,这个叫流水线并行啊,三个的话呢,它主要是叫 tensor 张亮并行,张亮并行的话是我们目前训练的这个 phone 的模型都是多头的啊,多头他每一个头其实他都是可以按照张亮来进行并行训练啊,所以他的整个一个 个呃,像阿拉玛杠七 b 的这种模型的话,会通通过张亮啊,流水线数据三种并行方式啊,从模型内层到模型层之间啊,和训练数据三个维度进行计算空间的划分, 二四两千四百块 gpu 要进行大量的这个协调和通讯计算,他等于是啊,所以的话呢,这个就导致了这个四零九零的话,通讯贷款不够的话,是不能做这方面的训练的,因为他效率会很低,效率会很低啊,这个是关键的一个因素啊。好, 那么我们再呃,再给大家再介绍一个项目啊,这个项目的话呢是 bexitis 啊,他们目前开发的啊,叫潘透斯啊,潘透斯啊,这个项目可以把很多小的四零九零的这个 g p u 啊,组成一个 p to p 的一个网络,然后它可以结合起来啊,把它变成一个网 之后,他们可以把这些网络上面的 gpu 把它连接起来,作为一个微调,或者进行一个就是推理啊,他这个就是这个也是可以的啊,通过这种方式也是可以是这样来做的。那么这个项目的话呢,他据说的话,这个 ptp 网络的话呢, 他可以把单个节点啊,呃,通过这个网络的话可以加速十倍,所以性能会也会不错啊,所以我们也不用担心,如果我们买了一些四零九零的一些 gpu 之后的话呢,他,呃,企业一般做微调的应用场景会比较多啊,那么他其实是可以用一些比较好的一些技术架构啊, 像潘斗士啊这种技术架构可以作为一些 p two b 网络的联合的这样的一个微调的这种方式去做啊。好啊,如果这个项目如果大家也有兴趣的话也可以看一下啊,目前这个项目钉啊也是比较新的啊,七点六个,七千六百个信心啊,这个热度也是比较高的。他这个项目啊,然后也有 相关那些论文啊,我也下载,如果大家有兴趣的话可以去看一下。好啊,今天的话,关于那个企业级的一些不利部署的大模型应该选用什么样的 gpu 啊?这样这个话题就跟大家就交流到这。好,谢谢各位。

您知道 gpu 和 cpu 有什么区别吗?为什么训练人工智能模型的时候优先选择 gpu 呢? 来我们看一个视频,直观的感受一下 gpu 和 cpu 的区别。 and he is going to paint a picture for you guys in the way that a cpu might do it as a series of discrete actions perform sequentially one after the other let me speed it up goes through these accumulators out these valves into all 100100 to these tubes into these tubes in which the bottom of is a paintball each of those paintballs will fly across seven feet of space and in 80 milliseconds reach its target hopefully gpu painting demonstration, three two, one ladies and gentlemen science class is now over thank you。

小伙伴们在搭配一台主机的时候,经常会因为听说 cpu 弱了会成为显卡的瓶颈,跑不满显卡的性能而选择价钱升级更贵的 cpu。 实际上, cpu 迅猛发展的今天,在打游戏方面基本已经不存在这种情况了。就拿市面上主流的 cpu 英特尔十二代 i 五一二四九零 f 来演示, 我们分别搭配终端的三零六零肽和高端的三零八零肽来看看区别。第一轮,我们用一二四九零 f 和一二九零零 k 分别搭配三零六零肽,在跑赛博朋克和大表哥二的时候,可以看到三零六零肽的占用率都达到了百分之九十九, 说明这两个 cpu 都能让终端显卡全力工作。区别在于幺二四九零 f 的占用率在百分之五六十,而幺二九零零 k 只占用了百分之二三十。第二轮我们不换 cpu 搭配三零八零太来测试。虽然在大表哥二的测试中,幺二四九零 f 偶尔会让三零八零太的占用率降到百分之八十五,但两组搭配的整体情况,显卡占用率都是拉, 也就是说,哪怕是千元级的一二四九零 f 也不会成为高端显卡的瓶颈。在整个测试过程中,不管是一二四九零 f 还是一二九零零 k, 只要搭配同一张显卡,在实际游戏增速上的差距并不大。这是因为绝大多数游戏考验的是 cpu 的单核性能, 同一代的 cpu 设计架构基本相同,即便是旗舰和主流有差距,但在打游戏方面体现的并不明显。所以小伙伴们在组装电脑的时候,如果只是用来打游戏,主流的一二四九零 f 就足以搞定你的需求。当然做渲染等生产力的话,多和多线程的必要性就非常明显了。

电脑小百科、计算机常用软件、硬件故障等内容分享,如果视频对你有用,别忘了点赞、关注、收藏哦! 哈喽,大家好,欢迎收看电脑小百科本期视频,给大家带来最近帮粉丝装系统遇到的一个问题, 他的问题是什么呢?就是进三 d 游戏非常的卡,怎么个卡法?卡到动不了,连输账号密码都费劲。症状是 cpu 满占百分之一百, gpu 零占用。这种情况 一般会出现在笔记本上,台式机一般很少出现,我一开始以为是写卡机动没装,但是我拍照之后发现不是,我打开任务管理器瞄了一眼,好家伙,这完全是 cpu 在工作, gpu 完全不动呀, are you kidding me 啊?这有可能是什么问题呢?既然不是显卡,启动显卡肯定也是好的,不会换。 然后我打开这个,因为他控制面板,看了一下他的这个三 d 设置,这里选的默认选的是自动选择,但是这个自动选择有问题, 理论上来说,自动选择玩游戏肯定选独立显卡,是不是?他用和谐分配和谐给你玩游戏能不卡吗?是不是? 然后我们在程序设置这里再单独设置一下,由于他重装系统了,之前就找不到之前的这个英雄文件,我们直接在安装目录这里找,注意不是这个登录界面,这个有这个客户端, 我是这个启动的客户端 啊,是这个原省点 a s e s e 这个英雄文件,然后把这高级缩放给他关掉, 这个一般用不上。然后我们再点开设置,找到里面的显示设置,然后找到图形设置,我们把原神这个添加过来, 然后选项这里面点开 默认,他有个默认选项,默认选项一般发挥性能不是很好,我们选择高性能也不要选节能,注意啊, 一定要选择这个高性能,你玩游戏才会有更好的体验。关掉之后我们再来看一下这个 cpu 在用, 果然这个 cpu 再用上去了, 呸, gpu 再用上去了。 好了,这就是本次解决这个 cp cpu 再用百分之百 gpu 零再用这个问题的解决方案。 当然有的小伙伴还有另外一种解决方案就是禁用和谐,但是我觉得没必要,既然有和谐完全给他禁用掉,那所有程序都跑在独立显海上,这也有点浪费是不是? 好了,本期视频就到这里,希望本视频对你有所帮助,我们下期再见,别忘了点赞关注、收藏哦,谢谢大家,拜拜!

人工智能的算力是什么? gpu 和 cpu 的区别到底在哪里?还有什么叫存算一体?今天带大家沉浸式体验人工智能算力的底层构成。你是一个研究人工智能的博士,在国外留学,今年春节回国和几年不见的家人来团聚。 春节后, chat gbt 概念突然在国内爆火,你也被一个大学时很要好的室友请到了他所在的基金公司去做科普培训,给基金经理们讲了讲 chat gbt 是如何说出我想你的。 这次培训效果很不错,你把人工智能的原理说的深入浅出,有人整理后发到了网上的短视频平台,居然一下子能有几十万的播放量,让你不禁感到有点小成就。这天,你的那位同学又打来电话,说要再请你去讲讲人工智能算力的事情,你痛快的 答应了。讲座的这天,你发现会议室里面的人比上次更多了,而且有些人的穿着风格感觉并不是基金公司的投研人员。和之前一样,你的同学来做开场白, 上次牛博士给我们揭示了一个底层逻辑,算力规模在推动人工智能的发展,所以今天咱们就请牛博士专门来讲讲算力。 这次讲座呢,除了咱们公司的投研团队外,还有几位咱们的基金专户客户也特别感兴趣过来参加了。这位是牛厂长,他的光伏龟片厂最近几年规模扩张的很快,最近也正在建设半导体及的龟片生产线。 旁边这位是牛总带来的一个朋友,是咱们省很有名的牛肉面连锁品牌阿牛的老板。阿牛牛肉面,你马上想起了你大学边上的那家牛肉面馆,价格不贵,而且每次牛肉的量都很足, 所以你们寝室最喜欢做的就是周末去这家店里改善伙食,顺便一起吹吹牛。脑海中浮现出的大学画面,让你觉得眼前的这位牛肉面老板很亲切,所以你单独冲他点了点头,打了个招呼,然后开始了你的讲座。 好,那咱们今天就讲讲人工智能的算力。首先,人工智能的算力服务器最主要的支撑就是底层的计算芯片, 计算芯片中的 cpu 和 gpu 大家都听过,咱们就先从他们说起。 cpu 是最传统的计算芯片,有计算机以来就有 cpu 了, 他是统一处理指令、数据、内存、接口等各种请求的,什么事情都能干,所以擅长的是各种任务的调度。 gpu 就不一样了,他只能处理最简单的数学计算指令,但他内部有几千个处理单元, 可以同时做处理,因此特别擅长做简单但是大规模的并发计算。讲到这里,你习惯性的观察了一下听众的反应,发现大部分人一脸茫然,显然没有完全理解。 这时你看到了那位牛肉面连锁的老板突然有主意了,继续说道,咱们可以把 cpu 理解成一个五星主厨, 煎炒烹炸样样精通,从一碗阳春面到一桌满汉全席都能做,同时也还能负责食材的采买、菜品调度、后厨管理等所有事情。 可以说,主厨是一个饭店,尤其是高档饭店不可缺少的角色。而 gpu 不一样,他就是一个专项的厨师,只会做最简单的某个菜品。比如一个拉面师只会做牛肉面,别的菜不会做,但他做出的牛肉面不比五星级主厨做出来的味道差,所以 一般的应用场景下,说到这里,你顿了一下,突然意识到又不自觉的说出了专业名词,所以你马上改口说道。因此,一个饭店,如果客人不多,主厨直接做全桌菜就行了,不用请专门的拉面师傅。 可如果是一个万人大聚餐,要想让这一万人同时都吃饱,一个主厨肯定不够,必须再请一千个拉面师傅,每个师傅同时出十碗面才能完成这个任务。 这时候大厨就不直接做菜了,更主要干的是工作调度和场面管理了。那回到人工智能这件事上也一样。 最开始的时候,业内都是直接用 cpu 这种五星大厨去做模型训练的,虽说 cpu 并行,处理能力差,做菜慢,但没关系,一个 cpu 不够,就上两个,数据量不多的时候凑合能用。但到了后来,训练数据越来越多,哪怕 上十几个 cpu, 速度也开始变慢,所以就必须要想办法加速。最简单的加速方法就是把 cpu 继续扩充到成百上千个,但这种方法成本太高,很难做到,所以行不通。就像开炒菜馆和面馆一样, 炒菜馆有主厨,啥菜都能做。但正因为这样很难做,标准化的管理成本太高了,所以连锁的规模不太容易做得大。而如果是牛肉面馆,虽然只能做一碗面,但是简单容易标准化,所以哪怕开几千家连锁店都是可能的,也就可以同时容纳更多的人吃饭了。 一代 g b t 模型训练只用了五 g b 的文本数据,二代就用到了四十 g b, 三点五代用了四十五 t b, 这么大规模的数据量和计算,你必须把它们分流到几千个牛肉面馆里才行。上次讲座我和大家讲了 chat g b t 模型 是概率模型,这种模型的训练和推理,其实里面每一步的计算都不复杂,全都是最基础的矩阵运算,比如矩阵乘法、矩阵加法等等,咱们高中数学里就全学过, 但是需要做的运算量可非常大,但好在他们相互之间没有前后顺序的依赖,可以并发同时做, 那这就有点像万人大聚餐了。 gpu 就非常合适,一个 gpu 里有几千个处理单元,就像有几千个拉面师傅一样,简单的事情重复做,同时做,半个小时 gpu 就能处理完了。所以大家看到 ai 的算力服务器,也叫加速服务器,基本上都是采用 cpu 加 gpu 的模式。 比如最典型的英伟达 a 一百服务器,里面就配置了两颗 cpu 和八颗 gpu, 其中的两颗 cpu 负责任务和数据调度,而八颗 gpu 才是真 正负责模型训练计算的。因此 cpu 虽然是必不可少的,但如果说人工智能的算力更多取决于 gpu, 也就是说大厨作为管理者一定要有,但你饭店规模的大小,最终取决于你有多少拉面师傅可以同时拉面。 听到这里,牛肉面店主不自然的挺了挺胸脯,插嘴道,我懂了,发展人工智能就要发展 gpu, 那 gpu 的算力规模能一直增长下去吗?这几千个拉面师傅能变成几万甚至几十万个吗?听到这个问题,你点了点头,喝了口水,继续说道。 其实现在 gpu 的算力发展确实已经开始碰到瓶颈了,业界也在研究一些解决方案,比如现在很多人在说的存算一体,存算一体什么意思呢?现在无论 cpu 还是 gpu, 采用的都是七十年前的 蒙诺伊曼体系架构,这种架构的核心就是把数据的处理和存储分开,也就是 cpu 和内存是在不同芯片上的,而他们之间的通信要通过总线来进行,数据量少的时候没问题,但一旦数据变多,总线本身就会拥挤成为瓶颈。 这个道理和牛肉面后厨也是一样的。现在的 gpu 病情处理能力越来越强,相当于我们已经有了几万个拉面师,分布在几万个小厨房里,可以同时煮面。 可是我们后厨却只有一个集中式的大冷库,牛肉、面粉、鸡蛋、萝卜,所有的食材都放在这一个大冷库中。几万个拉面师在拉面之前都需要到冷库里取食材, 同时去的拉面师一多就需要开始排队了,再多的时候呢,走廊里面可能都挤满了人,根本走不动了。这个例子中,冷 库就是我们说的内存芯片,里面存着所有的数据,而拉面师傅运货的走廊就是总线,人挤满了就成为平静了。 gpu 现在就碰到了这个所谓的存储墙的平静。总线不够用了,数据传输速度不够快,就会限制算力的天花板。 你看这次美国对中国的 gpu 限制,就是对芯片总线带宽和算力联合做限制。所以英伟达在这个新规下,能对中国销售的 a 八百芯片,他的总线带宽就必须从原来 a 一百的六百 gb 每秒降低到四百 gb 每秒,所以数据的传输带宽越来越成为 gpu 的瓶颈。 解决办法有没有呢?有,就是给这几万个小厨房里面,每个厨房都配备一个小冰柜,把牛肉、面粉等食材事先分配到每个厨房的小冰柜里。这样一来,每个 小厨房既能单独备料,又能单独做面,走廊里面就再也不会挤满去领食材的拉面师了。对应到 gpu, 就是把之前集中存储在外面的数据改为存在 gpu 的每个计算单元内,每个计算单元既负责存储数据,又负责数据计算。这种方法就叫存算一体, 总线平静一解决,算力规模又可以继续上升了。所以存算一体是未来的计算芯片的架构趋势。听到这里,听众明显显得兴奋起来,有个研究员就说道,今天终于搞清楚存算一体是怎么回事了,原来真是一碗牛肉面就能解决的, 我就知道有好几家国内的公司都说在做纯算一体,看来咱们国家被卡脖子的算力问题啊,很快能得到解决。你看大家这么兴奋,于是你摆了摆手和大家说道,可能并没有那么快。 国内确实已经有做存算一体的公司了,而且和国外的差距并没有那么大,所以也被认为是未来能换到追赶的一个机会。 但是存算一体总体来讲,目前的阶段确实非常早期,还不能投入实际应用。当然了,这点大家可以讨论,因为诸位是做投资研究的,可能和我关注的侧重点并不太一样。讲到这里,你看到听众们纷纷开始点头,你知道今天的这个培训可以圆满结束了。 会后大家散开来开始查点和聊天,你也有点饿了,正犹豫着要吃块巧克力饼还是小蛋糕,一个穿着西装的大个子突然走到你面前说道,牛博士你好,咱俩都姓牛,是本家有个问题请教您一下, 现在我们进口不了先进的 gpu 芯片了,但我们自己生产的 gpu 会不会性能特别差呢?我们有没有什么英 对方法呢?你扶了扶眼镜,认真看了看这个人,想起来了,刚才你同学开场白的时候介绍过他,他好像是一家光伏龟片厂的厂长。你认真想了想回答道,牛厂长,我个人觉得 gpu 咱们不用过于悲观,目前还是有一些方法能够帮咱们解决问题的。 比如我知道做芯片的时候可以用一种叫做 chiplet 的技术,就可以缩小咱们在制成方面的差距。但芯片制造这块我不是专家,如果您有兴趣,我有个大学同学现在正好做芯片制造,我下次把他拉过来专门讲讲这块。

告诉你最前沿的计算机知识,信奥初赛可能会考哦!我们反复说过,学习信奥是距离叉 g p t 人工智能最近的一条学习路径了,为什么呢?因为人工智能三要素,算力、算法和数据。 咱们信息学奥赛就是学习算法。今天咱们不说算法,说一说算力,算力就是计算能力,我们训练一个人工智能要用到巨大的算力,但是为什么要用显卡 gpu, 而不是咱们平时听到的最多的计算机的大脑 cpu 呢?以下这个视频一分钟说清楚, 他将为你们画一幅画,就像一个 cpu 那样完成,作为一系列离散动作,按顺序的一个接一个的完成。 gpu 模拟器,当这个按钮被触发,这个东西的触发器会有两千一百加仑的气体通过这些阀门进入着一千一百个管子,每个管子里都有一个油气球,当他们被喷射出来后,他将画出蒙娜丽莎。 所以你明白了吗?因为 a 一百显卡具有巨大的并行计算能力,就是很多个单元同时计算,算力异常强大,远胜 cpu。 顺带一提,挖土机暑假赛前集训夏令营开放预定了,欢迎你来参加我们的赛前集训夏令营!

为什么 ai 要靠 gpu? 显卡 cpu 难道不行吗?相信百分之九十九的人都会认为,在电脑中, cpu, 也就是中央处理器才是运算的大脑。所有的 cpu 都是由运算器、 alu、 控制器、寄存器这三大部分组成。他负责了计算机中读取指令、对指令密码并执行指令的工作。既然叫他中央处理器,肯定他的运算能力也很强。但是当我们打开一片 cpu 时, 你就会发现, cpu 中几乎百分之八十的空间都被控制单元和存储单元占据,计算单元 a i u 只占到百分之二十左右。而实际上和你理解的不同, cpu 擅长的是逻辑控制而非计算,并且依照冯诺伊曼架构顺序执行原则,我们的 cpu 只能执行完一条指令再来下一条。也就是说, cpu 实际是串行处理模式,计算能力实际很有限,而 gpu 却完全不同。大家都知道,显卡设计的初衷主要就是为了接替 cpu 完成图形渲染。我们计算机显示的图像,每一个像素点都需要随时进行处理,奇迹算量相当大,但是由于每个像素处理方式及流程几乎完全相同,所以 gpu 的任务可以用并行计算来瞬间解决。 于是 gpu 与 cpu 正好相反,几乎全由计算单元 alu 组成,仅有少量的控制单元和存储单元,于是他可以简单粗暴,凭借众多的 alu 来完成任务。 如今的 gpu 可以拥有数百数千上万个核心来同时处理计算,例如 mvd 新一代 h 一百 gpu 核心具有恐怖的一点八万 q 的核心,即使是家用的 rtx 四零九零显卡库的核心数量也达到了一点六万个,它的并行度得到成千上万倍提升,最终 gpu 也就是图像处理 器可以实现通用的超高并行计算能力。当然, gpu 也同样是用并行的科学计算,乃至完成现在我们复杂的 ai 任务。这下你明白 ai 要靠 gpu 而不是 cpu 的原因了吧。欢迎大家关注叮当新科技,了解关于 ai 计算的问题,我们下期见。

游戏多少针你知道吗?一分钟教会你怎么看!最常用的三个工具了解一下!女友叫小飞机,他不但可以显示游戏的帧数,显示的项目还可以自己随便定制。一般常见的检测项目主要就是 cpu 和显卡的占用, 温度、功耗和频率,以及游戏的帧数。这个工具对于系统的占用,一般配置中上的电脑可以把它设置成开机自启动游戏。佳佳 国产监控软件,最初的时候这个工具 bug 不少,现在修修补补后已经非常好用了。监控的显示方式可以有多种排列,自由度非常大,甚至还有鲁大师的硬件检测功能。到目前为止并没有发现什么夹带的私货 是一个非常小的插件,几乎不占任何系统资源,而且对小白是相当友好,没有任何繁琐的设置。监控的项目对于一般用户足够全面了,选好显示位置和快捷键后,一键呼出就 完事了。所以你需要个性化和比较全面的监控。可以选择前面的两个工具,小白用户直接第三个工具走起,一键搞定。

这是我近期啊看到了一个最能解释 cpu 和 gpu 区别的视频。 three two one um let me speed it up ten point out when we hit this trigger on this thing twenty one hundred pounds gallon excuse me of air goes through these accumulators out these valves into all one thousand one hundred of these tubes, which are all exactly the same length into these tubes within which the bottom of is a paintball each of those paintballs will fly across seven feet of space ten nine eight seven six five four three two one。

到底是什么原因让英伟达的市值超过了万亿美元?截止七月十四日呢,英伟达的市值是高通的八倍,英特尔的七倍, amd 的五倍,是史上第九家市值超过万亿美元的公司。那现有万亿俱乐部的公司里面呢?他是第五家超级公司。黄教主恐怕做梦都会笑出声来啊。大家好, 那可能有很多人好奇啊,为什么一家 gpu 厂商会把 cpu 大厂踩在脚底下摩擦呢?在很多人的印象里啊, gpu 才是计算机的核心啊,那怎么被 gpu 反超了呢?今天我就专门给大家解答这两个问题啊。 首先我们要知道 cpu 和 gpu 之间到底有什么联系和区别。打个比方啊,你要盖一个房子,如果一个人盖呢,至少需要三十天的时间,当然你也有其他的事情要做,所以按照每天工作四个小时来计算,你至少需要一 一百二十个小时才能完成。但是你找了三个专业盖房子朋友来帮忙,但是这些朋友呢,也有自己的事情,所以每天只能帮你盖四个小时。所以算上你,你们四个人呢,一天可以干十六个小时的活,那你就需要七天半才能把房子盖好,但是你觉得这个速度还是太慢了,于是你又花钱找了 十个小工来做一些简单的准备工作。这十个小工如果也按照每天工作四个小时来计算,那他们一天呢,就可以完成四十个小时的工, 那么所有人一起盖房子,每天可以完成五十六个小时的工作。如果你赶赶进度,你差不多两天就能把房子盖好了。 在这里呢,你和你的朋友,就好比是 cpu, 负责房子的搭建设计的核心工作,你找了这几个朋友呢,就好比 cpu 里面的几个核心,那十个小工呢,就好比是 gpu, 就是帮你打下手,给你准备材料, 搬运东西什么,干一些不是很复杂的活。从这里我们可以看到啊,如果一个人盖房子需要三十天的时间,但是如果你找了朋友,就需要七天半,那你再找小工帮忙呢,两天就完成了,从三十天到两天,这个效率就马上提上来。 要说的是,你的 cpu 朋友呢,原本是可以包揽所有任务的,他们既可以干技术活,也可以干体力活, 朋友越多,就好比 cpu 的内核越多,干活速度呢就越快。但是当活越来越多,越来越杂,越来越重的时候,即使你朋友多,或者是 cpu 里的核数也很多的时候, 你也是忙不过来的,那速度呢,就会拉胯。但是如果有了 gpu 这个小工的帮忙呢,运算速度就会有明显的提升,那就意味着 gpu 里的核心越多,所以有了 gpu 这个小工的帮忙呢,工作效率就会得到大大的提高。这个跟 ai 渲染 图片很相似啊,如果只是用 cpu 来渲染呢,有的时候可能需要十几分钟,甚至更长的时间,但是如果有 gpu 呢,而且是核数比较多的 gpu, 那渲染图片的时间呢,可能需要几十秒或者十几秒,这就是 gpu 的价值数。 而 cpu 作为计算机的大脑呢,它的强大之处在于它的逻辑运算能力,也就是说专业性非常强。 cpu 呢,有四个运算单元,就好比是帮你盖房子的四个专业朋友,你的那些朋友呢,既可以帮你设计搭建房子,也可以帮你添砖加瓦,这个跟 cpu 的道理是一样的,也就是说, cpu 既可以处理高级运算,也可以处理简单的运算,既能做奥数题,也 也能做小学数学题。作为小工的 gpu 呢,虽然没有 cpu 那么专业,但是人多力量大, gpu 呢,有一千个运算单元,虽然 gpu 运算 能力非常强,但是他们呢,没有你 cpu 朋友那样的设计、搭建房子这些专业能力,只能干一些简单的任务,也就是说 gpu 呢,只能处理一些不是很复 达的运算。但是 gpu 大厂云伟达呢,从二零零六年开始,就把 gpu 引入了 guda 和特斯拉架构,让 gpu 呢进入到了通用计算领域,所以无论是算力还是能力呢,都得到了很大的提升, 现在的自动驾驶机器人,人工智能都会用到 gpu。 除此之外呢, cpu 和 gpu 还有一个不同的地方是, cpu 执行的是串形运算,也就是顺序运算,就是一步一步的按照顺序来进行,就像流水线的工厂一样,按照顺序一道工序一道工序的走,你不能从第一道工序直接跳到第三道工序。就比如你做菜啊,顺序是洗菜、切菜、炒菜, 你必须按照顺序先洗菜,然后切菜,最后再炒菜,这个就是串形运算。而 gpu 呢,执行的是并行运算,一次可以执行多个任务,例如你做饭、洗菜、切菜、炒菜呢。 gpu 的工作原理是,你可以在洗菜的同时呢,把切好的菜给切了,在洗菜和切菜的同时呢,你还可以把切好的菜给炒了, 这三个任务呢,是可以同时进行的,这个就是并行运算,之前英伟达就通过机器人作画的方式呢,来演示过 cpu 和 gpu 的工作原理。 通过视频呢,我们可以看到啊,演示 cpu 的机器人呢,是一步一步的按照顺序画出一张笑脸,而演示 gpu 的机器人呢,体型是 cpu 的好几倍,这正好映射了 gpu 和 cpu 的大小, 显示 gpu 的机器人呢,这一下子就生成了一幅画,通过慢放我们可以看到啊,红绿蓝三原色呢,几乎是同时 喷射出来的。一下成型的这两个机器人也很好的展示了 cpu 的串形运算和 gpu 的并行运算的原理。从这里我们可以看出啊,为什么 gpu 的渲染速度要比 cpu 快的多,所以呢, cpu 和 gpu 的运算效率就会差很多。最后我们来总结一下啊, cpu 与 gpu 的分工不同, 计算能力和方式方法不一样,加上这几年比特币自动驾驶,尤其是今年太子 gtp 等人工智能大火呢,对 gpu 的需求也是一路高歌猛进,那英伟达的市值也随着水涨船高,以前英伟达是专注于游戏和图形处理的 gpu 硬件大厂, 现在呢,姚顺一变成了人工智能公司,自家的产品也有了更广阔的市场空间,那资本市场呢,也给出了一个积极的反应,所以英伟达的市值就超过了一万亿美元, 这个也是自然而然的事情。以上就是今天的全部内容啊,大家如果有什么疑问,也欢迎大家一起在评论区来讨论,我是新奇书,带你了解黑科技,关注我,咱们下期不见不散!

咱们经常看到一个显卡参数叫显卡加速频率,比如这张三零零太的基础频率是一千四百一十兆赫兹,下面的加速频率呢,是咱们的进入游戏后才能达到的频率, 类似 cpu 的水平。有的铁子们就说了,可我的加速频率比这个高多了呀,这还要谢谢咱们黄旧驱动中给的 gpu boss 的机制,从二十系开始呢,已经更新到 gpu boss 的四点零了, 它会在温度和负载允许的条件下自动冲击更高的频率。不过呢,这个额外的 boss 的增加的频率高低是不属于质保范围内的,能加速多少,能持续多久,品牌也不会保证同规格型号的显卡不会有太大的差异。 游戏中的复杂呢,也是忽高忽低的,适当的时候跑更高的频率,低,复杂的时候呢,降低频率既能提高能效 比,还能适当提高游戏体验,前提是驱动给游戏优化好。那这个时候呢,就可以谈谈不同规格同型号显卡之间的差距影响有多大了。 比如这张三零轮胎加速频率呢,是标注的一千七百七十兆赫兹,好奇的兄弟们就会说了,那这张显卡在游戏表现上是不是就会比刚才的一千六百六十五兆赫兹要高很多? ips 当然不是了, 举个例子啊,两张显卡同样在开放环境下测试,在同一个场景下加速频率,很有可能他是一样的,为什么呢?哈哈,因为都是三零六零太啊,只不过更高的散热规格呢,可以在长时间游戏中呢,维持更久的加速频率就是了。 除此之外呢,就是外观的差异了,哎,对了,还有咱们看到的 oz 和不带 oz 版本也是这种差异,就这意思,下期见。

十二点, cpu 在温石系统上该如何设置大小和调度呢?大家对新上线的温石一系统高贬不一,客观一点来讲就是设计师,你这也太过分了,磁吸设计没了, 主编又见菜单也换了。打开电脑,我只办三件事,换温食。换温食还是换温食。但温食系统有大小和调度的 bug, 人数会下降,问题不大,你只管换,剩下的交给他。打开软件,在进程中选中游戏优先级选高启动,优先级提升 cpu 亲和性,勾选大核心 io 优先级选高内存优先级选五 启动这三个选项。这时游戏已经被指定跑在大河心里了。十二代库瑞加三零五零帧数明显提升, cpu 和显卡再也不会偷懒了。 现在温十的游戏表现甚至比温十一还要好,那么你会选择温十还是温十一呢?欢迎大家在评论区留言讨论哦!