还是接上一期视频,很多网友答对了,这的确是一张运算卡,主要的使用场景呢,就是人工智能的 ai 深度学习卡,比如现在非常流行的人工智能差的 gpt, 早期的训练模型就是使用的英伟达 v 一百和这款 k 八零的两款显卡。最新的叉的七 pt 四已经开始使用 a 一百和 h 一百来进行 ai 模拟训练了,而后者的两个显卡已经被美国限制出口到中国了。这两个显卡虽然在超创领域神一样的存在,并且二十四万的天价在此之前还需要排队购买,那现在排队也买不到了。 不过办法总比困难多,我们手里的一些数据中心客户就在新加坡开了分站,把部分的 ai 人工智能训练项目搬迁过去,然后获得数据再返回来。 回过头来,我们再说一下手里的这个 k 八零,这类显卡也可以用作其他的大型数据运算,早期的英美达特斯拉 k 系列都是其余开普勒加过的高技能显卡。这个 k 八零在之前晚上也是人称双星河的,使用了两颗机 k 二幺零的显卡芯片以及二十四 g 的显存,也有很多人模改成普通显卡,但是多多少少都会有些 bug, 不太建议个人去改。我个人比较感叹的是,这类企业级的显卡,即便是经过了几年的使用,再流入到民用市场,也可以看看这些参数依然强大。再比如说最新被美国限制出口的 h 一百超算显卡, 仅仅是显存就已经达到了八十七,显卡的带宽更是达到了变态的三 tp 每秒。我估计五年之后我们在民用市场能买到最大显存的也肯定达不到八十七。
粉丝868获赞7740


等等,你敢信吗?现在竟然有人能在普通的 rtx 四千零七十显卡上实现百万级别的 ai 上下文窗口?这不是开玩笑,是真的! 最近 veda i 社区炸锅了,一个叫 kiv 的 技术横空出世,它能让你的 ai 模型拥有高达一百万个 otkin 的 超长记忆, 你知道这意味着什么吗? ai 能一下子记住你超长的聊天记录、复杂的文档,甚至一整本书的内容,而且理解能力大幅提升。更厉害的是,它竟然只用一块普通的游戏显卡,也就是二 t x 四千零七十, 仅仅十二 g b 的 显存就能做到!这简直是把高端 ai 的 门槛一下就拉低了,让更多人有机会体验到超强的 ai 能力。 而且它还不需要你重新训练模型,只要你的模型用了哈丁 face 的 gnam cash 就 能轻松替换进去,即插即用,简直是开发者的福音。这意味着你现有的 ai 模型不用大动干戈,就能瞬间拥有超强的记忆力。想象一下, 你的 ai 助手能读懂几万行的代码,你的聊天机器人能记住你从头到尾的复杂需求,或者分析上百页的报告,而且响应速度还更快,这简直是让 ai 的 理解能力和应用场景提升了一个量级。 不得不说,这 kiv 技术简直就是 ai 领域的一个小魔法,它把我们对 ai 的 想象力又往前推进了一大步。那么你觉得这个突破会给 ai 带来哪些颠覆性的改变呢?快来评论区聊聊你的看法吧!

哇,电脑本地安装大模型居然可以这么简单!你现在只需要安装 gpso 这一个软件,然后就可以在他的模型库里找到拉玛三的八 b 版本,麒麟 b 版本 或者其他开源大模型,然后一键点击安装,只需要入门级显卡就可以在你的电脑上湿滑的运行,即使没有显卡也可以用 cpu 运行这些模型,而且这还是一个开源免费软件,各个系统都可以用。

内存搞了四根八 g 的, 这个是显卡,联想的幺零六六涡轮卡,他在电脑上安装一个谷歌的这个 ai, 他 叫 jam 四,这是个本地的模型,可以离线跑, 就不需要联网。最开始我也疑惑,你这个 ai 怎么能离线跑呢?跟我们用那个豆包一样,不联网。他怎么回答问题呢?看了下这个文件大小,四点二 g, 五点九 g 的 不同的版本,十七 g, 十九 g, 这个本身是训练好的,各种乱七八糟的数据都存好了, 当然也有代价吃硬件嘛,他这个运转吃你的内存跟显卡,在线型的那种 ai。 gpt 豆包,他的安装文件很小,两百兆,三百兆,他让你问问题之后发给了云端服务器,消耗的是服务器的硬件资源,他运转好了之后再把结果顺着网线给你。反过来 这么一个过程当然有代价, gpt 可能要交钱,这离线模型你不用花钱买,那个什么头盔免费的。这里面四个版本,一二 b, 一 四 b, 还有三幺 b, 他的硬件要求都不一样,这个要求是最低的, 还可以在手机上面跑。搜了一下,主要是吃内存跟显卡,对 cpu 要求不高。我搞了个幺零六零六 g 的 显卡,就跑这个模型,一四 b 的。 到这个网站去下载 lm studio studio studio studio 工作室软件里面叫工具级的意思, lm studio stu d i o 回车第一个就是这个官网,打开好,这个是全英文的,右上角 download, 先给他下载下来, 点这个 download 和 windows 下载五百八十兆了,下载速度五点七兆还行。好,这个下载完了直接安装中文界面的,为所有人安吧。下一步路径我也不改了,直接安装 好,安装完成直接运行英文界面的,点这个 get start, 开始 我 gmail 四模型,不用专门下载,直接就跳出来了。还是一四 b 的, 直接点这个蓝色按钮, dongle 的 gmail 四一四 b 大 小六点三三 g 让它下载就可以了。这个速度还挺快的,可以让它后台下载,直接继续, 把它忘了删掉,不管他直接继续,这就是他的聊天界面。下载进度在这调成中文,点左下角这个小齿轮, app 浪轨迹,默认英语, 选简体中文关掉。啊,已经变成中文了。这下载速度一秒两兆多。还行,刚才那个界面没有这个模型的话,你可以直接搜这个小人头,点一下 搜索模型,加满四一 b, 一 二 b 都有看下载按钮不就在这吗? completed 下载完成。怎么加载?很简单,点一下这个播放按钮, load model 加载模型,这不就出来了,测一下这个识图功能怎么样啊? 这个 d 轮的话也是完成 paste 粘贴。这是啥发送?这在思考好,结果出来了, pet 聚酯纤维,没问题,没毛病。

不用几百万买显卡,不用租昂贵的 gpu 集群,用你手头的笔记本电脑,一个小时从零训练一个属于你自己的大语言模型。 大家都在用各种 ai 工具,但 ai 对 我们来说永远是个黑盒。你输入问题,他给你答案,但你完全不知道里面发生了什么。想真正理解大模型是怎么工作的,光看论文和教程还不够。 这个开源项目把 carpathy 的 nano gpt 进一步精简一点,二四亿参数砍到一千万,普通电脑就能跑,不需要机器学习经验,会读 python 代码就行, mac, windows, linux, cpu 都能跑。 整个项目分六个部分,像闯关一样,先写一个分词器,把文字变成数字,再搭 transformer 架构,然后写训练循环,前向传播损失计算,反向传播优化器,一步不少。最后让你的模型自己写莎士比亚风格的文字。 上周登上 hacker news, 拿到五十六点二分, github 上一周涨了一千多。新作者说,灵感来自 carpusy 那 部七百万播放量的教程,但把它压缩成了一个小时能完成的实战项目,默认配置在 m 三 pro 上,四十五分钟就能训完。 ai 时代最大的误区就是觉得大模型跟我们普通人没关系。这个项目告诉你,理解 ai 最好的方式不是调用 api, 而是亲手造一个链接,在评论区去试试吧。追星不盲从,实测出真知,我是锋芒 ai。

兄弟们,两小时几块钱一张普通显卡,你就能从零训练出一个属于自己的 gpt mini mind 直接冲上 github trending 狂揽四八 k 星!这不是调 epi, 这是真正从零造模型,二六 m 参数小到手机都能跑,单卡就能训! 数据处理预训练, sft r l h f 蒸馏, py torch 原声手写代码,多模态加工具调用,加本地 openli i i p i 兼容全流程打通 数据与训练。 s f t r l h f 蒸馏,一个不落, py torch 纯原声实现几乎零黑核,支持多模态工具调用,还能直接本地部署当 chat gpt 用。过去是大厂专属,现在普通开发者也能真正搞懂大模型。记得点赞关注哦!

超越 chin gpt 四点零,人家反手一个 autos 给你管上了免费的三点五,也可以直接使用 gpt 四所有的模态功能,并且融为一体。 今天老张带大家走进最新的 gp 四 autos, 第一,实时联网功能,他可以直接通过互联网搜索找到最前沿的十条信息,解决了最早 gpt 数据停留在二零二二年的问题,做自媒体的必备利器。第二,文道上传功能, 咱们可以直接通过对应的文档上传,然后让他总结上方文档内容,让他以中文方式进行沟通。别急,你以为这样就结束了吗? 咱们还可以根据上方内容调用最新的 ai 绘画道义。三,直接总结内容,画出相关的对应图像。如果绘画出的图片不符合咱们预期的要求,我们可以让他画制一个赛博朋克风格的背图,口味相当的哇塞,而且他还可以根据需求帮你同时 总结内容以及相关的图片绘制。大家可以看到他首先为咱们学习了一周相关的计划,而且增加了趣味性非常强的相关配图,咱们还可以让他根据上方配图编写一个发到社交媒体上的相关文案,直接的省略了咱们大量的文字编写时间, 并且上下纹的结合能力也是非常非常强的,图片修改功能也是非常强大。添加一只猫咪,他可以瞬间的保持这个狗的形象,把 把这张猫呢添加到咱们队的图片中,甚至可以直接编写一些析除指令,根据指令画出对应草图。设计工人们,你们的福音也来了,还不抓紧体验,还在等什么?