如果你是纯 ai 炼丹,心无旁骛,那就闭眼 tesla p 一 百。虽然它是几年前的老家伙,但它拥有十六 g h b m 二企业级显存,在跑大模型和训练 l o a 这件事上,它的性价比简直就是降维打击,同价位找不到对手。 但如果你比较贪心,既想体验 ai, 晚上还想打把游戏放松一下,那就别碰 p 一 百,老老实实选 g g x 一 零八零或者 r t x 二零六零 super 八 g 显存虽然紧凑,但跑量化模型够用了。 所以这是一个直击灵魂的问题。只有八百预算的情况下,你是想专心工作,还是想跟我一起摸鱼?想要手搓服务器?看我大身罗秋天?
粉丝1.8万获赞4.0万

你知道不,现在新款 nas 都已经进化成了家庭 ai 算力中心,市面上很多 nas 都集成了本地 ai 功能,但由于硬件和性能方面的缺陷,通常跑 ai 都会显得有点吃力。那么 nas 真的 不能作为本地 ai 算力中心吗?其实方法还是有很多,今天教你用最熟悉的 windows 系统, 配合 ai 大 模型,直接将人工智能部署在本地,安装上 upscale 本地处理文档, full case 本地无限生成图片,而硬件成本只要小几百块。就是采用这种没有输出接口的 p e 百算力卡。这样的一台小服务器,不光能当 nas 使用,还能部署本地大模型。如果你也喜欢这手艺罗,秋天带你手搓服务器!

我测试了一下大模型训练成功了,我现在就训练这样一个问答的语句,你喜欢什么动物?然后他回答,别逗了,我根本不喜欢任何动物,有没有?然后训练一百五十次, 我用的模型是我重新部署了一个更加轻量的零点五 b 的 千万二点五问答模型,然后写了这个 训练的 python 文件,然后让它训练, 他这边会显示每次训练之后,他的平均损失就是和我想要的那个回答的距离, 这个损失要把他训练到接近零,这样的话他的回答才会达到我训练的预期,我回答的会比较准确, 他每一次训练他都会,这个损失都会下降,就是更加接近我预设的一个回答。 我下的这个模型已经是我能找到的最小的一个模型了,然后我是直接用 cpu 跑的,我的显卡配置不够,只能用 cpu 跑, 这样就训练好了,然后它保存在这里, 然后我们看一下训练之后它的一个效果, 这是把我刚才训练的参数也引用到了模型里面,然后加载这个模型, 然后这时候我们就输入问题, 你喜欢什么动物,我们就训练了这一个问题,然后看他的回答,看,这就是我们刚才训练的这条回答, 这边有个深沉的参数没有设定, 这是我们没有设定的,所以他报了一个错,这个问题不大。然后我们再看一下原模型,就是原来这个模型就是没有训练的时候,他的效果是对于这个问题的回答是什么样的。 现在运行的这个模型它是没有训练数据的,就是用的它官方提供的一个训练数据,然后我们来试一下, 你看这是官方它的数据库提供的一个训练数据,是这样一个回的。