在本地跑 ai 模型多快才算快呢?哎,我有一个自己的经验之谈啊,就是你拿你自己说话来做一个参考。举个例子,我们平时人啊,一秒钟说话的语速大概是五到六个字,这对应的 token 也就是十个 token 左右。 所以如果你的这个机器电脑或者手机在本地跑 ai 模型的时候,这个速度是小于十个 token 每秒的,那我个人认为呢,就是比你跟一个人说话还要慢,那就很卡了。 反过来,如果说它是大于二十个 token 每秒,也就说每秒能蹦十个字儿左右,这个时候它的体验就已经是比较流畅了。所以我个人认为啊,十个 token 每秒是及格线,二十个 token 每秒是流畅的线。好绕。一句,视频简单好用,咱们下个视频见,拜拜。
粉丝1235获赞2.0万

马维斯,这个可以跑在你电脑里给你干活的,没有牛的 ai 码,今天来看看他到底能做什么。首先是安装,自己搜索到官网下载就可以了,然后就进入了这个页面,这里面有六只码,稍后会一一介绍他们的能干啥,直接下一步就可以了。这里入职的很快,之前还是要好久的,看他们的官方抖音,说是优化过了。 这里多说一句,安装的时候尽量选择固态硬盘,不然有些文件类型的功能无法使用。然后直接开始,现在看到这个和 ai 的 对话页面还是比较像的, 可以在这边新建对话,直接对话就可以。这里面有一个本地知识库,这个就是它自动解锁出你本地安装的应用以及本地存放的文档之类的了,这个就是后面可以操作的一些东西,这里面的 skill 就是 这些马能调用的技能,课图库就不给你们看了。 然后是办公室,这里比较有意思,这里可以先登录,登录后可以看到每天都有一千万的免费头肯,如果你是一个重度 ai 使用者,交给他的任务又比较复杂,那这一千万感觉是不够用的。 然后这里提供了一个选择,使用本地模型,你点击你左下角的头像,可以看到里面有一个 ai 模式,然后会根据你电脑的配置进行检测,如果可以的话,可以选择隐私模式,就可以使用本地模型了, 我这里没有就跳过了。然后可以看到左上角有咖啡,估计是你这老板给这些马准备的。然后是个跑步机,他们在空闲的时候会过来跑步,还有这个马桶,我看了一下,除了马维斯这个领导,其他的小马都会去上厕所和跑步,应该就是带心上厕所了吧。 接着可以看到这里有六个工位,一般情况下我们基本上只能看到三只马,其他几只估计在别的地方偷懒呢。然后第一个就是老马马维斯,他是整个团队的领导,主要的工作是分配任务,就是把你这个老板的任务先进行分析应该分给谁, 然后派发任务。小马完成任务后,老马会把结果汇总并呈现给你看,就是向领导汇报任务,然后小马不准越级,只能让老马给你汇报, 然后它还能写代码,但速度的话有点慢。然后是 app 小 码,就这活爹天天玩游戏,每次看他都在玩游戏,它是能帮你执行和软件相关的任务的。 然后是运维小码,它能对你的系统做一些修改,环境变量的配置之类的,这个操作权限挺高的,在上厕所的就是它。接着是网页小码,它能对网页做一些操作,能自动化登录,获取网页上的数据等等。文件小码,它能处理文件,比如将 word 转成 pdf 之类的,以后就不用开 wps 会员了。 最后是搜索小马,这个是对现有公开资料进行搜索的,就和你使用豆包的联网功能一样。然后我们看一下具体怎么才能让这些小马工作。先输入一个问题,看看他能不能解决。现在迁回到办公室,就能看到老马带着还在上厕所的运维小马在执行任务了,小马屁股都没擦就直接回工位了,有点离普通话挺有意思的, 对话界面也能看到是哪只在干活,我这边显示已经打开了,服务管理器是自动打开的,不过没录进来,这边处理的有点慢,我就直接结束了。然后可以看到消耗了一万八的 token, 用的还是挺快的,再看下怎么让其他小马干活,这里可以看到只是抓取一个网页内容,不会让网页小马干活。 再试一次,这样老马就开始派发任务了,不过这里用的都是英文指令。网页小马就开始干活了,他直接打开了浏览器,并打开了知乎,具体的可以自己多试试,通过这种方式就可以, 其他的不一一试了。然后是自动任务,可以新建一个,可以根据任务的目的作为名称,主要是要求说明这就你要派发下去的任务,然后如何执行,就是多少时间执行一次, 接着选时间可以直接点立即执行,就和刚刚对话方式一样了。最后看下技能广场,如果老马的技能没办法满足你的需求,就可以来看看这里的技能,里面有很多的开源库,获取好看壁纸,看看这些技能有没有问题的技能,把自己进行蒸馏的技能等等,感兴趣的可以下载一个玩玩。 动画挺可爱的,功能也有点类似于龙虾,但养龙虾成本还挺高的,这个每天都送一千万头肯还是很不错的,虽然对于重度用户可能不够,但帮你在本机上做一些任务还是可以的。这里是永不秃头的喵记花梨,用大白话拆懂科技,咱们下期见!

这是一个教你不花钱也能用上 token 的 网站,它可以自动检测出你的机器配置,然后将结果用不同颜色划分了等级,并告诉你哪些模型运行流畅,哪些模型有压力。你可以很精确的看到模型的发布时间、占用多少资源,模型的上下文长度以及处理 token 的 速度是多少。更贴心的是, 你还可以在顶部进行分类筛选,甚至还有分类排序功能。如果你选好了模型,在详情页还可以查看该模型的测试评分和具体参数,简直太方便了!

很多小伙伴问怎么让 cloud code 接上 deep seek? 这条流程我从头到尾给你讲一遍,照着走就行。 视频稍微有点长,建议先点个收藏,耐心看完,按步骤动手。先说清楚, cloud 是 anforepic 的 网页和 app 聊天助手,你打开浏览器就能用。而 cloud code 是 跑在你电脑终端里的编程搭子, 它能直接读你的项目代码,改文件、跑命令,相当于把 ar 装进了你的工程目录。更狠的是,凭借社区里那一大批开源 skills, 它还能调度你电脑里的一切浏览器表格、邮件、设计稿,几乎想自动化什么都可以。 为什么要接 deep seek? 两个原因,在国内访问稳定,不挂代理,按 token 计费,也比海外接口便宜不少。而 deep seek v 四 pro 的 能力,应付日常写代码、改 bug、 做重构绰绰有余。 开始之前先准备两样东西,第一, node js 十八以上版本提前装好,长期支持版就行。第二, get for windows, windows 用户必装,不装后面依赖会报错。 第一步,安装 cloud code, 在 开始菜单里搜 power shell, 右键以管理员身份运行。打开窗口后复制官方的 m p m 命令,粘上去回车,等它装完。 装完输入 cloud, 加上版本参数,看到版本号就说明装好了。第二步,获取密钥, 进入 api 开放平台,进入控制台后,在左边的侧边栏找到 api keys 这一项,点进去, 页面下方有一个创建 api key 的 按钮,点一下弹出小窗,给这把密钥起个名字,比如就叫 demo, 然后点创建, 创建成功之后会弹出一个密钥字符串,立刻点复制保存到记事本或者密码管理器里。特别提醒,关掉这个窗口之后,密钥就会变成密文,再也看不见。 如果你不小心丢了,只能删掉,重新创建一把。第三步,配置 cloud code, 打开文件资源管理器,进入 c 盘用户目录,再进入点 cloud 这个文件夹。 如果看不到点 cloud, 要先在查看里把隐藏项目和文件扩展名都打开, 然后新建一个文件,名字叫 settings jason 把这段配置直接复制进去,把 api key 行换成你刚才复制的密钥保存即可。第四步,验证打开终端或者 power shell, 输入 cloud, 回车 看到红色边框的欢迎界面,模型型显示 deep seek v 四 pro, 就 说明已经成功接上 deep seek。 最后再送一个加分项。如果你平时在 vs code 里写代码,配好 antropic 官方的 cloud code 插件, 装完进入侧边栏的 cloud code chat, 它会自动识别你刚才配置好的账号,直接就能在编辑器里聊天和改代码。 整个流程下来,你就拥有了一个本地终端加编辑器,双端可用的用 deep seek 驱动的 cloud coat。 你 学会了吗?欢迎评论区聊聊。

你们看啊,我用这个 ai 工具跑了快一亿的偷看,但实际花费呢,却节省了百分之七十六。这是我最近在 github 上看到一个开源项目,清华和面壁联合开源的 padlock, 它把 ai 的 工作单元呢,从对话窗口换成了 workspace 工作舱。 注意啊,这跟我们平时在 ai 下面建的 project 呢,还不一样,每个 workspace 呢,有自己独立的记忆,自己钱包,自己的后台任务。那它到底要解决什么问题呢? 因为多 a 阵的病情呢,马上就要成为常态了。卡帕西说他去年十二月起呢,就没再写过一行代码,现在每天呢,就是指挥一堆 a 阵的替自己干活。但如果你自己试过啊,你就会发现这里面有不少问题,包括怎么处理这些 a 阵的记忆成本上能不能扛得住。开了这代克的这套工作舱设计呢,我觉得还是有点想法的,我举几个例子你就明白了。 比如我这里建第一个舱,让 ai 把八十年代的 m u d 文字游戏复活成了完整图形化的 web 版,四个职业网格、地图、装备系统呢,全都有。另外一个舱,我扔了一个简单的产品需求, 他从零给我做一个完整的 micro os 的 语音输入 app, 按 f 键来录音,胶囊状的浮窗,五条实时音波,你们发现了没,这两件事呢,完全不沾边,但他们可以各干各的活,而且绝不打架。 pad 的 这个 memory 设计很有意思啊,一层是用户画像,长期记忆着我是谁。一层呢,是项目记忆,只存当前 work space 的 这些事情。 关键是他这个记忆呢,还可以自己进化。你每次纠正他,每次给他反馈呢,他都会默默的记下来,这样一页呢,就会知道你偏好的那种代码风格,不喜欢哪些框架,会越来越懂你这些记忆呢,还能随时的手动编辑和修改,这就是为什么我的这些工作舱呢,几十轮呢,也不会丢失上下文,项目之间呢,也不会回来的原因。 他这里还有个概念叫做省钱路由,可以自动识别执行任务的难度,让简单的问答呢,走千万这种模型复杂的多步推理呢,用枯燥的模型, 这样就不用在简单的事情上浪费顶级模型钱。所以你们看,我这个工作舱,虽然跑了九百九十八次的请求,用了快一亿的偷看,但实际上呢,只花了二十四刀,比统一走 club 的 模型费用呢节省百分之七十八。这里统一设定好价格成本后,你就可以看到哪个模型花钱最多,哪 哪个路由最省钱,结果呢,一目了然。还有他这里的计划一定是任务,也是按照 work space 独立的 skill, 还分两层,一层跨所有项目共享,一层只属于这个舱。所以你看卡巴斯基的那句话,同时只会十到二十个 age 呢,听上去呢,像是模型的事,但本质上呢,还是个工程问题,项目已经开圆了,想尝试的可以本地装一个试试。

今天教大家怎样实现真正永久的 token 自由,我的方法是安装本地大模型,如果你看过网上一些安装本地大模型的教程,像零度解说之类的一些博主, 你可能会被劝退,但是我今天讲的这种方法只需要等待几分钟或者几十分钟就可以给你安好。 全程不需要任何命令行,不需要任何操作技术。因为我们平常在本地跑大模型面临的呃困难主要就两方面,第一方面是安装 olog, 因为它涉及到很多命令行,环境变量,以及呃到后期还要改路径一些的东西。 第二个困境就是我,我不知道这个哪个大模型在我我的电脑比较适配,或者说我的电脑可以把那个大模型跑通,但是今天我给大家讲的这种方法完全可以解决这个 痛点。我的方法很简单,就是你用腾讯最新出的马维斯,呃马维斯相当于一个新的电脑管家,就可以把所有复杂的包括安装、清理之类的任务完全抛给他,让他去做。 比如说你就让他给你安安装一个本地的千万三点六,只需要呃你的电脑配置高一点,或者说储存空间大一点,他都可以帮你完成。 如果实在内存可能会有些不够,大概需要腾出二十多 g 的 内存,可以用外部的固态硬盘或者说 u 盘进行平替都可以安装,安装完之后你就可以永久调用千万三点六了, 再也不用担心喂不饱小龙虾了。全程没有任何的技术含量以及操作空间,全都是由 ai 来帮你安装了。另一个 ai。

大家好,最近大家都应该刷到那条新闻了吧,深圳一个程序员用了某个在线工具,才三天就花掉一万二,全是掏坑费用,真的太吓人了。很多朋友跟我说,现在都有掏坑焦虑了,不敢随便用,不敢随便问,生怕一个不小心就扣费, 其实真的没有必要,今天我就教大家一个完全免费,不靠 talkin, 不 联网也能用的方法。本地部署大模型用到的工具就叫欧拉玛,它就是专门让你在自己的电脑上快速跑大模型的,像什么 deepsea、 千问这些主流大模型全都能本地跑。 接下来我就一步步带大家操作,跟着我做,你也能轻松把大冒险装在自己的电脑上。首先我们打开欧拉玛的官网, 这个时候我们会看到右上角有一个下载按钮,来我们点击一下, 在当前页面我们就可以选择适合我们操作系统的版本, 那么我的是 windows, 我 就选 windows, 然后继续点击下载按钮,这个时候呢就已经开始下载了,因为这个文件比较大,它需要的时间可能会长一些, 然后我们就找到我们下载完的这个文件,双击 双击之后就会开始安装,然后我们进行下一步 啊,等他完安装完成以后呢,他就会自动启动,那么这个时候呢,就出现了这么一个界面,就说明已经安装成功了。 我们来看一下这个界面,这里呢给大家说一个小技巧,如果在安装过程当中遇到什么问题,我们可以把问题发送给抖包,让抖包来协助解决。 那么接下来呢,我们就来验证一下欧莱玛是否运行成功, 当我们看到这个反馈界面的时候,就说明已经成功了, 那么这里呢,我也会把一些常用的指令分享给大家,赶快去下载试试吧!

中转站不是搭好了就能赚钱,真正决定你能不能长期做的其实是这三件事,好迟、稳不稳?客户 key 是 不是独立,倍率有没有算清楚?先说好迟, 中转站本质上不是只搭一个后台,而是要有稳定的额度资源池,账号导进去以后,不能直接拿来给客户用, 你要先分组检测测试模型,看它到底适合自用测试还是适合交付。像我后台这里,账号会先进入账号池,再按通道和分组管理。能跑通只是第一步,后面还要看模型是否稳定,响应是否正常,报错率高不高。第二个关键是客户 key, 很多新手为了省事,让几个客户共用一个 key, 这其实很容易出问题,谁消耗了多少,谁请求异常,谁需要限额,后面都分不清。所以我更建议一个客户一个独立 api key, 后台里可以单独备注客户,设置额度,查看消耗,这样交付清楚,售后也清楚。第三个关键是倍率。中转站最容易亏钱的地方不是搭不起来,而是你每把成本、损耗和售后算进去。 比如你的成本是零点零五皮,以每刀额度,如果卖零点一零,看起来有利润,但还要考虑通道损耗异常、消耗资源失效和售后成本。倍率太低,客户越多你越累。倍率太高,客户可能测试完就不复购。 所以我现在看一个中转站能不能长期跑,不会只看它有没有部署成功,而是看三件事,耗时稳不稳,客户 key 能不能独立管理,倍率能不能覆盖成本和风险。

在上期视频免费领取到小米七亿 token 之后,我又找到了一个新的能够免费领取 token 并且使用国内顶级开源模型的方法,今天分享给大家。我们只需要进入到硅基流动的官网注册一个账号,进入后台之后完成实名认证后,就可以成功领取到十六元的代金券。 并且如果您每成功邀请一个新的用户,都可以再领取一个新的代金券。注意这个代金券是可以直接使用模型的, 而且归机流动比较好的地方就在于它能够支持使用 glm、 dibsik、 kimi、 minimax 等大量的顶级国产开源模型,并且我们可以非常简单地将它们接入到 cloud code 等 ai 编程工具之中。 我们还是先在左侧的 api 密钥这里创建一个新的密钥,然后还是用到 cc switch 这个工具,打开 cc switch, 点击右上角的加号,选择轨迹流动,在这里输入我们前面创建的 api key 即可。关键是模型名称配置,我们回到轨迹流动的模型广场,点击我们想要使用的模型, 然后在这里复制模型的名称,回到 css, 将模型的名称填入到这里。配置完成之后,我们点击添加并启动这个新的配置。启动完成之后,我们可以使用我开发的 web launch 工具,目前还在处于内测阶段, 它可以快速的帮我们打开一个 cloud 的 绘画。在这里我们来下发一个任务,来验证一下是否配置成功。之前总有朋友问我推荐使用什么国产大模型,但现在的情况就是,没有任何一个模型在任何的领域都是顶级的,其实这需要我们根据我们的实际场景去找到适合我们场景的模型, 但现在我们在这里就可以免费的去进行测试,然后找到我们业务场景中更加好用的模型。好,本期视频就到这里,我是林克 ai 实战注,如果你想看更多的实战,麻烦点个关注,我们下期见。

你的 agent 半小时塞了八十 k 没用的 token, 你 知道这八十 k 都是什么吗?看下终端页面,基本上都是 grab、 find、 l s 这些命令读文件,跑测试,在当时每一条都觉得有必要,现在回头看,全是噪音。你以为长绘画是在积累信息, 其实不是,长绘画是在积累你没勇气关掉的标签页。这是 danielsen 的 实测,他在推上发了一篇文章,标题叫 sub agents 长绘画,上下文卫生。半小时后,你积累了八十 k token 的 噪音,而且你再也不会回头看它们。 这一期我教你把常绘画从喝醉状态救回来。这是 cloud code 工作流系列第四期,上期讲 hux 的 时候,我留过一个勾子, sub agent 真正的价值是上下文隔离。今天我把这件事讲透,但先泼一盆冷水, 百分之九十的人都把 sub agent 用错了,我自己一开始也错了。听到多智能体四个字,我第一反应就是按岗位拆。 planner 负责定方案, developer 负责改代码, tester 负责跑测试, reviewer 负责把关。听起来很顺, ppt 也画得漂亮,但只要你真跑一晚,就能发现问题。 tanner 知道这块代码刚被重构过, developer 不知道 developer 做了几个临时取舍 tester 不知道, tester 跑完只说过了 reviewer 不知道前面漏了什么。每一次交接都在漏信息。 不是因为模型笨,是因为岗位是按人分工切的。 l l m。 不是 人人靠茶水间补信息,模型没有茶水间。原文里有句话我抄下来了, 围绕上下文边界设计,不是围绕角色设计。那 sub agent 到底是啥?你开一个 sub agent 让他查 bug, 他 grab 了三十个文件,跑了五轮测试,开了三个新终端,在里面翻了十几分钟,这些你完全看不到,你的主绘画干干净净 一行都没多,你只收到四个字。这里有个 bug, 不是 五十次调试过程,是三行干净。结论,把混乱压成结论。这就是 sub agent 唯一在做的事,不是多一个人帮忙, 这多一个工作区干完就丢。官方文档列了四条应约束,子 agent 之间不能直接通信,子 agent 不 能再生新 agent, 所有流量必须经过副 agent 考完只返回最终输出,不带中间思考。听起来像在限制能力,其实是在保证可控。讲得这么玄,直接看几个我用 agent 深沉这个视频时真用过的例子。第一个是当时我做 safe card 的 整屏改造卡,在一件事上,到底用侧滑卡还是整屏卡,我自己拿不准。所以我同时派了两个 sub agent, 一个从短视频 u i 设计专家的视角看,一个从真实用户消费者的视角看,他们不知道对方存在。各自跑完第一份报告回来,侧滑百分之三十的卡是错的, 整屏才是截图友好的最低门槛。第二份报告回来,一模一样,不是相似,是一样,两个独立视角,互不知道对方到达同一个结论,这就是上下文隔离,真正值钱的地方,不是更快,是更可信。第二个,我让一个 reviewer 自检清单审查,我自己嘴上说明案节奏满足, 结果他直接打开 ppt grab 了一遍,发现全是同一个暖米白底。我在自己写的注述里说谎而不自知。他打了五十八分,列了十条问题, 我接受了五条屁零修复,整片从自我感觉良好变成真能交付。但同一份 reviewer 报告里,他把 astropic 官方文档里真实存在的 if 字断判定为虚构。我看到这条判定的时候 手停住了,他说这是假的,但我知道这个字段在官方文档里。我差点信了,他差点把视频里唯一硬核的技术细节改弱了。就在那一刻,我意识到 sub agent 没有判断力,他能发现我注视和代码不一致,但判断不了文档里一个字段是真的还是假的。 因为他不能上网,他的知识停在训练那一天。所以我现在的规则是,信他的,找不一致,不信他的事实判断。三条原则记下来,第一,并发派 sub agent 互相不通信,找跨视角的一致性,比单 agent 报告可信度高一个数量级。 第二,让他专挑你盲点,你说满足规则,他直接 grab 你 代码核对。第三,不信他的事实判断, sub agent 不 能上网 训练,数据可能过期,回到开头那八十 k 噪音 token 常会话,不是信息太多,是你该丢的探索过程没丢。不要让 ai 记住一切,让它在对的时候忘掉该忘的。 sub agent 也不是终点,它解决的是单个任务的上下文隔离, 没解决整套工作流。现在打开 cloud code, 输入 agents, 你 就能看到它内置的 explore 和 plan。 两个 sub agent 不 用配什么 markdown, 今天就能用。先在 plan mode 里按 tab 感受一下,觉得有用,一键三连。感谢观看,下期见。

普通人到底如何参与到算力租定这个风口?今天我这一条视频就会给大家讲清楚算力租定、托克出海这些概念。最近随着 ai 彻底的火出了圈,很多人天天听到的算力 api, 包括托克这些东西,其实他们根本就不知道这些是什么东西,包括是怎么赚钱的。 我用简单的大白话跟大家讲清楚,就是租你的电脑的算力给别人用。我举个例子啊,比如说你想跑一个 ai 的 大模型,或者想要去批量的生成视频,但真正实现这些东西的设备,光满显卡就要几十万,普通人根本就扛不住。如果这个时候你去租别人的算力, 按小时计费,那整体的成本就能节省百分之七十左右,租算力给别人的那一方,也能通过源源不断的订单去赚钱。 api 租赁其实就更简单了,它就像租别人的 ai 能力一样,比如说你想做一个 ai 聊天的机器人, 你不用直接的去研究搞技术,你直接去租一个 a p i, 用别人的就非常简单。那现在卖托管为什么这么火呢?因为不管是 ai 视频,包括 ai 大 模型还是智能体,它背后都离不开托管。但问题是什么 好的一台显卡它就要几十万,普通人和很多中小型的企业,它其实根本就承担不起的,所以算力租赁一定会成为刚需。那对于我们普通人来说,最简单的路径方式是什么呢?其实就是去当大厂的代理, 空手套白狼,你懂这些意思吗?就比如说你去当腾讯自己这些大厂的 a p i 或者 tik 的 代理,就相当于去帮他们卖算力套餐, 你不用花一分钱,只要你能拉来客户,就能拿到百分之十到百分之三十的佣金返点。举个例子啊,如果你推荐了一个客户,买了一万块钱的算力套餐,你至少可以赚一千,客户越多赚的越多, 而且这种返佣的门槛非常低,所以我觉得是适合普通人都可以去做的。第二种方式就是线上平台托管你的算利卡,这种东西有点像躺着收租的意思,如果说你自己手上有一些高端闲置的显卡,你就可以把它放在线上的平台去托管,平台自动会把你的显卡租给有需要的人, 你什么都不用管,你每天只要等着收租金就可以。第三种就适合有资金有实力的人了,你可以去租一些高端的显卡,配置好之后再去租给企业主。 但这里有一个非常要注意的一个点, ai d t 机房是属于国家严格管控的,你必须要有正规的资质的企业才可以做,所以普通人不要去瞎折腾。其实很多人还没意识到,未来 ai 真正能赚到大钱的机会,已经不是单纯的去做内容了, 而是通过围绕着算力、 token、 api 这些基础的设施展开的。我是一直在研究 ai 商业化和 token 的 老周,有任何的问题都可以跟我聊聊。

嗨,朋友们!此时此刻,我的电脑上正运行着开源工具 open code, 它搭载着 deepsea v 四开源大模型,正在全力地执行我的一项重要的软件开发工作。 这几个月呢,我深度的使用了 open code 的 小龙虾,以及很多的开源 a 神的工具,大约烧掉了一百多亿的 toc, 也订阅了三家以上的 toc 平台,也买了一些中转站的二手 toc。 我 基本上已经实现了 ai 驱动,也做起了真正的 opc。 那我本人在互联网公司从业了十多年,担任过两家公司的技术总监,曾经也是很多人羡慕的一线互联网大厂的牛马,创办过三家公司,其中两家拿到过融资,最后一家被上市公司并购,那也算是一个真正的超级程序员了。 那因为小龙虾蹦极乐的爆火呢?我身边的朋友最近总是在调侃我说啊,你写了那么多年的代码,到今天是不是突然觉着这十多年,呃,白活了? 那这个问题我没有办法回答,说没白活,太较真,说白活了。说实话,我不甘心,那毕竟我没有参与到当今爆火的大模型和 ai 智能体工具的研发中。 当我看到大魔星像雨后春笋一样涌出的时候,其实我心里特别不是滋味,因为这些技术我好像都没有参与,也正是这个原因呢,促使我必须站出来做点事。所以这期视频我会大约花费五到十分钟时间,让你全面的了解现在爆火的 ai 话题。头肯, 首先,什么是 token? token 就是 算力这个词呢,在互联网圈和币圈一直都不陌生,过去我们多用它来描述一个互联网应用的健全秘钥,或者是说区块链技术发行的代币,像比特币。 但是现在呢,它基本上已经成为了 ai 时代的定价单位,几乎所有的大模型都是以 token 来定价。我举个例子啊,国内领先的开源大模型 deepsea 定价为,输入三块钱一百万投铳,输出六块钱一百万投铳。而美国的商业 ai 大 模型和 loftops 定价居然达到了输入五美元一百万投铳,输出二十五美元一百万投铳。 你可能会想,这个单价到底是什么概念呢?我直白来告诉你啊,一个汉字占大约一到三个投铳。 比如说我最近在读的这一本遥远的向日葵帝,这本书呢,大约有十五万字。如果 ai 去写一本十五万字的书,大约会消耗掉二十到三十万的 token。 但这并不是说使用二十到三十万 token 就 一定能写出 这么好的作品,那你可能需要多次调教优化,实际耗费的头肯可能多达几千万,甚至几个亿。说到这,你可能会觉着头肯有点抽象,但本质上来说,这就跟当年智能手机发展初期,移动互联网来临时的流量套餐, 我们买的流量多少兆和多少 gb 区别不是很大。只是今天的主要产品呢,从过去的手机变成了 ai 大 模型。 接下来聊聊 token 怎么产生。先说结论, token 由电力产生。为什么这么说呢? token 是 大元模型部署运行在搭载着专用的高端 gpu 显卡芯片的 ai 服务器上。 它通过软件运行和运算,将用户提出的问题任务经过推理,生成对应的答案,然后再告诉你,因为算力运转的背后就是电力消耗, 高性能的 gpu 服务器每分每秒都在耗电,以现在一级难求的 b 三百算力服务器,整机功耗来说,就能达到五十到六十千瓦,这是什么概念? 是一个小时用电量高达五十到六十度,二十四小时用电量大约一千两百度,一个家庭一个月的用电量大约才三百度左右,你可想而知这是什么概念,那未来全球电力 都会不够用。而由于 openclaw 等 ai 工具的崛起,全球算力的需求量相比去年呢,暴涨了一百多倍,而且现在是供不应求,算力越紧缺,电力就越值钱,这就是算力,就是电力的 底层逻辑。第三呢,普通人怎么抓住 ai 和 token 的 机遇?首先,不知道做什么不要紧,你只要做就已经抓住了机会,哪怕只是下载了豆包 dipic 的 手手机软件。因为你身边的人还不明白 ai 是 什么的时候,你就先行了一步, 因为机会总是会从有准备的人中挑选幸运者去降临的,而你不做,就永远不会被挑选到。对于技术型互联网的从业者呢,有这么几件事情其实是可以做的啊。第一,投行销售。目前的投行销号主力军是全国的一千万软件工程师,主要用于抠顶 以及一百万多的 ai 短距运营者。如果你有一定的资源,可以面向软件开发企业啊,视频制作企业啊,帮助他们去采购和 管理他们的 token 资源。而 token 销售还有一个最低成本的方式,就是搭建 token 中转站, 其实这是一个我非常建议有一定技术基础和推广能力的互联网从业者去做的事,不管他赚不赚钱,我都建议你做,这也是你可以熟悉 token 的 商业模式,最低成本的一条路。 你可以通过 token 中转站聚合起来各大厂家的官方合规算力 api, 既能帮助到大模型厂家销售投垦,也能帮助算力的需求方整合 api 资产,方便调用。 但我绝对不建议你通过非法途径将海外的大模型通过代理服务器中转到国内销售,这种行为不但会触犯法律,而且会危害我们的国家数据安全。 今天我就不展开讲,但是我后期会专门推出一期视频来跟大家分享。海外模型中转站为什么会危害国家安全? 第二件可以做的事情呢,就是 ai 的 应用开发。开发 ai 相关的应用现在成本已经非常低了,可以使用 ai 工具去开发小而解决问题的应用。比如说你通过 呃 ai 工具开发了一个 ai 生成音乐、 a i p s 照片, ai 生成短剧等等。这样的小应用可以将 ai 的 能力封装为小而美又便捷的应用,提供给需要的用户。用户使用的时候,每次向你支付 使用的平台费用,就变相地将头肯销售了出去,那互联网时代的网站 app 最终都会成为互联网遗产。 过去在互联网时代所做过的事情,用 ai 的 逻辑我觉着都必须要重新做一遍。各行各业的 erp、 mess 系统、 oa 系统等等,都会推去到幕后,进而接替他们走向台前的是 ai 智能软件。 那除了刚刚所说的软件之外,各行各业使用的还有客服系统、营销系统、门店管理系统等等,都会在两年之内由网站 app 模式转向 ai 智能调度的后台模式,但这是我的预测啊。 第三个可以做的事情呢,就是 ai 相关的直播和网络讲师,这件事情是真的谁都可以去尝试做的事情,一年通过它轻松赚几十万应该是没有太大难度的。这件事情呢我就不详细, 对于非技术型的互联网从业者呢,我有以下几个建议,第一呢,通过 ai 工具和 ai 应用去升级现有的互联网和新媒体的运营策略, 比如说用 ai 工具去提升内容制作、用户运营的效率,比如豆包、 deepsea, 复杂一点的像扣子、龙虾等等的基础的 ai 工具就可以帮助你在电脑上的工作效率几乎可以翻倍提升了,那你就可以省下更多时间去 开展客户渠道了。第二呢,可以去开展线下的 ai 工具的培训, 当你成为 ai 的 先行者之后,你就可以掌握知识的定价权。在信息闭塞的小城市,尤其是二三线城市,三四线城市,完全可以办起来一个针对成人的 ai 培训小班, 比如说一个人我们收费九百九十九元,一期收一百个学生,一年只办四期,不要多办,那这件事情完全是行得通的。第三 就是 ai 大 模型的应用本地落地。其实我们回想一下,在互联网时代,或者说在移动互联网时代,所有的政府部门、企事业单位几乎都做了两件事情,第一就是建设企业网站或单位网站。第二呢,就是 内部的管理系统,也就 o a 或 erp 等等,那这些其实都是旧时代的数字基建,而在 ai 时代,基建两件事,也就是 ai 智能和算力, 尤其是国有的企事业单位和政府部门,一定会要求私有化部署,这就意味着有三个产品你可以卖,第一个呢就是 a 智能软件,第二个呢就是大模型的整机,算力整机。第三呢就是智能体的定制, 这些都能确实帮助到本地企事业单位的将 ai 的 模型落地到实际的业务中去。接下来我分享传统的企业如何借助 ai 叉上发展的翅膀。 如果你正在创业,公司规模并不大,或者说处于二十人以内的规模,我建议朝着一人公司,一人 o p c 的 方向的角度去尝试发展。但这并不是说公司只有一个人,而是过去所主持的 业务、生产、交付等各个环节,都可以借助 ai 工具去实现高效率的全流程突破式提效管理。那如果说你已经有了一家相对稳定的公司,无论是传统公司还是传统科技公司,几乎任何行业都可以借助 ai 工具去提质增效。 首先可以干的事就是迅速的梳理出公司的各个流程中的卡点啊,并分析是人为卡点还是流程卡点还是技术卡点。当然除了人为卡点之外,我觉着都是可以用 ai 工具来赋能优化流程的。 其次呢,就是建立一套企业级的 ai 智能工具链,那使用免费的开源工具就可以实现这些,将公司内部的 oa 系统、财务系统、 max 系统、 erp 系统等等各种系统全部都实现接入, 那第三步呢?我建我非常建议是全员凹印 ai, 尤其是从管理层的尝试,到全面接受,再到全员的深度使用,我相信只要两到三个月,就可以让你的企业插上 ai 的 翅膀。 其实我还想分享一点的是,所有的企业,无论规模大小,千万不要想用 ai 去裁掉人类员工的工作。 我们应该牢记自己的创业使命是实现中华民族的伟大复兴。通过 ai 赋能必然会带来效率的提升, 你可能会认为会有很多岗位会被 ai 所替代,但 ai 的 效率提升会带来更多的新矛盾和新问题,而这些新矛盾和新问题都是因为 ai 赋能引起的 维度级别的矛盾,这些矛盾也都必须由人类员工去解决啊。现在呢,我们正处于人类文明有史以来可能 最大的一次科技革命之中,这一次改革和革命以及机遇甚至比过去的工业革命的规模和机会还要大 很多。生活在二三线城市,远离科技和 ai 互联网的朋友可能感受不到,但是在美国,在新加坡以及北京、上海、杭州等等一线城市,如果一个创业者的项目不是 ai 项目,那他可能甚至很难获得投资者的投资了。 直到现在呢,我这个视频已经录制了十七分钟,通过剪辑可能会压缩到十到十五分钟吧。那后期我也会通过 视频直播的形式跟大家见面交流关于 ai 时代的话题。当然,我也会延续我超级程序员的身份,不断去尝试 ai 领域的技术创新和对开源世界的探索。我会不定期的将自己的一些技术通过视频分享给大家, 下次如果你希望我分享什么问题呢?可以在评论区分享出来,我会非常用心的一一阅读每一条评论并回复你,我们下次见。

openai 的 a p i 你 每天都在用对吧?现在一台 macbook 就 能在本地跑,同样的事,一百万上下文,加 agent 一个不少。 anti raise 安提雷兹,意大利人写过 radis, 你 今天打开任何一个网站,背后大概率跑着他十几年前写的几千行 c 代码。现在他又干了一票,把 deepsea v 四 flesh 这个准前沿大模型整个塞进了一台普通 macbook。 怎么做到的呢? 三招。第一,模型里九层内容其实都不重要,他只压着九层关键的部分一动不动。第二,一百万上下文,塞内存肯定爆,他干脆把固态盘当内存用。第三,没有任何外壳框架, c 加 metal 一 行不浪费。那为什么 openai 一 直没告诉你这个?因为大模型这个生意护城河就是几百亿砸出来的 gpu 集群,光 anastropic 一 家纰漏的算力合同就八十亿美金,外加好几个几瓦级数据中心。结果一个意大利程序员周末四千行 c 把这条护城河填了,连 yc 的 老板 gary tan 加里坦看完回了一个表情,跑起来到底什么样? 直接看书。 m 三 max, 一 百二十八 g 内存短上下文,每秒二十六个偷看。 m 三 ultra, 五百一十二 g, 每秒三十六个,塞一万个偷看进去,每秒还能稳定输出二十六个,什么概念呢?你跟 chat gpt 聊天那边一秒蹦三十个字跟它差不多,但你不用每月付二十美金,更不用担心数据被拿去训练。这是最狠的地方不在跑模型, 是 ds 四跑的 deepsea 微四 flash 带完整拷定自动化任务。一百万上下文,整套 agent 全在一台你能搬出门的笔记本里, 过去两年所有人告诉你,跑大模型必须几十亿兆 gpu 集群,准前沿模型只能在大厂手里,你只能掏 api 费。现在你看到了四千航 c, 一 台 mac, 几个聪明的工程取舍这条被神话的护城河,被一个不在大厂的人填了。 模型权重早就开源,推理引擎现在也开源,连 yc 的 老板都站对了。大模型最值钱的护城河正在从谁有算力转向谁有权重,这两样东西 deepsea 都白送了。所以下次再有人跟你说跑大模型必须几十亿造 gpu 集群,那是因为它在卖你 api 这个生意快做不下去了。