粉丝10.9万获赞148.8万

你好,我是郑工长,昨天有个粉丝急匆匆的来找我,说他部署的 openclock 简直像个废铁,联网搜索经常超时,服务也隔三差五就崩。 我让他把配置单发过来,扫了一眼就明白了,这典型是省钱省到坑里去了。他服务器选的是华北地域,内存只配了一 g, 说白了,他这是用跑静态网页的思路去部署一个 ai 辅助工具,这种配置能跑通那才是运气,跑不通才是正常的。 我见过太多人在基础设施上抠抠搜搜,结果呢?最后花在排查问题上的时间成本,都购买几十台高配服务器了。所以今天我就把话放这, opencloud 部署有两个死穴,你的 ai coding 体验就直接归零。 好,我们来说第一个死穴,国内地狱。这完全是个逻辑死胡同。很多人会觉得服务器当然选离自己近的才好啊,人在国内就选华东华北,这样延迟低,访问也快。这个想法呢,放在传统的网站服务上确实没问题, 但是如果你把它用在依赖全球开源生态的 ai 工具上,那可就是刻舟求剑了。你看,这背后涉及到的是网络路由和资源可达性的问题。 open call 的 核心功能,它要靠联网搜索,要调用模型,还要实时拉取代码库。 国内服务器的出站流量,也就是 outbound 的 流量,它会受到比较严格的管理策略限制。这样一来,你访问 github 可能会特别慢,调用一些海外 api 可能直接就超时了,甚至 dns 解析也可能被污染。 所以说,你选国内地域,就等于是给你的 ai 工具带上了撂靠跳舞,你以为省了点带宽钱,实际上牺牲的是工具的可能性,牺牲的是它的鲁棒性。我见过太多这样的案例,服务器部署在国内,结果日制里全是连接超时或者 d n s 解析失败。 这时候很多新手就容易怀疑是不是自己代码写错了,然后开始疯狂调试应用层的逻辑。 别急,事情没那么简单,根字上的问题是网络链路就不通,你应用层的代码写的再漂亮,网络不通,那一切都白搭, 你说是不是这个道理?反过来我们想想,香港或者美国弗吉尼亚这些地域,虽然物理上 ping 值可能高了几十毫秒,但是他们处在全球互联网的核心节点上, 他们访问开源社区,访问各种 api 服务,那都是原生级的联通性。对于 ai 工具来说,这种联通性的优先级远比那几十毫秒的延迟要重要得多 好。第二个死穴就是内存小于两 g, 这简直就是在玩火。你再看看这内存配置,一 g 想跑 ai 辅助服务, 你觉得靠谱吗?懂我意思吗?这根本不是在省成本,这分明是在给自己埋雷。 从底层逻辑来讲,现在的 ai 辅助工具大部分都是基于容器化部署的,这里面可能会跑着 java 的 运行时环境、 node 服务,甚至还有一些轻量级的向量解锁进程, 这些组建本身它就有最基础的内存开销,比如说光是一个容器的守护进程,可能就要吃掉一百到二百兆内存。再比如 java 或者 node 这种运行时环境,光是预热至少就需要五百兆以上, 那业务逻辑的缓存呢?还会动态分配,所以你只配个一 g 的 内存,就相当于让一个成年人住进儿童床,连转身都难。一旦病发,稍微上来一点,或者你要处理一个稍微大一点的代码上下文,内存就会瞬间打满。 这时候操作系统的 o m killer, 也就是内存一出,杀手会直接介入,毫不留情地杀掉你的服务进程。所以说,内存配置可不是看它能不能启动,更重要的是看它在高富帅下会不会直接崩掉。 你想想看,服务频繁重启,这不光影响你的体验,还会导致数据写入中断,绘画状态丢失。这种不稳定的因素对于需要连续上下文的 ai coding 来说,简直是致命的。 你这边正写着一半呢,后端服务突然挂了,这种挫败感会直接摧毁你对这个工具的信任,你说是不是好?别搞错了,部署这是它,可不是抽奖,它是有标准答案的。 根据我这些年的交付经验,下面这个是经过验证的黄金组合,你直接抄作业就行了。首先,地域选择,我建议香港或者美国弗吉尼亚。 如果你主要用户在亚洲,而且还要兼顾一下国内的访问速度,那香港是个不错的选择。虽然说他访问国内会有波动,但是他的联通性绝对是优于内地的。 那如果你是追求极致的联通性,而且也能接受稍微高一点的网络延迟,那就选美国弗吉尼亚,这里可是全球云服务最密集的区域,生态兼容性是最好的。其次,内存配置起步两 g, 我 个人更推荐四 g。 两 g, 这是最低底线,它能保证服务稳定运行,不会轻易触发内存溢出。而四 g 那 是我推荐的配置,这样拥有足够的余量,能从容应对突发的流量,或者一些更复杂的任务。 划重点了, cpu 呢,倒是可以适度放宽一些,比如一个核或者两个核,但内存这个东西绝对不能省。你想想,内存它是硬资源, cpu 呢,它更多是计算力 ai 工具,它大部分时间其实都在等待输入输出,所以内存瓶颈往往会比 cpu 瓶颈出现的更早。那么配置选对了,我们怎么知道它真的没问题呢?别光看服务状态,显示 running 那 只是个表象, 你必须得做压力测试和联通性验证。第一步,检查外网联通性。你进入到容器内部,敲一行命令, curl, vhtps, 冒号斜杠,斜杠 api 点, openai com, 或者你依赖的其他核心 api 地址。 如果它能迅速返回 http 状态码,这就说明你的网络链路是通畅的。但如果它一直卡在 connecting 那 里,那就很明确了,你的地域选错了。第二步,监控内存水位, 观察服务运行半小时之后,它的内存使用率如果长期维持在百分之八十以上,那就说明你这个配置啊,也就是钢构底线,我建议你最好升级。如果频繁出现 kill 的 这种日制,那就更不用说了,你必须立刻加内存。第三步,实战测试, 让它去执行一个需要联网搜索的复杂任务,比如说让它查询最新的拍放库,然后生成势力代码, 你观察一下它的响应时间和成功率,如果任务超时了,那就检查日制,看看是网络层的问题还是应用层的问题。 最后我想说,很多新手朋友啊,特别容易陷入一个误区,他们会觉得软件是虚拟的嘛,所以跑软件的资源也可以虚拟着来,能省就省,但归根结底,代码它都是跑在物理资源上的,物理规律可不会因为你这是个 ai 项目就给你网开一面。 在数字化工程里我告诉你,稳定性是设计出来的,不是靠调试出来的。你在选址和配置上多花的那一点钱,你买到的是确定性, 你买到的是你后续几个月不会被那些莫名其妙的 bug 困扰的安心。所以真正的省钱,其实是一次性把这个基础打牢,这样才能避免你反复的返工。千万别为了省一杯咖啡的钱,最后却让整个工程队陪着你加班修路, 时间会证明你在基础设施上投入的每一分钱,都会在未来的稳定性中加倍回报给你。好了,今天就聊到这,我是郑工长,咱们下期再见。

想不想拥有一个二十四小时在线的 ai 员工呢?最近 oppo klo 特别火,我在云服务器上也折腾了一个,接下来带大家体验一下我在云上折腾 oppo klo 的 一个过程,还有使用之后我对它的真实看法。当然我这两天时间还没有部署完成,也存在一个比价的环节啊。 首先是腾讯云,腾讯云是比较实在的,他能够二十块钱买一个月的服务器,因为你如果是选国外的节点的话,他能够 使用里边的这个搜索功能,如果你选国内的节点,它搜索功能是不能用的。当然我也是对比了这个阿里云,阿里云的 open globe 是 原价五十九,它其实有一个抢购的计划,抢购的计划它能够做到好像是 九块钱买一个月,但是你如果是续费的话,他是按照原价来续费的。腾讯的续费仍然是二十块钱,这个比较方便一些。这个百度他有一元的抢购,但是我没有抢到,所以不知道他到底好不好抢。 如果是你,他的正常购买的话,就要买他幺五六的幺五六,但是他是买一年的,价格是挺便宜的。 但是,但是他这个有问题,他的地域呢?北京跟广州,所以他部署上去之后,应该搜索功能是用不了的,所以这个体验感到时候功能限制性就会很大。到最后我选的是腾讯云的服务器, 买了之后呢,他这个部署是相当简单的,虽然说已经是在云服务器上了,会省很多时间部署安装的过程,但是他配置的过程也是挺麻烦的。我觉得想用这个其实难度并不是特别小, 你看先配这个 openid, 我 就要选接入的即时通信工具,我就选飞书,飞书我已经我已经配置了。跳过选飞书这一步其实挺麻烦的, 因为你要去跳到飞书的官网上边去创建一个应用,获取这个应用的 api k 跟 secret。 另外你需要把这个应用里边加入这个机器人, 所以它才能有即时通信的机器人工具帮 openroot 来接收消息。所以这一步我大概用了一个多小时啊,这里配置 skill 现在也可以先用上,简单一点。 那现在我首先这里边点空格就能够选中你要装的哪些东西? gmail 跟 github, 我 先装上这些不太认识的,这个大概知道是干啥的, 所以我也先装上。上边还有苹果 note, 默认,其实这些都不知道是怎么用的,干啥的默认我,我感觉应该是做笔记。你可以, 因为它是云服务器,我本地当然有服都当然有默认,但是在云服务器上的话,我就需要把它复制上来。 行好先好,就这样等空格,空格它就会去安装,选择依赖。 但是我觉得现在有一有一个麻烦的事,后边我都需要通过这种没有界面的方式来访问这个台服务器和操作这台服务器我觉谷歌的 g p i k 我 感觉也是比较困难的,来获得又是比较困难的一步。 还有 notion, notion 当然是做笔记的 open ai。 呃,位置不变生成的。下边这个是什么?不太认识啊。 这个也不知道是干啥的。另外装 fox, fox, 因为这个其实不消耗资源, 我觉得都装上吧,现在为 siri c c installed install 你 装好之后重启吧,其实它之所以强大,首先它需要很多其他的软件来支撑啊, 另外有这些软件,当然你也需要有其他的软件的这些工具的账号,所以这账号也是另外一个麻烦事。返回服务器,我看现在看他文档怎么来操作。在配置完成之后,通过文档就能够看到, 看一下,通过文档就能看到。完成以上配置之后启动 get 位啊,这样就能够启动这个,现在按照他的文档来启动一下试试。应该他启动之后会打开一个软件, 现在这里它提醒我,我的 open core 已经启动了启动,但是应该怎么用呢?看一下我的乖乖啊,你启动这个 open core 之后呢?这个界面上服务器上是没有任何反应的,你看它现在这个 说明文档上边,比如说你配置了 discard 或者是飞书,你就需要下载飞书跟你的机器人进行聊天,这样通过聊天的方式给这个服务器发送指令。这个服务器呢,可口可乐在服务器上接收到你的消息,他通过理解你的自然语言去分解任务, 然后调用各种各样的工具来帮你完成这个任务,基本上就这样,所以现在我需要安装一下飞书,不是经常用飞书的人可能都不知道怎么去添加机器人。 腾讯文档上就没有啊,我是看的阿里云的文档,我现在就试一下在飞书里边创建一个群聊,添加一个机器人,添加机器人的时候,往下拉就能看到自己创建的这个自动回复机器人点一下,这无所谓啊,因为没有别的人, 现在他已经正常运行了,我现在看能不能往里输入啊,看他有没有什么反应。 我先不等他了,我在这个在这个飞书文档里边直接问他,金融大师,难道我有我艾特他一下吗?艾特他一下是啥?因为之前没有用过飞书文档,所以不熟 梳理 l l m 发展趋势好了,同样需要艾特他一下。应该是需要艾特他一下,要不然他这边接收不到消息。可能, 但是他在服务端这边不会看到他运行的对话,处理对话的过程感觉不太靠谱,不知道这个时候我应该怎么去检查一下,检查一下到底是谁来处理的这个东西,谁来处理的这个消息。 接着我想让他总结我 obsidian 下边有什么东西。这个时候呢,可以看到他不知道我的 obsidian 的 文件内容在哪个地方,所以我还需要告诉他我 obsidian 的 笔记文件放在什么位置, 现在可以看到我告诉他我的 obsidian 的 根目录是在什么位置,他就给我回复了。 这也是我在服务器上放的两个文件,一个是读书笔记的,另外一个是关于篮球的,他就告诉我这些内容,这个就算是基本打通了,也实现了一些简单的功能。我觉得通过云服务器简单体验了这个 open globe 它的功能,它云部署第一个优点就是它这个部署的方式特别简单,还有一步一步的配置的流程。 因为这些云厂商他们已经做了这个 opencloud 它的镜像,这些镜像使用起来会特别的方便,就是节省了我们安装的一个过程,我觉得第二个优点就是它能够二十四小时不间断的运行吧,这也是一个服务器应有的一个优点。 另外一点就是他不会破坏我们本地的环境,因为他是一个独立的私有的一个服务器。说完这三个优点呢,接着我觉得比较大的缺点有那么几个,最大的一个缺点就是在于我们需要不断的去维护里边的资料, 其实很多时候我们并不想去另外维护一份这种资料,为什么呢?比如说我想要像这个作者他那样说自己要定一个机票,有一些自己的个人资料在本地存着。 那么你让 open 来做这个事呢?他就会自己去找这些资料,打开网站,把需要的资料去填进去, 通过分析去筛选一个比较合适的航班啊,帮你买下来。如果是你在 云端使用这个过程的话,就算他有无头的浏览器,不用你操心,但是你仍然需要把自己的这些资料传到云服务器上一份。那么这个跟自己订机票中间省了多少时间和工作量呢? 这个很不好说,我觉得另外一个就是缺点我觉得也很大,在云服务器上他的 open globe 没有这个界面,这就算是对程序员来说, 比如说你在用 obsidian, 需要打开设置,设定一个根目录,才可以知道哪些文件属于你这个 obsidian 的 这个文件内容。当然还有更多的软件是有这方面的问题的,我觉得这个是对大多数人来说是比较难使用的啊。 通过这个视频大家应该能够知道 open globe 能够实现大概什么样的功能?希望这期视频能够简单的帮你认识一下这个当下最热门的 open globe, 它是一个什么样子的东西。评论区里边可以聊一下大家对 open globe 它的一个看法。

大龙虾还没有明白,百万 token 先没了,别急,一起来薅老黄羊毛。无限 token 免费用。首先在英伟达这个网站用邮箱注册个账号,接着验证一下手机号,就能调用 api 了, 关键是支持国内手机号,不用绑卡。然后随便选一个大模型,进入聊天页面, 这里可以切换各种大模型试试,白嫖的人太多,热门模型可能响应很慢,找一个速度还过得去的,这里查看视力代码,可以直接复制模型相关配置。然后打开你龙虾的外部页面,修改配置, 保存之后建议重启一下服务,现在就再也不用担心托肯消耗了,之前配置好的飞书也能直接使用。