00:00 / 01:54
连播
清屏
智能
倍速
点赞8
00:00 / 06:24
连播
清屏
智能
倍速
点赞NaN
Deepdick1周前
老手机硬核爆改,本地跑通Gemma 4多模态并接入OneAP 🔥 变废为宝!骁龙855老手机硬核爆改,本地跑通Gemma 4多模态并接入OneAPI! 抽屉里吃灰的红米 K20 Pro 还能干嘛?我把它爆改成了一台纯本地的 AI 服务器,不仅跑通了参数量约 7.52B 的 Gemma 4 多模态模型,还通过自写中间件完美接入了 OneAPI!全程硬核折腾,快来看看完整的部署通关流程👇 🛠️ 第一步:底层打通与环境保驾护航 先通过 Linux 服务器配置无线 ADB,利用 Magisk 获取 Root 权限,并写了脚本实现开机自启无线调试,彻底解放数据线。随后在手机原生 Termux 里装好 clang、cmake 以及 termux-wake-lock 防休眠锁,防止系统杀后台,为后续长时间编译做好准备。 🧠 第二步:疯狂避坑与跑通文本模型 一开始想用 llama-server 提供服务,结果发现安卓底层的 Bionic libc 存在兼容问题,果断弃用,改用 Ollama 完美跑通了纯文本推理。接着编译 llama.cpp,注意这里是个大坑:旧版的 llama-llava-cli 已经被废弃了,必须编译最新的 llama-mtmd-cli 工具。最后把 5.3GB 的文本主模型和 946MB 的视觉投影文件塞进手机。 👁️ 第三步:榨干老手机,点亮多模态 加上灵魂指令参数 --jinja,多模态链路正式打通!过程相当壮烈:推理一张图片时,老手机的 8 核 CPU 基本吃满,内存占用飙到 7.1GB 甚至开始调用 swap,总耗时大概两分钟多。虽然属于“可用但不轻盈”,但它真的能看懂图了! 🌉 第四步:手搓 Bridge,变身标准 OpenAI 接口 为了把手机 AI 变成局域网里的正规军,我在另一台 Debian 服务器上手搓了一个自定义 Bridge(桥接中间件)。这个神器绝了: 多模态接管:收到 OneAPI 的请求后,Bridge 会先下载图片,通过 SCP 把图传到手机,再通过 SSH 唤醒手机执行命令行推理,最后清洗掉杂乱的日志,包装成标准的 OpenAI 格式返回。 秒回探活:遇到 OneAPI 的渠道连通性测试,Bridge 会直接触发“短路探活”秒回结果,防止超时报错。 github:https://github.com/shihua-guo/Diary/tree/master/daily/202
00:00 / 04:33
连播
清屏
智能
倍速
点赞29
00:00 / 00:51
连播
清屏
智能
倍速
点赞15
AI掮客1周前
4月29日 (7)(1) 你的API中转费,到底花在哪了? 8步技术链路 × 3个利润变量 同样叫API中转,价格能差10倍,体验也能差10倍。为什么? 从你发消息到AI回复,实际上经历了8个步骤。 1 入口 - 接收请求 2 鉴权 - 检查权限 3 限流 - 控制速度 4 排队 - 等待处理 5 调度 - 核心环节 6 协议转换 - 格式翻译 7 上游调用 - 真正请求 8 回包重试 - 容错处理 第1到2步:门卫检查。入口,你的请求到达中转站。鉴权,检查你的会员卡,API Key有效吗?余额够吗?能用什么模型? 第3步:为什么要卡你?你一秒发10条消息,中转站只放3条。不是故意卡你,是保护账号不被封。触发风控的4个信号:请求频率异常高、多IP同时请求、凌晨持续满负载、格式高度统一。 第4步:你在等位。通过限流的请求进入队列。你前面有多少人?不知道。有时快有时慢,大部分卡在这一步。不是AI在思考,是你在排队。 第5步:核心中的核心。中转站手里有几百个账号,你的请求发给哪个?这个决定直接影响你的体验和中转站的成本。 4个维度的智能调度。地区调度,选延迟最低的线路。额度调度,选余额充裕的账号。健康度分流,避开快被封的账号。模型调度,Opus走Opus通道,Sonnet走Sonnet线路。 中转站不生产智能,它做的是流量调度。就像快递公司,货是同一个货,拼的是调度效率、线路质量、损耗控制。同样100个账号,能服务500人还是2000人?这就是技术的价值。 第6步:格式翻译。你的工具用OpenAI格式,Claude用Anthropic格式。中转站做翻译,OpenAI转Anthropic再转回来。这就是为什么同一个Key能调多个模型。 第7步:套娃还是直连?你以为是你到中转站到Claude。实际可能是你到中转站A到中转站B到中转站C到Claude。每过一层,加延迟、加出错概率、加利润抽成。 第8步:容错机制。请求失败了怎么办?自动重试,换账号重发。你感觉稍微慢了一点。连续失败?触发熔断,暂时摘掉问题账号。防止雪崩,一个账号崩导致全网瘫痪。 中转商怎么赚钱?三个利润变量。第一,账号成本,批量采购对比零售价。第二,调度效率,同样资源服务更多人。第三,分销层级,直连对比套娃3层。价格差10倍的秘密就在这3个变量里。 现在你知道了。你的钱花在哪,为什么价格差这么大,为什么体验差这么多了
00:00 / 03:05
连播
清屏
智能
倍速
点赞2
00:00 / 02:56
连播
清屏
智能
倍速
点赞870