今天和大家分享一下 auto g l m 的 使用方法。 首先可能遇到的问题就是环境问题,我建议使用 con 的, 因为这个不用。在 windows 中不用配置环境变量,直接启动环境即可。搜索清华园,在其中就可以下载,因为官方园是海外的,下载会很慢, 在这里搜索就能找到。这里有 anaconda 和 minaconda, 两个都是一样的,只是 mini 的 预装的库要精简一些。从这个网址进入下载, 搜一下 latest, 这里会有三个,我们下载 mini 三的,这个 我已经下载好了,就不再下载了。在菜鸟网可以找到安装教程以及使用命令, 这些就是它的使用命令了。使用 kind 的 好处是和系统本身的环境区分开,即便环境配置出问题了,在 kind 中把这个环境删掉就是了, 重新配置,不需要在 windows 中折腾环境问题。你们可以按 ctrl 加二键输入 c、 m、 d, 回车就打开命令窗口了, 输入 kind v 就 可以看到版本号,就说明安装成功了。 使用这个命令来创建一个新环境, 项目要求派脏三点一零以上,我们这里使用三点一二版本的最后一个版本就可以了, 这里环境就新建好了。 然后我们使用这个命令罗列出环境,这里已经有我们刚刚创建的环境。 使用这个命令进入这个环境, 我复制一下这个文件的路径,好在终端里切换到这个路径下。 然后我们需要安装这个文件中的库, 使用这个命令安装 就是这两个库, 这里要注意在这个代码文件的路径下执行命令, 可以在命令后面加上这个命令。这一段的意思是使用清华园的服务器安装这个库,否则默认是从海外的服务器安装库,速度会很慢。 到这里前期的环境就安装好了。然后我们安装 a、 d、 b 的 部分, 我已经下载好了,就不再下载了。然后自行解压到文件夹中。 这里需要配置一下 a、 d、 b 的 系统环境变量, 在这里点击新建,然后输入刚刚你解压 a、 d、 b 的 那个文件路径, 这里我已经新建好了,就不再操作了。 这里可以使用这个命令来看 a、 d、 b 是 否安装成功。这里我已经提前安装了雷神模拟器,所以才会显示有设备,你们可以自行安装一下模拟器。 接下来我们需要使用 ai 模型,这里我建议使用 g、 l、 m 的 模型即可。自己搭本地模型,对硬件有些许要求。注册账号以后添加一个 api key。 然后我们在手机上或者模拟器上安装这个 adbt 博尔。 安装完成后,需要在手机或模拟器上启动 adbt 博尔。这里我之前已经启动过了, 现在可以使用这个命令来使用这个 ai 了。如果你的 adb 没有连接成功,可以试试这几个命令,重启一下 adb。 这里如果是本地配置模型,就对硬件有一些要求。 使用这个命令就可以使用这个 ai 来操作我们的手机了。 把之前我们添加的 a、 p、 i、 t 填在这里。 最后这一段话就是告诉 ai, 我 们需要让它操作的任务是什么。 最后在终端里执行这个命令即可。开始了, ai 就 已经开始操作右侧的模拟器,开始执行它的任务了, 这里因为我没有登录账号,所以美团是不让搜索的。 如果是在手机上使用的小伙伴,需要在手机上打开开发者模式,可以搜索自己手机型号的打开方式,然后打开图中这几个选项, 这样配置工作就已经完成了。
粉丝26获赞30

免费了,不要三四九九,也不要九块九,不包手机的平替智普的开源项目 open auto gm, 配合它的开源模型 auto g o m 九 d, 咱们也能实现手机 agent 的 自由。我用手上这台安卓手机和 mac 电脑搭好的环境,让他来帮我购物, 这是执行效果,提示词是在淘宝上找到帮宝适黑金刚 l 码最低价的商品,加入购物车,然后发微信告诉我商品选好了。我来看看。这套开源方案和豆包手机最大的区别有三点,第一, 一,运行级别不同。开源方案只能在前台运行,豆包手机可以在后台自己默默的运行。第二,手机的便携性不同。开源方案手机和电脑必须用数据线连接,或者是在同一个 wifi 下,豆包手机可以只拿着手机到处走。三、智能程度不同。 开源方案接的是九 b 参数的小模型,能完成大部分的基础场景,但是极限智能比不上豆包手机。推荐两种适合的使用场景。 场景一,操作电脑忙不开的时候,比如快下班时提前叫车,当同事还在等车的时候,你已经上车回家了。场景二,需要在手机上多个 app 之间切换,收集数据,分析并且最终操作手机的场景。比如说在双十二购物选择最低价格商品时,我的微信收到消息了,任务完成。 牛逼!那么这么牛逼的手机, a 镜的方案会不会很难配置呢?完全没问题,我摸索了一套极简方案,只需要一行命令和一句话就能配置好。 首先看我这期视频,一行命令把 cloud code 安装好,然后打开 cloud code, 告诉他这句话,一路点同意就能安装完成整个配置过程,需要用数据线把安卓手机 在电脑上这么简单都能就能搞定,快去配置一套试试吧!你还有什么场景想用手机 app 来解决的?详细的安装过程和常见问题我会总结成文档,方便大家查看。关注我,玩转 ai 编程。

嗨,家人们。内心有点小激动,所以虽然感冒了,但我们还是一起录个视频来聊一下,我们一起来看一个在手机上可以说是划时代的全新的 ai 交互方式。那我先在电脑端给手机一个指令,让他呢在美团上帮我去定一个下周六晚上的火锅餐厅的位置, 我们实际拿我的手机来看一下,注意,这是我自己的手机,相信粉丝们都知道老演员了。 打开了美团,进入了搜索框,他自己输入了火锅,进行了搜索,进去餐厅的 list, 他 选择了一家可定的餐厅,你看他进去应该定做了,这边有个 cheeky 的 点是我设计的是下周六,而不是今天或者明天, 我们看他移动这个时间罢了,有点厉害。哎,他选择对了,下周六,接下来应该又比较简单去确认,然后最后一步应该是要我自己去 confirm。 ok, 那 我们再来实操,看一个也是我日常非常高频操作的一个场景啊。我让他帮我去打开小宇宙,然后找到 linux podcast 的 最新播客,并且要加入到播放列表 正面。我觉得第一个难点就是他去打开我这个 app 的 抽屉,因为我的 app 不 像很多手机一样是放在桌面的,它隐藏在这个抽屉里面。 就这一关,他居然能挑战成功,还是比较厉害的。后面接下来我觉得打开 app, 然后像之前一样输入 landspodcast, 找到这个播客应该都不是很难,他找到这个播客了,然后应该会进去。接下来有个难点就是找到这个播客,并且加入到播放列表, 因为我们这个播放列表他其实并没有显示出来,我们看他怎么操作,这个应该不是他在试错, 他进入直接播放了,我们看他把我们这个播客点开了,并且进入到了播放列表,所以是成功的。 ok, 那 看完家人们觉得震撼,而且两个都不是 demo, 全是实打实的操作。更关键的是,这就是我日常用的自己的一台手机啊,并不是一个为 ai 特别定制的手机或者工程样机。 那实现这些的全靠智浦最新开源的 auto g l m, 它可以把我们每个人的手机都变成一台 ai 手机。我个人觉得本次开源可以说是一个里程碑的事情,甚至我把开源的 auto g l m 称为 ai 手机的破局者。那这次的 auto g l m 到底破局在哪呢? 我们先看现状,现在你要做个 ai 手机,很显然是以全世界为敌啊,手机厂商他肯定围缴你,那手机上的应用厂商肯定也得和你拼命, app 天天不就是为了挣个用户流量入口吗?现在你倒好,做个 ai 手持入口变成 ai, 那 么 auto gm 这一步的开源就走得可以说是一举几试,开源了手机厂商手也就没有那么担心自己被取代,更好的是咱俩还能一起合作开发,好兄弟一起走。而且还有最重要的点, ai 时代会有很多全新的 ai native 的 app 出来,那毫无疑问,这些 app 肯定是会拥抱 auto gm 的。 gt, gt 设计肯定天然就适合 ai 手机这种交互方式,所以我说 otoglm 是 ai 手机破局者这一点 完全不夸张。那说了这么多,最后我们给 otoglm 一个极限场景来拉利测试,我给他一个复杂的任务,看它整体的完成度如何,而且我把电脑和手机桌面同时放在一起,电脑端呢,大家可以看一下它整个任务拆解和具 获取手机端完成的一个过程。那手机端呢?我们直接可以看一下这个交互的一些情况。 ok, 那 我把指令给到他,我呢希望去阿勒特滑雪那去小黄书找攻略,并且去携程上找到基九,我们看他开始打开小黄书去搜攻略了。这些搜攻略什么去小黄书点进去,应该是属于对他来说比较简单的人,我觉得他肯定是能够完成的。 他找到帖子了,他还会慢慢去滑动这个图片,然后去读图片里面的内容。他读完以后觉得已经读到了详细的一些信息了,你看接下来他又怎么干?他找到了第二个笔记,是一些门票的价格,你看他在读图片,他去尝试找到一些实用的信息,但没想到这边发的都是风景图, 不接,找不到具体的信息和内容。好像在小黄上他觉得收集了足够多的信息了。我们看下一步,因为携程上首先简单的这种输入城市,包括基酒的起飞跟降落的目的地,我觉得应该都不是很难, 我们看他怎么去调用这些信息的。前面他搜索应该会有一些将军山这些滑雪景区的指示给到他,所以他可能朝这个方向去收了将军山国际滑雪这个区域, 他给了我们一些酒店的一个推荐,接下来他应该是想去给我们订机票了,像这种有突然的弹出来的页面,我看前面他也是能够很好的去点击掉,他就不会误触点掉了,你们看他看到了我是从上海到北京的,之前预设的, 他应该会去改这个目的地吧,我猜他还蛮聪明,你看我之前搜索狂友拍摄这些字样,他去读取,然后他觉得这个应该不是就自己手动输入阿勒泰,他应该准确定位到了从早到晚的这些机票,应该会选择早上吧,不会选个大中午或者傍晚吧, 这个应该是他整体完成了, ok, 给了我们一系列的推荐,我觉得整体的执行还算是一个八十分左右的一个水准吧,毕竟是给我交付了一个完整的攻略,加上推荐的酒店和机票。从我们实测的这个案例来看,基本上很多手机上操作没什么大问题, 其实我们正常用手机也没那么多复杂的操作,像我日常用的软件也就十几个正常的点,按筛选的一系列的操作,也就 ai 大 概率是能够完美的去执行。最后我觉得 ai 手机毫无疑问是 ai 认证去落地的很好的一个场景,所以很多大模型墙纸、手机墙纸可以说是蓄势待发。 而欧托 g l m 本次开源基本上是打响了发力枪,让我们期待一下这场 ai 手机的马拉松。 ok, 那 本期内容就到这了,我是北达眼镜哥,我们下期再见,拜拜。

前几天我发了一条关于智普开源的蜂窝 a 制的视频,没想到直接就火了,这两天私信我的人很多,就说怎么不熟,所以说这两天我整理了一个详细的教程,如果你是程序员,我相信你看一遍就行。如果你是一个小白,可以直接找我来拿,文档写的很详细, 就按步骤走,基本上不会迷路。部署呢,其实不是很难,只提前做好这些东西,好直接开始上传。首先打开 get 号,把仓库原码拉下来,本地部署就需要拉到电脑,如果你用云服务器不在云端,拉云端相当于给你一个可用的 api 地址。第二步就是把环境装对这里,你直接用 card 的 扣子来帮我去安装本地的拍摄环境 对你的相关依赖。第三步呢,手机打开 usb 调试,就这部不同的品牌手机略有差异,但是大体的流程都差不多。首先进入设置,找到相关手机,找到版本号,连点七到十次左右返回设置,可以多出来一个开发者选项,进去把 usb 调试打开就可以了。第四步,下载模型, 进入模型页面,选第一条下载命令,丢进终端去跑就可以了。这一步比较好使,也是对体力活耐心一点。 下载完之后就可以直接上手来用,把路径替换成你真实的模型地址,然后输入你想要让 ai 操作的指令,就比如说你让他打开美团,帮我们搜索霸王茶几,我们就可以看到他现在打开了美团,但是现在触发了他的验证,应该是识别到了不像是人类的操作,我们再让他执行一下这样的操作, 我们再来测试一下用 ai 使用京东帮我们搜索下男士拖鞋,现在有弹出了验证码,我们需要手动点击一下,现在看到了 ai 帮我输入搜索对应的产品,希望大家玩的愉快。

今天给大家看一下让 ai 操作自己手机的效果, 下面我们直接运行内文件,这样可以进入交互模式, 输入指令,打开王者荣耀, 让模型领取一下奖励试试。 看来再让模型领取其他的奖励比较困难了, 下面让模型开一局人机一服一, 让这个模型打游戏看来有点困难,我们退出。接下来让模型打开手机上知乎的热搜, 这里他打开了我的历史搜索, 现在他找到了热搜。 这个就是我使用的由智浦开源的项目, 是一个基于 auto g l m 构建的手机端智能助理框架,它能够以多模态方式理解手机屏幕内容,并通过自动化操作帮助用户完成任务。这个就是操作我们手机的模型 auto 轱辘缝九臂。 下面我将详细讲一下如何让这个九 b 参数的模型操作你的手机,说一下前提必须是安卓手机,开头我使用的是 eq。 首先手机要打开开发者模式, 在设置中找到版本号,连续点击约十次,它会显示开发者模式已启动。这个是 iqoo 手机的方式,其他手机我不是很清楚。接下来打开 usb 调试, 然后需要安装 adb 输入法,建议大家在 get 部中搜索并下载 apk 包,点击这里即可下载,下载后将这个包传给手机让手机安装,安装后需要将 adb 设置为默认输入法。 下面是电脑端的操作,首先给电脑安装 idb 克隆元码,并在 vsco 的 中打开。 接下来给这个项目创建一个虚拟环境,这里派送的版本大于等于三点一零即可。然后激活环境并安装依赖,接着使用数据线连接电脑和手机。可以使用 a、 d, b devices 命令来检查连接情况。 如果出现了 device 而不是 unnotice, 就 可以进行下一步了。下一步很简单,运行我框住的这个命令。 如果你完成了上述步骤,那么恭喜你已经完成了模型操作手机的全部步骤。现在运行这个模型命令就可以给模型发号施令了。 注意,需要将真实的 key 换成你自己的 key。 命令换成你想让模型操作你手机做的事情即可。如果你不知道去哪里获取 key, 请仔细看下这张图。可能有人会问,为什么我在视频的开头运行的命令不是这样的,我记得它明明很短的呀。 这是因为我已经提前将长命令所需的参数写入了这个终端中。这就是我为什么可以直接运行没文件的原因了。 可能大家也感觉到了,每次打字的输入命令太麻烦了,其实只需要加入一个 asr 语音识别模块,如此我们再进入交互模式,就可以一直通过语音给模型发号施令了。 下面说下未来的发展。首先,模型为什么是九 b 参数?这是因为九 b 参数是目前高端手机芯片能接受本地部署的极限。可以猜到这是已经在为手机部署做准备了。 手机部署后不需要联网芯片直接跑,这将彻底解决隐私和延迟问题。 由于我们是通过调用 api 的 方式使用的模型,所以屏幕上的所有内容都会上传云端,这里不建议跑支付密码以及隐私照片。

好的,那么现在在我桌面上这个可以移动的窗口呢,就是刚刚部署好的智普的 auto g m 大 模型,然后 右边这个窗口就是我的手机实时的投屏,我现在已经部署好了,所以说我们就直接给它发布一个命令,我在淘宝上找一个一百五十块钱左右的键盘, 我喜欢白色的,帮我加入到购物车 车里面,然后呢再给他一个指令,然后截图发送给我最 进聊天的 qq 好 友,然后他现在就开始执行,然后这个窗口就是我的手机的实时的界面,然后他就已经开始了这个思考过程。 好,那么呢他现在就开始打开淘宝 好,然后他现在打开了搜索框, 然后调用了一个键盘的 app 命令 好,然后他就开始找价格 好,然后他就成功的发现了他的一个推荐商品,刚好是一百五十块钱。 好,那么他现在呢就完成了我这个加入购物车的指令,然后呢看一看他会不会截图再发送我,再发送给我的 qq 好 友。 好,然后他就开始退出, 然后他刚刚点进了一个游戏中心,但他发现了这个对话窗口不是好友,然后他退出去重新打开,然后这一个呢确实就是我的一个好友测试 好了,那么他现在呢?也许,那么他现在呢也选择好了第一张图 好了,那么现在这一个视频呢,就是他执行了一整个任务的过程,但是在过程中呢,我其实是想让他截图游戏键盘的界面,然后发送给好朋友,但是他发错了,现在,但是他最后还是执行好的这个成功执行好这个任务。

来了来了,全网都在找的豆包手机同款 ai 工具,智谱开源 autobot 膜给你们找到了,操作简单而且免费,小白也会试用,同时支持安卓、苹果、鸿蒙。 下面我速分享给大家。首先点视频右下角分享键分享复制链接,然后打开这个工具包, 没有的去下载一个就会弹出资源包,没有弹出的去首页输入鱼饼大全,然后打开这个文件包,右下角去保存就可以了。

打开抖音搜索美女主播,给前三名点上关注, 如何安装,你也不需要去一步一步的操心怎么写指令,你直接把这个地址,直接把这个地址扔给啊切克 ppt, 或者扔给啊通讯签文,扔给豆包,他直接帮你生成一个安装的一个指令,但首先是安装那个对,安装 python 相关的一个环境, 那我们需要去安装一个 v o m 的 一个啊框架,然后再去下载一个模型,对,然后直接啊可以在本地啊启动服务,对,我们还要在手机中去安装一个 a d b 的 一个啊驱动,然后打开 usb 的 一个调试, 那就可以了。安装的过程中你直接的遇到任何的问题报错,然后直接丢给 a, 然后他会对直接帮你去啊找到一个相关的解决方案。

一天一个强大的工具,今天要认识的是智普开源 auto g l m, 是 智普 ai 开发的全球首个具备 phone use 手机操作能力的 ai 智能体框架,它能将用户的自然语言指令直接转化为对手机应用的真实操作,实现所说即所得的交互体验。与传统语音助手 siri、 小 爱同学不同, auto g l m 不 仅能回答问题,更能完成任务,是真正的能动手的助手,而非仅会说话的顾问。那这个工具呢?已经放在这个小蓝鸟里面,只要转发这条视频,然后在小蓝鸟里面点击允许黏贴,就能弹出来工具包了。选择智普开源 auto g l m, 然后保存安装就能用了。
