midscene自动测试怎么使用

这是一个能让你快速实现网页自动化测试的神器，它就是由字节跳动开源的 ai 自动化测试工具。 mid scene 点 js， 可以 快速实现网页自动化、移动端自动化，不需复杂操作，只需简单配置就能达到理想的自动化效果。即便测试页面发生变动，只要保留了对应的文字信息，工具就能自动精准识别，极大地减少了重复适配的工作量。在使用前有几个关键步骤要提前准备。首先工具依赖 no js 运行， 所以要先安装 node js， 安装时建议配置国内镜像，否则后续安装部分组建可能会出现卡顿、堵塞的情况。相关配置方法和常用的国内镜像我也会在分享中详细说明。 安装完成后，通过运行对应命令就能验证是否安装成功，操作简单易上手。最关键的一点是，这款 ai 测试工具需要依靠大规模视觉模型才能运行，本地通常无法直接承载。 因此推荐大家使用云平台的大模型接口，只需注册对应账号就能获取接口，我会同步分享大模型接口的详细申请流程，这是使用工具的必备步骤，没有大模型支持的话，工具就无法正常使用。这 些内容在我的笔记里面有非常详细的介绍，包括一些常见的问题，比如大模型 key 的 申请、模型名称的选择。如果你对 ai 还没有太多了解，建议去尽快的尝试一下。

字节跳动这款 ai 自动化测试工具也太香了吧，网页自动化、移动端自动化全都能搞定，简单几步配置就能实现你想要的自动化效果，甚至页面变了，只要核心文字还在， 它都能自动识别，完全不用反复改脚本。不过用这个工具得先准备好基础环境，首先得装 note g s。 重点提醒一句，一定要配置国内镜像，不然装组建的时候容易卡半天，甚至装失败。我都整理好了，常用的国内镜像和配置步骤 照着来就行。装完 node js 就 可以装 midi 了，安装完用简单命令就能验证是否成功，一步都不复杂。 最关键的一点，这个 ai 工具得依赖大模型才能用，本地根本跑不动这么大的视觉模型，所以得用云平台的大模型接口。我也把接口申请的详细步骤，选哪个模型合适，这些细节都整理好了，少了这部工具，根本用不了 这些安装配置、接口申请常见、坑、规避的内容我都写在笔记里了，不管你是刚接触 ai 测试的新手，还是想省时间提效率的老测试，跟着操作都能快速上手。想要这份详细笔记的，看我主页， 我直接发你，关注我，后面还会分享更多 ai 测试工具的实操干货，帮你少加班，效率翻倍！

u i 自动化的发展方向正在从人眼观察、大脑决策、手动操作进化到视觉感知、智能决策、自动执行。在寻找 u i 自动化解决方案的时候，我们的期望是什么？ 成功率？稳定性？执行效率，这些是保证程序持续稳定、有效运行的底线。使用难度、花费这些是我们要投入的学习和金钱。成低改动成本和难度兼容性 等等，这些能带来更好的使用体验。通过实测，目前我的推荐是 medicine 点 gs 加 ai 视觉模型千万三 f l plus 自主规划任务执行不柔的解决方案。 medicine 点 gs 是 字节调动旗下 webinfra 团队开源的 ai 操作助手， 可使用视觉 ai 模型驱动，支持全平台的 ui 自动化 sdk， 适用于外部网站、安卓、 ios 自动化和测试。我们先通过 mitson 点 gs 的 执行报告回放， 直观的感受一下这个解决方案执行超长步骤复杂任务的表现。 下面总体介绍一下选择这个解决方案的几点原因。高成功率和稳定性， 即使在无缓存的情况下，九十五个执行步骤的复杂任务重复测试，仍然保持了百分之百的高执行成功率和稳定性。 主要得益于，一、备测系统良好的前端界面元素和交互设计。二、视觉模型千问三 vr plus 的 识别理解能力。 三、 magson 点 gs 良好的框架设计保证了执行的稳定性、 高执行效率。在有缓存的情况下，单个任务的执行时间与人工执行时间接近，多个任务可并行执行，并且自动化执行时不占用人工，可以做其他事情。 一、上手难度和学习成本与传统自动化脚本相比，任务步骤编辑基本接近自然语言的描述， 并且绝大部分逻辑代码编辑需求可借助 ai 编程助手解决。 低费用成本九十五个执行步骤的赋值任务单次执行投肯消耗花费约零点一四元，在有缓存的情况下，没有缓存的情况下约零点二八元。 一、改动成本和难度 ai 视觉加缓存自动适配界面变化一、元素外观不变，无需改动。二、位置和大小微调基本无需改动， 与 ai 视觉模型交互后会自动重新定位。三、元素和交互变更仅需要更新描述文字和逻辑， 更新难度较传统方式更低。兼容性一，它兼容多种模型，可以根据需要选择使用不同的模型。 二、兼容多种浏览器，可通过 playwrite 配置选择起用。 推荐的使用场景一、使用 medicine 的 gs 加千问三、 vlplus 人工自主规划执行步骤 成功率、稳定性、执行效率比较高。上手难度、学习成本、费用成本、改动成本和难度都比较低，因此推荐用于做任务自动化执行、场景自动化测试。 使用 madison 点 gs 加具备探索规划能力的视觉模型，如 dooboard、 ui tabs 等等。自动规划 任务执行的方式，任务执行正确率不高，耗时和花费偏多，可以考虑对用户高频使用的前端页面展现交互设计做探索性、可用性的验证。不推荐的使用场景 一，如果执行操作的对象不允许或者限制截图功能，比如某些考试网站会检测截图到达一定的预知后终止考试， 那么就不推荐使用这个解决方案，原因是 matesson 点 gs 的 解决方案依赖截图后与 ai 视觉模型进行交互。二、 如果执行操作的对象有高保密要求，例如某些系统不允许通过互联网传输系统的信息， 那么就不推荐使用。原因是在线的 ai 使用模型参数更大，效果更好。 如果急于保密安全的考虑选择使用本地部署的 ai 视觉模型，可能难以保证效，能够正确执行复杂任务，用时准确率接近手工测试执行 学习维护费用成本低，可以帮助我们腾出时间做其他事情。这样的 u i 自动化解决方案实测推荐分享给可能有同样需要的你。 详细的部署测评文档参见视频下方链接，如果这期视频对你有切实帮助，记得一键三连，我们下期再见！

开始执行测试任务，点击元素应用与服务，点击元素 qq 音乐， 点击元素搜索框，输入文本周杰伦到输入框， 点击元素搜索按钮， 执行 ai 动作，播放列表中的第一首音乐 小塔，小塔，你说下一首明白， 上一首收到 退下。好的，执行 ai 动作，收藏当前歌曲 正在清理后台应用。 测试执行完成，共执行十三个步骤，其中十三个成功。