UnitAuto
☀️ 机器学习零代码单元测试平台
零代码、全方位、自动化 测试 方法/函数 的正确性、可用性和性能
机器学习零代码单元测试平台,零代码、全方位、自动化 测试 方法/函数 的正确性、可用性和性能。
用户包含 腾讯 IEG 互动娱乐事业群、腾讯 WXG 微信事业群、快手广告、某市值 4000亿+ 500 强巨头 等。
已被 互联网教育智能技术及应用国家工程实验室 收录。 https://github.com/TommyLemon/APIAuto/issues/19
特点优势
相比 JUnit, JTest, Mockito, Mockk 等一堆 Compiling testing 工具:1.其它工具需要每个方法都写一大堆测试代码,需要开发成本、需要解决测试代码的 bug、业务代码更改后需要同步修改测试代码等;
UnitAuto 不需要写任何代码,直接读取方法的属性,自动注入参数,拿到返回值和类成员变量,机器学习自动化校验。
2.UnitAuto 这种 Runtime testing 工具无需 Mock 环境(Application, Context 等),
更不用为 无法有效地 Mock 环境相关类、第三方登录未提供 Mock 支持 等而头疼,
只要被测方法满足 有 return 值、有 interface 回调、改变成员变量 field 这 3 点中至少一点就能测。
腾讯内先后被 微信支付部门、IEG 工具开发组、CDG 金融支付组、IEG PC 游戏平台部 邀请分享了
- 零代码测试工具与实践(API•单元•UI)
- 零代码开发和测试(API测试•单元测试•API开发)
- 零代码开发和测试(API测试•单元测试•API开发)
- 零代码开发和测试(接口测试•单元测试•接口开发)
质效无双线上技术访谈-零代码智能测试工具实践介绍-第11期
https://testwo.cn1.quickconnect.cn/vs/sharing/iiP8VK1C#!aG9tZV92aWRlby0xMQ== !https://testwo.cn1.quickconnect.cn/vs/sharing/iiP8VK1C#!aG9tZV92aWRlby0xMQ==
原理说明
被测项目不需要写任何单元测试代码(逻辑代码、注解代码等全都不要),UnitAuto 会自动生成测试参数,并执行方法,拿到返回值等进行校验。
泛型、接口等自动模拟,异步执行方法自动记录回调过程,都是零代码。
UnitAuto-Admin 是类似 APIAuto 的机器学习零代码测试工具(查看、上传、执行、测试 后端项目中的方法等),
UnitAuto-Java 提供扫描所有方法、执行某个方法两个 API (主要引入 MethodUtil.java 这个类,里面已实现)。
##### 通过扫描项目中的可访问的 package, class, method 来生成和导入测试用例
##### HTTP 远程调用被测服务/App,转至内部 构造/获取 实例来 invoke 动态执行方法
##### 获取参数、成员变量等前后状态,拦截方法被调用过程并可视化展示
##### 通过简单配置自动调整参数组合,拿到返回结果后通过 前后结果对比 或 机器学习校验模型 来自动断言
##### 后端不再需要像以下示例一样编写和维护大量单元测试用例代码(逻辑代码、注解代码等):
##### 客户端可作为 HTTP Server 来为 UnitAuto 网页工具 提供远程调用的接口,效果同样:
示例项目
UnitAuto Java 后端 Server 在线 测试APIJSON Java 后端 Server 在线 测试
UnitAuto Android 客户端 App 直接 下载 (第一次可能失败,返回报错 JSON,一般重试一次就可以)
APIJSON Android 客户端 App 直接 下载 (第一次可能失败,返回报错 JSON,一般重试一次就可以)
演讲视频
UnitAuto-机器学习自动化单元测试平台简介https://www.bilibili.com/video/BV1Tk4y1R7Yo
UnitAuto-异步回调方法的零代码单元测试
https://www.bilibili.com/video/BV1kk4y1z7bW
其它
https://search.bilibili.com/all?keyword=UnitAuto
集成到被测项目
Java 后端 Server
##### 1.依赖 unitauto.jar 放到你 启动 Application 所在项目的 libs 目录,然后 Eclipse Add to Build Path 或 Idea Add as Libraryhttps://github.com/TommyLemon/UnitAuto/tree/master/UnitAuto-Java-Demo/libs
##### 2.依赖 unitauto-jar.jar
如果不打 jar/war 包,则可以跳过这个步骤。
依赖方式同步骤 1。
https://github.com/TommyLemon/UnitAuto/tree/master/UnitAuto-Java-Demo/libs
依赖后需要在 Application static 代码块 中初始化
static {
UnitAutoApp.init();
}
##### 3.提供接口给 UnitAuto 后台管理工具 Controller 提供两个 POST application/json 格式的 HTTP API,分别是
/method/list 动态扫描方法,可以单纯接收入参并转发到 MethodUtil.listMethod(String request)
/method/invoke 动态执行方法,可以单纯接收入参并转发到 MethodUtil.invokeMethod(String request, Object instance, Listener<JSONObject> listener)
参考 DemoController ##### 4.配置环境相关类及自定义处理逻辑
拦截 MethodUtil 类中的 INSTANCE_GETTER, JSON_CALLBACK, CLASS_LOADER_CALLBACK 等 interface 的回调方法,
可以支持获取 Context 等环境相关类的实例、转 JSON 对象时过滤特定类、其它自定义逻辑处理,参考 DemoApplication
Android 客户端 App
##### 1.依赖 UnitAuto-Apk 把 UnitAuto-Apk 导入到你项目 app moudule 所在目录,settings.gradle 中include ':UnitAuto-Apk'
app moudule 目录,build.gradle 中
dependencies {
api project(':UnitAuto-Apk')
}
##### 2.初始化 UnitAuto 在 Application onCreate 方法 中初始化
@Override
public void onCreate() {
super.onCreate();
UnitAutoApp.init(this);
}
##### 3.提供 UnitAuto 管理界面入口 在 AndroidManifest.xml 中注册 UnitAutoActivity
<manifest ... >
<application ... >
<activity
android:name="unitauto.apk.UnitAutoActivity"
android:launchMode="singleInstance">
</activity>
</application>
</manifest>
可在你项目的任何界面新增一个按钮或其它形式的入口,仅 DEBUG 模式下展示
<Button
android:layout_width="wrap_content"
android:layout_height="wrap_content"
android:onClick="onClickUnit"
android:text="UnitAutoActivity"
android:textAllCaps="false"
/>
参考 layout/activity_main 点击这个入口跳转到 UnitAutoActivity
public void onClickUnit(View v) {
startActivity(UnitAutoActivity.createIntent(this));
}
参考 MainActivity ##### 4.配置环境相关类及自定义处理逻辑
在 Application onCreate 方法 中配置,参考 Java 后端 Server 中 4.配置环境相关类及自定义处理逻辑
部署后台管理工具
可以直接下载源码解压后用浏览器打开 UnitAuto-Admin/index.html,建议用 Chrome 或 火狐 (Safari、Edge、IE 等可能有兼容问题)。也可以直接访问官网的环境 http://apijson.cn/unit 或 http://apijson.cn:8081
点右上角设置项 "项目服务器地址 URL",把输入框内基地址改为你主机的地址(例如 http://192.168.0.102:8080 )
右上角登录的默认管理员账号为 13000082001 密码为 123456,
然后点右上角设置项 "查看、同步方法文档",确保被测项目已启动,然后一键导入项目中的方法。
等它完成后自动显示测试用例列表,点击列表项进去查看详情和手动测试,或者一键自动回归测试全部 方法/函数。
如果测试 Android/iOS App,需要保证 手机/平板 与 使用 UnitAuto-Admin 网页的电脑 连接同一个局域网,
如果使用 Android/iOS 模拟器,则一定都是在同一个局域网,并且可以用 http://localhost:端口 进行访问。
自动管理测试用例 这个功能 需要部署 APIJSONBoot ,见
https://github.com/APIJSON/APIJSON-Demo/tree/master/APIJSON-Java-Server
新增测试用例
可以使用以下几种方式:1.远程扫描方法
https://github.com/TommyLemon/UnitAuto/blob/master/README.md#%E8%BF%9C%E7%A8%8B%E6%89%AB%E6%8F%8F%E6%96%B9%E6%B3%952.调用 /delegate 代理接口来录制请求的方法、参数、响应等信息
https://github.com/APIJSON/APIJSON-Demo/tree/master/APIJSON-Java-Server/APIJSONBoot-MultiDataSource#%E4%BB%A3%E7%90%86%E6%8E%A5%E5%8F%A3%E5%8F%8A%E5%BD%95%E5%88%B6%E6%B5%81%E9%87%8F3.打开分享链接来自动填充 方法 URI、参数 JSON、请求头、参数注入配置、设置项 等
例如: http://apijson.cn/unit/?send=true&type=JSON&url=unitauto.test.TestUtil.minus&json={%22static%22:true,%22methodArgs%22:[{%22type%22:%22long%22,%22value%22:1},{%22type%22:%22long%22,%22value%22:2}]}4.在界面手动填写 方法 URI、参数 JSON 等再点击上传/分享按钮
可点击分享按钮生成分享链接,用浏览器打开即可自动填充。远程扫描方法
UnitAuto-Admin 登录后点击 设置项 \[查看、同步方法文档],等返回方法属性 JSON 后点 \[上传] 按钮 !image对应发送 HTTP 请求
POST /method/list
{
"query": 2, // 0-数据,1-总数,2-全部
"mock": true,
"package": "unitauto.test",
"class": "TestUtil",
"method": "divide",
"types": null
}
详细说明见 MethodUtil.listMethod 的注释
https://github.com/TommyLemon/UnitAuto/blob/master/UnitAuto-Java/src/main/java/unitauto/MethodUtil.java#L287-L300
远程调用方法
UnitAuto-Admin 点击 \[运行方法] !image同步方法
unitauto.test.TestUtil.divide
{
"static": true,
"methodArgs": [
{ // 可省略来自动判断的 type : Boolean,Integer,BigDecimal,String,Object,JSONArray 这几种 JSON 类型
"type": "double",
"value": 1
},
{ // 支持各种类型,例如 unitauto.demo.domain.User, List<String>, annotation.Annotation[],未注册的要写完整全路径
"type": "double",
"value": 2
}
]
}
也可以简化为
{
"static": true,
"methodArgs": [
"double:1",
"double:2" // 如果是 JSON 类型,可以不写类型只写值,例如 true, 1, 3.14, "ok", {"a": 1}, [1, 2, 3]
]
}
对应发送 HTTP 请求
POST /method/invoke
{
"package": "unitauto.test",
"class": "TestUtil",
"method": "divide",
"static": true,
"methodArgs": [
{
"type": "double",
"value": 1
},
{
"type": "double",
"value": 2
}
]
}
对应调用 Java 方法
unitauto.test.TestUtil.divide(double, double)
public static double divide(double a, double b) {
return a / b;
}
https://github.com/TommyLemon/UnitAuto/blob/master/UnitAuto-Java/src/main/java/unitauto/test/TestUtil.java#L56-L58
异步回调方法
unitauto.test.TestUtil.computeAsync
{
"static": true,
"methodArgs": [
"long:8",
"long:2",
{
"type": "unitauto.test.TestUtil$Callback",
"value": {
"sort()": { // 可以简写为 "sort()": false
"type": "Boolean",
"return": false
},
"setData(D)": {
"callback": true
}
}
}
]
}
对应调用 Java 方法
unitauto.test.TestUtil.computeAsync(long, long, Callback)
public static Number computeAsync(long a, long b, Callback callback) {
new Thread(new Runnable() {
@Override
public void run() {
try {
Thread.sleep(3000);
} catch (Exception e) {}
Boolean sort = callback.sort();
if (sort != null && sort && a > b) {
callback.minusAsId(b, a);
} else {
callback.minusAsId(a, b);
}
callback.setData("Mock inner interface success!");
}
}).start();
return callback.getId();
}
https://github.com/TommyLemon/UnitAuto/blob/master/UnitAuto-Java/src/main/java/unitauto/test/TestUtil.java#L95-L117
详细说明见 MethodUtil.invokeMethod 的注释
https://github.com/TommyLemon/UnitAuto/blob/master/UnitAuto-Java/src/main/java/unitauto/MethodUtil.java#L353-L424
{
"static": false, // 是否为静态方法,false 时可能会用 constructor & classArgs 来初始化一个类的实例或用 this 直接反序列化成一个类的实例
"ui": false, // 放 UI 线程执行,仅 Android 可用
"timeout": 0, // 超时时间
"try": true, // 是否尝试,可以绕过 private/protected/package 等非 public 的禁止调用限制
"reuse": "testcase1", // 是否复用实例,不同 value 用来隔离不同的用例、避免冲突等
"package": "apijson.demo.server", // 被测方法所在的包名
"class": "DemoFunctionParser", // 被测方法所在的类名
"field": "INSTANCE", // 单例静态成员名称,例如 class TestSingleton { private static final TestSingleton INSTANCE = new TestSingleton(); }
"constructor": "getInstance", // 如果是类似单例模式的类,不能用默认构造方法,可以自定义获取实例的方法,传参仍用 classArgs
"classArgs": [ // 构造方法的参数值,可以和 methodArgs 结构一样。这里用了简化形式,只传值不传类型,注意简化形式只能在所有值完全符合构造方法的类型定义时才可用
null,
null,
0,
null
],
"this": { // 当前类示例,和 constructor & classArgs 二选一
"type": "apijson.demo.server.model.User", // 不可缺省,且必须全称
"value": { // User 的示例值,会根据 type 来转为 Java 类型,这里执行等价于 JSON.parseObject(JSON.toJSONString(value), User.class)
"id": 1,
"name": "Tommy"
}
},
"method": "plus", // 被测方法名
"methodArgs": [ // 被测方法的参数值
{
"type": "Integer", // Boolean, Integer, Number, String, JSONObject, JSONArray 都可缺省,自动根据 value 来判断
"value": 1
},
{
"type": "String", // 可缺省,自动根据 value 来判断
"static": true // 是否静态
"field": "TAG" // 表示引用 class DemoFunctionParser 里的 static String TAG 的值作为这个传参
},
{
"type": "JSONObject", // 可缺省,JSONObject 已缓存到 CLASS_MAP,也可以写全称 com.alibaba.fastjson.JSONObject
"value": {}
},
{
"type": "int[]", // 不可缺省,且必须全称
"value": [1, 2, 3]
},
{
"type": "java.util.List<apijson.demo.server.model.User>", // 不可缺省,且必须全称
"value": [
{ // apijson.demo.server.model.User
"id": 1,
"name": "Tommy"
},
{ // apijson.demo.server.model.User
"id": 2,
"name": "Lemon"
}
]
},
{
"type": "android.content.Context", // 不可缺省,且必须全称
"reuse": true // 复用实例池 INSTANCE_MAP 里的
},
{
"type": "unitauto.test.TestUtil$Callback", // interface 示例,注意内部类用 $ 隔开外部类名和内部类名
"value": {
"setData(D)": { // 回调方法签名
"callback": true // 设置为最终回调方法,会自动等待它被调用,并自动记录回调的时间点和传入参数值
}
}
}
]
}
后台 Headless 无 UI 模式回归测试
Jenkins、蓝盾 等 CI/CD 等流水线不支持带 UI 测试,所以提供了这个模式,通过调用 HTTP API 即可执行用例和查看进度,方便集成到 CI/CD 流水线。 !image !image
1.配置 Node 环境及 NPM 包管理工具
https://nodejs.org2.安装相关依赖
https://koajs.comnvm install 7
npm i koa
3.使用后台 HTTP 服务
先启动 HTTP 服务cd js
node server.js
如果运行报错 missing package xxx,说明缺少相关依赖,参考步骤 2 来执行
npm i xxx
然后再启动 HTTP 服务。启动成功后会有提示,点击链接或者复制到浏览器输入框打开即可。
如果托管服务是用 APIJSONBoot-MultiDataSource 部署的,
链接 host 后可以加上 /unit,例如 http://localhost:3001/unit/test/start
通过这个接口来放宽前端执行时查询测试用例、参数配置等列表的条数,一次可批量执行更多用例。
统计覆盖率
1.点右侧 Maven > Lifecycle > package 或 运行以下命令 来把项目打成 jar 包:
mvn clean package
完成后 target 目录应该有 unitauto-java-demo.jar(springboot-maven-plugin 重新打包) 和 unitauto-java-demo.jar.original(maven 直接打包) 这样的两个 jar 包
2.使用 JaCoCo Agent 作为 Java Agent 来运行 jar 包
java -javaagent:libs/jacocoagent.jar=destfile=../jacoco.exec,includes=*,output=tcpserver,port=6300,address=127.0.0.1 -jar target/unitauto-java-demo-2.9.0.jar
3.点右侧 Maven > Plugins > jacoco > jacoco:dump > jacoco:report 或 运行以下命令 来导出覆盖率数据和生成查看报告的 HTML 网页
jacoco dump
jacoco report
完成后 target 目录应该有 jacoco.exec(覆盖率数据) 和 site/jacoco 目录且里面有 index.html 网页入口文件、jacoco-resources 资源文件夹 等。 用 Chrome/Firefox 浏览器打开 index.html,可以看到覆盖率报告。
常见问题
1.无法访问接口
Chrome 90+ 对 CORS 请求禁止携带 Cookie 或 Chrome 80-89 强制 same-site Cookie 的策略导致https://github.com/TommyLemon/UnitAuto/issues/11
2.没有生成文档
右上角设置项与数据库实际配置不一致 等https://github.com/Tencent/APIJSON/issues/85
3.托管服务器访问不了
不能代理接口、不能展示文档、不能对断言结果纠错 等https://github.com/TommyLemon/APIAuto/issues/12
4.apijson.cn 访问不了
托管服务地址改为 http://47.98.196.224:8080https://github.com/TommyLemon/APIAuto/issues/13
5.如何统计行覆盖率/分支覆盖率?
##### Java/Kotlin 可以用 Jacoco(on-the-fly 运行时动态插桩模式) https://www.jacoco.org/jacoco/trunk/doc/agent.htmlhttps://www.jacoco.org/jacoco/trunk/doc/cli.html
还可以搜索并参考 "JaCoCo" 相关文章,例如:
Java 覆盖率 Jacoco 插桩的不同形式总结和踩坑记录
https://testerhome.com/topics/20632
##### Go 可以用 goc 或 gcov
我们是如何做go语言系统测试覆盖率收集的?
https://zhuanlan.zhihu.com/p/149890900
Gcov 查看代码覆盖率
https://zhuanlan.zhihu.com/p/410077415
##### Python 可以使用 coverage
Python单元测试框架覆盖率-Coverage
https://cloud.tencent.com/developer/article/1513269
##### C++ 可以用 gcov + lcov https://cloud.tencent.com/developer/news/1309383
更多常见问题
https://github.com/TommyLemon/APIAuto/issues
感谢开源
- jsonon
- editor.md
- vue.js
技术交流
##### 关于作者 https://github.com/TommyLemon如果有什么问题或建议可以 去 APIAuto 提 issue,交流技术,分享经验。
如果你解决了某些 bug,或者新增了一些功能,欢迎 提 PR 贡献代码,感激不尽。
生态项目
APIJSON 🏆 腾讯实时 零代码、全功能、强安全 ORM 库 🚀 后端接口和文档零代码,前端(客户端) 定制返回 JSON 的数据和结构
APIAuto ☔ 敏捷开发最强大易用的接口工具,零代码测试与 AI 问答、生成代码与静态检查、生成文档与光标悬浮注释,腾讯、华为、SHEIN、传音、工行等使用
AutoUI 📱 AI 零代码快准稳 UI 自动化测试平台 🚀 3 像素内精准定位,2 毫秒内精准等待,自动断言 UI 和数据、界定前/后端 bug,用户包含腾讯,微信团队邀请分享
CVAuto 👁 零代码零标注 CV AI 自动化测试平台 🚀 免除大量人工画框和打标签等,直接快速测试 CV 计算机视觉 AI 图像识别算法
SQLAuto 智能零代码自动化测试 SQL 数据库工具,任意增删改查、任意 SQL 模板变量、一键批量生成参数组合、快速构造大量测试数据
apijson-doc APIJSON 官方文档,提供排版清晰、搜索方便的文档内容展示,包括设计规范、图文教程等
APIJSONdocs APIJSON 英文文档,提供排版清晰的文档内容展示,包括详细介绍、设计规范、使用方式等
apijson.org APIJSON 官方网站,提供 APIJSON 的 功能简介、登记用户、作者与贡献者、相关链接 等
APIJSON.NET C# 版 APIJSON ,支持 MySQL, PostgreSQL, SQL Server, Oracle, SQLite
apijson-go Go 版 APIJSON , 基于Go(>=1.18) + GoFrame2, 支持查询、单表增删改、权限管理等 apijson-go Go 版 APIJSON ,支持单表查询、数组查询、多表一对一关联查询、多表一对多关联查询 等
apijson-hyperf PHP 版 APIJSON,基于 Hyperf 支持 MySQL
APIJSON-php PHP 版 APIJSON,基于 ThinkPHP,支持 MySQL, PostgreSQL, SQL Server, Oracle 等
apijson-php PHP 版 APIJSON,基于 ThinkPHP,支持 MySQL, PostgreSQL, SQL Server, Oracle 等
apijson-node 字节跳动工程师开源的 Node.ts 版 APIJSON,提供 nestjs 和 typeorm 的 Demo 及后台管理
uliweb-apijson Python 版 APIJSON,支持 MySQL, PostgreSQL, SQL Server, Oracle, SQLite 等
apijson-practice BAT 技术专家开源的 APIJSON 参数校验注解 Library 及相关 Demo
Android-ZBLibrary Android MVP 快速开发框架,Demo 全面,注释详细,使用简单,代码严谨
持续更新
https://github.com/TommyLemon/UnitAuto/commits/master我要赞赏
创作不易、坚持更难,右上角点亮 ⭐ Star 支持下本项目吧,谢谢 ^_^https://gitee.com/TommyLemon/UnitAuto




