- LuckyComet684小时前⭐️ 新访客7046
最近在折腾 Sub2API 的账号池,做了个模型质量巡检工具,分享给有同样需求的佬友。
一个分组里挂了好几个上游账号,接口都能正常返回,但有的账号碰到同一道题就是答不好。我想做的是让 Sub2API 自己定时出题、记录结果,发现异常就先把那个账号移出调度,等复测过了再放回来。
可以直接嵌进 Sub2API
巡检服务用 Docker Compose 单独部署,连上已有的 Sub2API,再加一个自定义菜单,就能在原来的面板里打开巡检页面。沿用 Sub2API 登录,无需改网关源码。 管理员可以配置巡检,普通用户也能选自己的 Key 测一轮。
自动剔除后,怎么恢复?
举个例子,给一个分组设成每小时巡检一次,选一道逻辑题和一道 JSON 题。如果某个账号明确答错了标准答案题,开启自动剔除后,巡检就会暂时停用这个账号的调度。冷却结束后,系统会单独复测原账号。这时候账号还在暂停调度,全部复测题通过才会恢复接单。 如果没通过,就继续冷却。遇到超时、限额之类的请求问题,巡检可以按优先级换同组账号,结果也会单独记录。
自动剔除默认关闭,可以先跑几轮看看结果,再决定要不要开。
能测哪些题?
内置了糖果题、逻辑选择题、数值计算、JSON 指令遵循、指纹观察、鹈鹕骑自行车。每个分组可以多选题目,还能改题干、标准答案和每题请求次数。有标准答案的题可以自动判。像「鹈鹕骑自行车」这类题,可以直接在结果页看 SVG 作品,也能翻历史,把不同时间的回答放在一起看。单轮答错适合当排查线索,判断模型表现有多稳定,可以多看几轮。
项目基于 NoonWake.AI http://NoonWake.AI 的 AI Drool Router 二次开发。欢迎佬友试用,尤其想听听大家平时都用什么题来测模型,或者希望巡检遇到什么情况时自动暂停账号。项目地址
https://github.com/daQzi/code1024-drool-router主楼 - NobleHawk4834小时前⭐️ 新访客7045
这个可以的,思路挺清晰。
- LonelyFox4454小时前⭐️ 新访客7044
应该是权限没配对,检查一下。
- LuckyHawk6573小时前⭐️ 新访客7047
不如直接上 Go,性能好很多。