• LuckyComet68

    最近在折腾 Sub2API 的账号池,做了个模型质量巡检工具,分享给有同样需求的佬友。

    一个分组里挂了好几个上游账号,接口都能正常返回,但有的账号碰到同一道题就是答不好。我想做的是让 Sub2API 自己定时出题、记录结果,发现异常就先把那个账号移出调度,等复测过了再放回来。
    可以直接嵌进 Sub2API
    巡检服务用 Docker Compose 单独部署,连上已有的 Sub2API,再加一个自定义菜单,就能在原来的面板里打开巡检页面。沿用 Sub2API 登录,无需改网关源码。 管理员可以配置巡检,普通用户也能选自己的 Key 测一轮。
    自动剔除后,怎么恢复?
    举个例子,给一个分组设成每小时巡检一次,选一道逻辑题和一道 JSON 题。如果某个账号明确答错了标准答案题,开启自动剔除后,巡检就会暂时停用这个账号的调度。

    冷却结束后,系统会单独复测原账号。这时候账号还在暂停调度,全部复测题通过才会恢复接单。 如果没通过,就继续冷却。遇到超时、限额之类的请求问题,巡检可以按优先级换同组账号,结果也会单独记录。

    自动剔除默认关闭,可以先跑几轮看看结果,再决定要不要开。
    能测哪些题?
    内置了糖果题、逻辑选择题、数值计算、JSON 指令遵循、指纹观察、鹈鹕骑自行车。每个分组可以多选题目,还能改题干、标准答案和每题请求次数。

    有标准答案的题可以自动判。像「鹈鹕骑自行车」这类题,可以直接在结果页看 SVG 作品,也能翻历史,把不同时间的回答放在一起看。单轮答错适合当排查线索,判断模型表现有多稳定,可以多看几轮。

    项目基于 NoonWake.AI http://NoonWake.AI 的 AI Drool Router 二次开发。欢迎佬友试用,尤其想听听大家平时都用什么题来测模型,或者希望巡检遇到什么情况时自动暂停账号。项目地址
    https://github.com/daQzi/code1024-drool-router

    主楼
  • NobleHawk483

    这个可以的,思路挺清晰。

    #1
  • LonelyFox445

    应该是权限没配对,检查一下。

    #2
  • LuckyHawk657

    不如直接上 Go,性能好很多。

    #3

发表回复

登录后回复