Profile
Back to NewsBack
GitHub Trending 1 min
Reader Mode
chen-006/meow-llm-detector: 用于检测ai模型是否真实

chen-006/meow-llm-detector: 用于检测ai模型是否真实

7 hours ago

meow LLM Detector 4.5.4

GPT新基准推荐128次。 32次和64次对6.1 Sol与Astra的区分不够稳定,更容易出现证据不足。档位与验证说明

EN:https://github.com/chen-006/meow-llm-detector/blob/main/README_EN.md 通过一组短问题的回答分布,对模型行为进行比较。结果是指纹证据,不是身份认证,也不是对服务商行为的归因。

下载与启动

  • Windows 10/11、Intel/AMD 64位:选择 windows-x64-portable-zh-CN.zip,解压到新目录,运行 start.bat。内置独立 Python 和依赖。
  • 源码包:Windows、macOS、Linux 需 Python 3.11+。Windows运行 start.bat,macOS/Linux运行 sh start.sh;启动器在本目录创建独立依赖环境,不改系统依赖。
  • 默认地址为 http://127.0.0.1:8765/ 。自定义端口可用 start.bat --port 8790 或 sh start.sh --port 8790。
  • 在线版 无需安装,但报告公开且只支持公网 HTTPS API。
正式下载以 GitHub Releases 为准;不要将测试分支的临时验收包当成正式发行。

第一次检测

  1. 选择协议,填写 API URL 和 Key,或选择已保存连接。
  2. 选择基准和希望验证的模型。实际请求名可手填,也可点击「获取模型」从站点列表选择。
  3. 选择档位,确认最多请求数,开始检测。费用由你的 API 账户承担。
  4. 在检测同页查看结果和历史报告;搜索支持 URL、申报模型、实际请求名。
Claude 的普通中转默认使用 claude-fable-5-1 这类请求名;OpenRouter 使用准确的原始别名。站点返回的模型列表只是配置便利,不证明真实模型身份。

新旧版分数参考

新版按有效回答累计证据,再以平均优势展示匹配度,减少少量样本造成的剧烈波动。强指向线也重新校准,通常更低。新版分数较低不等于识别能力变差;请结合当前强指向线看,不要直接比较新旧百分比。

用一个简化例子看刻度差异:暂时忽略两版拟合方法差别,只考虑两个候选、六个独立等权证据项,每项平均优势均为 δ。假设旧刻度将六项优势相加,约为 sigmoid(6δ);新刻度按平均优势,约为 sigmoid(δ)。

| 平均优势 δ | 旧刻度(示意) | 新刻度(示意) | |---|---:|---:| | 0.4 | 91.68% | 59.87% | | 0.8 | 99.18% | 69.00% | | 1.2 | 99.93% | 76.85% | | 2.3 | 约99.9999% | 90.89% |

这个例子仅说明显示刻度,不是实际新旧报告的换算公式、准确率或身份概率。真实两版的拟合、次数分配、候选/家族结构和判定线也不同。详见技术说明。

更新与旧版迁移

启动时及持续运行每24小时自动检查程序与维护者基准,有更新时顶部提示。一键更新会下载校验、准备新版、等待当前任务完成、重启;启动失败时恢复旧版。旧报告与冻结任务不改用新基准。

4.5.2及以前没有自动安装器,第一次需启动新版。关闭旧后台后,可运行 start.bat --migrate-from "旧版文件夹";macOS/Linux用 sh start.sh --migrate-from "/旧版文件夹"。只向新的 meow_runs 复制数据库与基准,原数据不删除;已有目标数据时不覆盖。跨电脑的系统凭据不会随目录迁移。

开发目录或修改过的程序不能原地自动更新:使用新目录的官方包,迁移数据或指定独立数据路径。更新出错不会授权覆盖用户源码。

数据与隐私

临时 Key 只在页面和运行任务内存中使用;刷新、关闭页面或后台重启后需重新输入。主动保存连接时,凭据仅进入系统凭据库。报告、非秘密连接配置、预算账本保存在 meow_runs。

本地 HTTP 只适合你信任的本机或局域网账号池。在线版的请求(包含 Key)经过 Cloudflare 和网站服务器处理;公开报告包含请求网址、分组和脱敏错误,不包含 Key。

检测不符不等于中转站故意替换模型,也可能与上游路由变化、服务降级或基准局限有关;本工具不能单独判定原因。社区讨论 提供经验背景,不是已证实的归因。

更多:使用说明 · 技术与限制 · 制作基准 · 4.5.4变化

Chat with me