用执行轨迹做评估
搭建评估平台,检查 Agent 在任务中的规划、决策、工具调用等执行过程。
从 SDK 采集到多模型评分
用 Python 或 JavaScript SDK 采集执行轨迹,把评估服务与 Agent 执行解耦。
LLM-as-Judge 从规划、决策、工具使用、记忆、重规划和检索六个维度打分,共 20 项指标,可用多个模型形成共识。
用评分定位回归
可以按维度定位问题,并对迭代版本做增量回归评估。
接入一条轨迹
- 按仓库的 Docker 快速开始配置
OPENAI_API_KEY并启动服务。 - 在本机打开
http://localhost:8000。 - 按接入文档上报一条 Agent 轨迹,再查看维度得分和问题定位。