daetz 项目仓库

Agent Runtime Evaluation Platform

根据运行轨迹评估 Agent 如何规划、调用工具、检索信息和调整计划。

一次评估包含什么

  1. 输入 · Agent 执行轨迹由 Python 或 JavaScript SDK 采集。
  2. 评估 · 6 个维度、20 项指标覆盖规划、决策、工具使用、记忆、重规划和检索。
  3. 输出 · 分维度评分定位执行过程里的问题,并用增量评估检查版本回归。

用执行轨迹做评估

搭建评估平台,检查 Agent 在任务中的规划、决策、工具调用等执行过程。

从 SDK 采集到多模型评分

用 Python 或 JavaScript SDK 采集执行轨迹,把评估服务与 Agent 执行解耦。

LLM-as-Judge 从规划、决策、工具使用、记忆、重规划和检索六个维度打分,共 20 项指标,可用多个模型形成共识。

用评分定位回归

可以按维度定位问题,并对迭代版本做增量回归评估。

接入一条轨迹

  1. 按仓库的 Docker 快速开始配置 OPENAI_API_KEY 并启动服务。
  2. 在本机打开 http://localhost:8000。
  3. 按接入文档上报一条 Agent 轨迹,再查看维度得分和问题定位。

Docker 启动与 SDK 接入 ↗

阅读评估平台技术文章 ↗

← 返回项目索引