跳到正文
Hugging Face Blog·· 5 天前精选AI 评分75

Microsoft ThinkingBox 通过 Hugging Face 开放智能体数据库终态评测

The Agent Said It Was Done. The Database Disagreed.

AI 导读

Microsoft ThinkingBox 现已通过 Hugging Face 开放,用数据库终态和副作用评测 AI 智能体,而不是只看最终回复或工具调用。ThinkingBox-Bench 覆盖 507 个有状态业务工作流,每个任务重复 20 次,并报告 pass@1、pass@20 和 observed 20/20。失败诊断显示约 79.9% 的失败来自工具使用,而不是推理。

推荐理由

原文给出以数据库终态和副作用评测智能体的方法,读者可据此检查工具调用之外的真实结果与多次运行稳定性。

来源:Hugging Face Blog · huggingface.co