ToolACE：工具调用数据的自演化合成与双层验证

函数调用（function calling）大幅拓展了 LLM 的应用边界，而解锁这个能力的关键是高质量、多样的训练数据。但真实 function-calling 数据极难采集标注，既有合成管线又在覆盖度和准确度上欠缺。ToolACE 是一条全自动的 agentic 管线，专门造「准确、复杂、多样」的工具学习数据。

论文信息

• 标题：ToolACE: Winning the Points of LLM Function Calling
• 作者：Liu Weiwen, Huang Xu, Zeng Xingshan et al., 2024
• arXiv：2409.00920
• 关键词：function calling、self-evolution synthesis、dual-layer verification、tool-learning data

要解决的问题

工具/函数调用数据有两个老大难：真实数据采集标注成本高，合成数据又常出现 API 覆盖不全、调用不准确的问题。数据不准，模型学到的就是错的工具用法。

核心方法

ToolACE 是自动 agentic 管线，两条主线：

1. 自演化合成过程（self-evolution synthesis）：迭代式地 curate 出一个覆盖 26,507 个多样 API 的完整 API 池；API 池本身是「长」出来的，不是手工列的；
2. 多智能体对话生成：在形式化思考过程（formalized thinking）引导下，多个 agent 交互生成对话；
3. 双层验证（dual-layer verification）：规则检查 + 模型检查双管齐下，保证数据准确——这是它区别于「只造不验」的合成管线的核心。

实验结果

• 用合成数据训练的模型，仅 8B 参数就在 Berkeley Function-Calling Leaderboard（BFCL）上达到 SOTA，媲美最新的 GPT-4；
• 模型和数据子集均已公开。

定位与启示

ToolACE 是「数据合成」里偏工程稳健的代表：自演化扩 API 池解决覆盖度，双层验证解决准确度，两件事一起做才让小模型逼近 GPT-4 的函数调用能力。它和 AgentInstruct（造通用指令数据）、Environment-free（造 API 调用轨迹）形成对照：ToolACE 聚焦「工具/函数调用」这一窄而深的场景，靠验证而非「环境真实性」来保证质量——这条路在 API 生态丰富时比 Environment-free 更准，但需要能写出可验证的规则。对做工具调用训练的人，双层验证是最值得直接抄走的组件。