构建：让 Agent 和 RAG 可控、可验证
构建阶段重点验证四件事：Agent 能否被限制、模型服务是否兼容、RAG 参数是否有效、改动是否引入回归。每项都附可重复运行的脚本和验收办法。
还没跑通第一个 Agent？先看开始。
你要验证什么
| 要验证的事 | 从这里开始 |
|---|---|
| 给 Agent 加的调用上限、脱敏、重试和降级是否生效 | Agent 中间件与安全护栏 |
| 声称“兼容 OpenAI”的新模型服务是否真的支持工具调用 | OpenAI 兼容模型接入验收 |
| 中文文档切分后，召回为什么不理想 | RAG 切分与 Retriever 基准 |
| 改了 RAG 参数，检索是变好了还是变差了 | RAG 检索评测与回归门禁 |
构建一个可控的 Agent
给 Agent 加上调用上限、脱敏和降级，并确认接入的模型服务真的支持工具调用。
- Agent 中间件与安全护栏：限流、脱敏、重试与降级实测
配好调用上限、脱敏和重试降级，并算清每个中间件占用多少递归步数。
- OpenAI 兼容模型接入验收：工具调用、结构化输出、超时与重试实测
对自己用的模型服务跑完验收清单，并开始监控 invalid_tool_calls。
构建并评估 RAG
为中文语料选定切分参数和检索方式，并建立能拦住回归的评测集。
- RAG 切分与 Retriever 基准：chunk_size、overlap 与 MMR 实测
确定中文分隔符，扫出 chunk_size 和 overlap 的首轮起点，判断要不要用 MMR，不再凭感觉调参。
- RAG 检索评测与回归门禁：hit@k、MRR 与逐题保护实测
建好含改写问法的评测集和同时检查汇总指标与逐题保护的回归门禁，并看清评测集太小会怎样误导你。