先确认答案在不在场.

当输出不理想时,第一反应通常是改提示词。但更该先问的是:回答这个问题所需要的信息,到底有没有出现在上下文里?

如果没有,那么无论提示词写得多漂亮,模型都只能猜。而它猜起来往往非常自信,这正是最危险的地方。

无关材料是有害的.

很多人把上下文当成一个「多放点总没坏处」的口袋。事实相反:不相关的段落会稀释注意力,甚至把模型引向错误的方向。

一份精准的三百字材料,几乎总是好过一份庞杂的三千字材料。检索的目标不是召回一切,而是召回对的那一点。

检索是独立的工程问题.

把检索质量单独拿出来度量:给定一组真实问题,检索出来的片段里有多少确实包含答案?这个数字可以在完全不调用模型的情况下算出来。

先把这个数字提上去,再去调提示词。顺序反过来,你会花很多时间在一个不影响结果的旋钮上。