上下文工程:为什么你的 AI 时灵时不灵

决定 AI 好不好用的,不是模型,是你喂了什么

模型这两年都很强,强到"用豆包还是用别的"的差别,远小于"你喂给它的信息对不对"的差别。喂对了,普通模型也给你贴身答案;喂错了,再强的模型也答得空泛。"时灵时不灵",十有八九就出在这——不在模型,在上下文。

核心:注意力预算——塞得越多,反而越笨

有个反直觉的关键概念叫注意力预算:模型一次能认真"看"的信息是有限的,你每往里塞一条,都在花它的注意力;塞太多,它反而抓不住重点、变笨。就像给一个人一页要点他能办好,甩他一柜子文件他反而懵。

为什么会"时灵时不灵"

两种典型翻车:

• 没喂对:你以为它知道背景,其实它这次对话啥也不知道(AI 默认不跨对话记忆)——于是给你行业平均答案。
• 喂太多:一股脑把长文档、聊天记录、无关资料全塞进去,把真正关键的那几句淹没了——它抓错了重点。

两种都不是"模型不行",是喂法不对。会喂,是可以练的手艺。

对企业的两个杠杆:效果 + 成本

对一个要规模化用 AI 的企业,上下文工程是两件事的第一杠杆:

• 效果:喂对上下文 = AI 靠谱、可交付;喂错 = 时灵时不灵、没人敢用。
• 成本:重复的内容如果能命中缓存,能便宜约 10 倍;对话太长要及时"压缩"(把历史摘要后重启)。规模一大,这就是真金白银。