推理模型为什么返回空回答:隐藏的思考 token 吃掉了整个输出上限

推理模型为什么返回空回答:隐藏的思考 token 吃掉了整个输出上限

连续三个晚上,摘要流水线什么都没产出,可每个请求都算「成功」:返回里是 finish_reason: "length" 和空的 content 字段。问题既不在网络,也不在账户额度,而在于推理模型如何计算输出预算:那些看不见的思考 token 和可见回答共用同一个 max_tokens。对普通对话模型够用的上限,推理模型会全部烧在内部推理上,一个字都写不出来。 到底哪里坏了 流水线本身很简单:抓取原始招聘结果,让模型写一段 200 字的摘要,再把文本存起来。周中作者把普通对话模型换成了推理模型,指望摘要更聪明、更准确。结果每个回答都带着 finish_reason: "length" 和空的 content。没有报错,也没有截断警告:请求形式上通过了,答案却不存在。 罪魁祸首是 max_tokens。七百个