大模型显存不够：上下文长度才是隐形杀手

同事把整个 Service 贴进窗口，大概两千行代码，关键函数刚好在中间。头尾都进去了，中间那段却常常没进去，可就算没进去，它照样占着长度。长度一涨，本地那张卡就顶不住了——模型权重其实早就载入了，载入只能说明参数在，可对话一开始，KV 缓存会跟着这一轮塞进去的字一起涨，涨到顶就是 OOM。OOM 的那天，材料上还写。