一个 GPT 块里有什么

模型文件能正常载入，可输入一加长，生成就明显变慢，显存也跟着往上走，问题出在重复堆叠的那一个 GPT 块里。一块里先做层归一化，再做因果自注意力并加上残差，然后过前馈，再加一次残差。这篇用 3×4 的小张量跑一块，输出形状和输入相同，K、V 的行数等于这次的长度，没有训练。