预训练、指令微调、对齐差在哪一步

组里把模型不听格式统称为再练一练，但这三步根本不是同一件事：预训练在预测下一个 token，指令微调只把损失打在回答段，对齐比的是一对回答哪边更可取，三份数据天生不一样。换成更大的基座补不上一份坏示范，这篇用四行分数演示怎么把提示段从损失里拿掉。