标签

rl 1

2026-07-31AI

小模型的 PPO 不是不稳定，是接线错了：三个可复现的失败模式

「PPO 在小模型上不稳定」是个流传很广的说法，通常的结论是：70M–500M 这个量级要做对齐，就别用 PPO，改用 SFT 或 DPO。