预训练

OpenAI早在2020年便揭示了预训练阶段的Scaling法则，证明模型性能随参数量、数据量和计算量的增长呈现可预测的幂律关系，奠定了现代大模型「规模即力量」的范式基础。