训练

除了架构转换，BARD还在训练策略和显存效率上进行了深度优化。

BARD采用PackedSequenceLayout，将输入上下文、cleanresponse与noisyresponse封装在同一序列中，并通过定制化的注意力掩码机制确保信息流向的正确性，极大地优化了长序列任务的训练效率。