参考

其核心思路是把复杂控制信号拆分为两类：需要严格空间对齐的条件，以及不追求像素对齐的语义参考条件。

图2：OmniColor的架构，辅助信号分为空间对齐条件（蓝）和语义参考条件（绿）。

对于语义参考条件，OmniColor只采用VLM编码，压缩后的语义token已经能够表达关键属性，而且这一设计还可以减少token数量，在一定程度上提升推理效率。

空间对齐条件通过双编码器策略进行处理，语义参考条件仅使用VLM编码器处理，TRE模块用于过滤冗余token。

第二类是语义参考条件，包括文本描述、角色身份参考图，以及长期历史帧。