多模态

多模态真正的挑战，是如何将不同来源的信息与语言进行有效对齐，让模型不仅能够识别单个信息，还能够理解这些信息之间的关系。

随着codingmodel和agentmodel取得进展，邱锡鹏认为，可以先将这些能力进一步发展，再尝试让AI参与未来多模态模型的设计，探索是否存在更好的模型形态和技术范式。

邱锡鹏认为，未来多模态模型的发展，还需要相应的基础设施，将现实世界中的复杂情境转化为能够交付给模型的信息。

因此，未来的多模态智能也未必需要完全推翻今天的大模型体系。