科学网—封面文章｜大模型如何识别暖通图纸构件？-清华大学出版社学术期刊的博文
精选
已有 221 次阅读
2026-9-16 09:54
| 个人分类: Building Simulation | 系统分类: 论文交流
本文解读的是发表于 Building Simulation 2026 年第 19 卷第 6 期的封面文章 《 Confidence-driven HVAC component recognition integrating LLMs and computer vision 》（ DOI: 10.1007/s12273-026-1425-0 ） 。
一张暖通图纸上，画着密密麻麻的冷水机组、水泵、阀门和管线。工程师扫一眼就能判断设备类型，可要是让计算机来做同样的事，麻烦就多得多：符号画法五花八门，标注文字常有遮挡或残缺，判断还需要管路连接等上下文信息。让计算机准确识别图纸构件，是建筑信息数字化的基础问题。
暖通空调（ HVAC ）图纸是建筑设计与运维信息的重要载体，图纸中构件的准确识别是建筑信息数字化的关键环节。现有识别方法难以将构件符号、文字标注、连接关系与暖通领域知识等多源信息整合进统一的推理过程，面对符号多样、非标准化的真实工程图纸时性能明显下降。针对这一问题，本文提出一种融合大语言模型（ LLM ）与计算机视觉（ CV ）的置信度驱动识别方法：通过结构化表示保留图纸中的空间与语义关系，使大语言模型能够在原始图像之外进行推理；通过置信度加权机制为多源信息赋予置信度分数，让高置信度证据迭代引导不确定构件的分类复核；并动态注入暖通领域知识，使识别结果与领域约束保持一致。在真实暖通工程设计图纸数据集上，所提方法各类构件的真阳性率均达到 0.89 及以上，召回率、精确率与 F1 分数较基线分别提升 46.4 、 14.5 与 36.0 个百分点，宏平均 AUC 达 0.977 ，识别准确性与鲁棒性显著优于传统计算机视觉方法，为建筑图纸自动化数字化提供了可扩展的解决方案。
关键词：暖通图纸；构件识别；大语言模型；计算机视觉；置信度推理
01 为什么要让机器识别图纸？
暖通系统是建筑里的能耗大户，其图纸记录了系统设计的全部细节。建筑信息数字化、自动建模、竣工核对与运维管理，都希望直接从图纸中读出设备清单。图纸构件识别是把这些工作自动化的第一步。
02 难在哪里？
难点有三：其一，构件符号没有统一画法，同一种设备在不同图纸上可能画法各异，训练数据难以覆盖全部变体；其二，单看图形往往不够，同一个方框，需要结合文字或者图例标注才能判断是哪种设备，信息分散在符号、文字与连接关系各处；其三，判断还需要暖通领域的知识，例如某些构件的连接方式有特定要求。传统计算机视觉方法擅长识别图形，却难以利用文字与连接关系；只靠上下文的方法又缺乏真正的语义理解。
03 大语言模型能做什么？
大语言模型推理能力强，多模态模型甚至能直接读图，但直接处理图像时会把图切块编码，空间位置关系容易丢失，而图纸识别恰恰依赖位置信息。此外，大模型在信息不全时可能输出不可靠的推断。将大模型用于图纸识别，需要先处理这两个问题。
04 研究方法：视觉提取信息，置信度把关，知识约束结果
研究团队提出置信度驱动的识别框架（图 1 ）：先用 OCR 、目标检测等视觉方法把图纸上的文字、构件与连接关系尽量完整地提取出来，转化为带空间位置的结构化表示；再由大语言模型综合这些信息统一推理，而非直接处理原始图像。推理不是一次定案：各条证据都带置信度，高置信度证据优先，低置信度构件会被挑出迭代复核，降低不可靠推断的风险。最后，暖通领域的构件类型、典型连接关系与项目文档等信息被动态引入推理过程，使结果与领域知识保持一致。
图 1 置信度驱动的构件识别框架：视觉方法提取信息，大语言模型统一推理
05 效果：识别性能明显提升
研究数据取自公开出版的《暖通空调工程优秀设计图集》，该图集收录了约 450 个获奖项目的设计图纸。研究选取 210 张图纸构建基础数据集，并另选 130 张相互独立的图纸（覆盖数据中心等更多建筑类型）评估整体框架的识别性能。
在独立评测图纸上，方法召回率达 0.932 、精确率 0.908 、 F1 分数 0.916 （图 2 ），而基线 YOLOv8 仅为 0.468 、 0.763 、 0.556 ，三个指标分别提升 46.4 、 14.5 、 36.0 个百分点。各类别真阳性率均达到 0.89 及以上，其中 7 个类别（超过半数）达到 0.95 及以上，锅炉、水泵、冷却塔达到 1.00 ；供水集管、水处理系统等传统易错类别的改善最为明显。 宏平均 AUC 达 0.977 。
图 2 传统 YOLOv8 与所提方法在召回率、精确率与 F1 分数上的对比
06 小结
工程图纸理解的关键，在于把信息读全、把证据管好、把领域知识用上。置信度驱动正是把这三件事组织起来的一种思路，也为建筑信息数字化提供了一条可行路径。
基金支持
本研究得到浙江省 “ 尖兵 ”“ 领雁 ” 研发攻关计划（ 2025 年度省 “ 尖兵领雁 +X” 科技计划， No. 2025C01059 ）、国家自然科学基金（国际合作项目， No. 52161135202 ）、杭州市重点科研计划项目（ No. 2023SZD0028 ）与中央高校基本科研业务费专项资金（浙江大学 “ 创新团队 ” ， No. 2022FZZX01-09 ）的资助。
文章信息
本文发表在Building Simulation 2026年第6期， https://doi.org/10.1007/s12273-026-1425-0
作者信息
郑泽宇、鲁洁、何丰泰、王柄义、于震、季亮、赵阳
Zeyu Zheng 1 , Jie Lu 1 , Fengtai He 1 , Bingyi Wang 1 , Zhen Yu 2 , Liang Ji 3 , Yang Zhao 1,4*
1. Institute of Refrigeration and Cryogenics, Zhejiang University, Hangzhou, China
2. China Academy of Building Research, Beijing, China
3. Shanghai Research Institute of Building Science, Shanghai, China
4. Key Laboratory of Clean Energy and Carbon Neutrality of Zhejiang Province, Jiaxing Research Institute, Zhejiang University, Jiaxing, China
作者简介
郑泽宇，浙江大学能源工程学院博士研究生，论文第一作者。主要从事基于大语言模型的能源系统故障诊断与建筑智能化方法研究，结合暖通系统仿真与数字孪生技术，支撑能源系统的智能诊断与优化运行。
赵阳，浙江大学能源工程学院研究员，论文通讯作者。赵阳研究员及其团队致力于通过深度融合人工智能和能源领域理论，开发出具备复杂运行条件下自主性预测、规划、推理、诊断、评估和决策能力的智能系统，实现高效节能。
课题组公众号：浙大 EnergyX 实验室
引用
Zheng Z, Lu J, He F, et al. (2026). Confidence-driven HVAC component recognition integrating LLMs and computer vision. Building Simulation, 19: 1433–1453. https://doi.org/10.1007/s12273-026-1425-0
转载本文请联系原作者获取授权，同时请注明本文来自清华大学出版社学术期刊科学网博客。 链接地址： https://blog.sciencenet.cn/blog-3534092-1552729.html
上一篇： SciOpen 60种期刊入选2025年度世界一流科技期刊目录 欢迎参加科学网十佳博文评选活动！ 主办单位： 
支持单位： 