大多数人接触 “语义”都是在和文字相关的领域，或语音识别，期望机器能够识别你发出去的消息或简短的语音，然后给予你适当的反馈和回复。你知道吗？图像领域也是存在 “语义”的，语义建模是近年来随着计算机图像处理技术进步而出现的新技术。

　　这里的“语义”泛指机器对周围环境内容的理解，比如认识环境中的物体、人，以及它们的关系等。近年来AI大热，很多人一定对《超能陆战队》中那个体型呆萌的机器人大白印象深刻，不同于我们生活中那些呆板的机器人，大白具有类人的理解世界的能力，对于大白这种智能机器人来说，通过点云等形式表示周围的环境仅仅是一群毫无意义的点，机器人需要进一步抽象这些点的特征并理解它。说近一些，假如扫地机器人拥有图像语义分割的功能，就能够机智地绕开你丢在地上的臭袜子而扫走旁边的纸屑。

　　近年的自动驾驶技术中，也需要用到这种技术。车载摄像头探查到图像，后台计算机可以自动将图像分割归类，以避让行人和车辆等障碍。

　　那么，语义和三维建模又有什么联系？

　　随着无人机测绘技术的快速发展，基于无人机影像的三维建模成为行业的热点。倾斜摄影建模能够得到大规模场景的高精度三角网格，但是最大的缺陷是整个建模区域是同一张三角网，分辨不出哪里是植被，哪里是屋顶，哪里是建筑外墙，不能面向对象分析，不利于复杂的三维地理信息分析。

　　我们目前所做的许多工作，比如应用于智慧城市、数字文化遗产，虚拟现实等领域的三维模型，都属于给人进行浏览和使用的三维精模，比较重视模型的完整性、准确性。另一方面，使用图像得到的三维模型也可以给机器使用，模型本身是给机器用来进行路径规划、场景的感知、空间高精度定位的。目前的实景三维模型由于没有任何的语义信息，使得三维模型在扩展应用方面受到限制。

 

　　随着近年来一些新兴技术的出现如室内定位、自动驾驶、增强现实等，国内外众多学者针对语义建模开展了大量相关研究，根据数据源、 建模方法和实际需求的不同，衍生出多种不同的建模方法。但是语义化重建始终是一项具有挑战性的课题，目前能够提供语义信息的方法，大多需要大量的人工干预，自动化程度低。

　　以下通过中科院自动化所申抒含老师提出语义建模的方法举例说明：
　　一个完整的语义化三维建模系统包括稀疏重建、稠密重建、点云分割、单体建模等多个步骤。

　　三维建模系统的输入是多视角的图像，首先重建出由特征点所构造的稀疏点云，以及每个相机的空间位姿。在相机位姿确定的情况下计算图像中每个像素点对应的空间点位置，得到稠密的空间点云。为了形成三维语义模型，对点云进行语义分割，再进一步做单体的语义建模。

　　目前将大规模的三角网络赋予语义类别主要使用的方法是，使用二维语义的分割网络对每幅二维图像做语义分割，并将分割结果投影至三维网格进行融合。

　　也有一些学者利用计算机算法建立了一套利用提取的语义信息进行建筑物语义三维建模的 自动化流程。

 

　　传统摄影测量与遥感和GIS手段仅能提供一些粗略的语义信息如植被、河流等，而对于目前的新兴技术，还需要建筑物的楼层信息、立面门窗信息、屋顶信息等。语义信息作为三维模型与真实世界的纽带，借助语义信息，可以有目的得展开各种数据分析、查询等应用，成为三维建模的新进展和新趋势。

参考文献：

[1]杜靖. 基于倾斜摄影影像的真三维单体化模型精细建模方法研究[D].电子科技大学,2017.
[2]王庆栋. 基于语义建模框架的机载LiDAR点云建筑物三维重建技术研究[D].武汉大学,2017.
[3]杨秀德．基于语义描述的马尔科夫随机场无人机影像三维重建[J]．北京测绘，2018，32(7)：814-818
[4]张瑞菊,郑少开,尹建英.建筑物立面点云语义分割方法研究[J].城市勘测,2017(05):22-25.
[5]詹江波,吴海峰.倾斜摄影系统及多层次细节建筑物重构方法探讨[J].江西测绘,2018(02):38-39.
[6]孙轩, 三维建筑物结构化多尺度语义建模, [J]测绘科学技术, 2018, 6(4), 248-253
[7]李江. 基于语义尺度的矿山多模型构建与不确定性研究[D].中国地质大学,2016.
[8] 英特尔中国研究院,专栏｜语义SLAM的重要性，你造吗？ 
[9]中科院自动化所申抒含：基于图像的大规模场景三维建模 
[10]语义分割综述 - Cethy‘s Learning Notes

本文原载于中科图新旗下Wish3D官方微信

 

相关阅读：

无人机实景三维建模概念详解