基于深度学习的起重机安全监测

　　许开瑜
攀钢集团攀枝花钢钒有限公司 攀枝花 617000

　　摘 要：随着科学技术的不断发展以及计算机计算能力的加强，深度学习在人们社会生活中发挥着越来越重要的作用。而随着城市的发展，土地资源越来越紧张，迫切需要高层和超高层的建筑。在高层和超高层建筑的建造时，起重机发挥着不可替代的作用，如何确保起重机周围环境的安全成了人们密切关注的问题。结合深度学习，对起重机周围环境安全进行监测，保证人员与起重机和建筑与起重机之间的安全，可有效地避免事故的产生。

　　关键词：起重机；深度学习；安全监测；事故

　　中图分类号：TH21 文献标识码：A 文章编号：1001-0785（2020）07-0084-03

　　0 引言
起重机械在高层和超高层建筑的建造中发挥着不可替代的作用，极大地减轻了施工人员的负担，加快了施工的进度。但由于施工的周期长，起重机需要长时间使用，如何确保起重机周围环境的安全不仅是确保施工能够顺利按时完成的关键，也是保障施工人员及周围建筑安全的重要方面。随着时代的发展，深度学习在不断地影响着人们的学习和生活。本文结合深度学习，对起重机周围环境进行了建模，通过使用卷积神经网络构建的模型，能够有效地避免不安全事件的发生，包括起重机吊钩与建筑之间的碰撞和起重机吊钩与工程人员之间的碰撞。

　　1 采集数据
由于使用深度学习技术需要数据集进行训练和测试，故要在起重机施工现场进行数据采集。利用施工现场的监控系统，将起重机周围环境中的视频进行保存。为了方便处理，可将保存下来的一段段连续的视频拆分成一帧一帧的图像，获得起重机周围环境的信息。同时，由于对采集到的图像不能直接放入网络进行训练，需要对其进行标注。标注的信息由两大部分构成，一部分是类别信息，包括人、建筑物和起重机吊钩，另一部分是位置信息，包括人的定位、建筑的定位和起重机吊钩的定位。其中类别信息用于判别起重机环境中的对象，定位信息用于确认环境中对象所处的位置。有了对象的类别信息和位置信息，就可以计算出起重机和其他对象之间的距离。

　　2 网络建模思路
如图1 所示，通过网络建模起重机与其它对象之间的距离主要步骤有：首先获取标注的数据集，然后将数据集放入到目标检测网络中进行训练，利用训练好的模型获取视频图像中的对象在视频中的二维坐标，最后将二维坐标映射到具体物理世界中的三维坐标，计算出起重机吊钩和工程人员、建筑物之间的距离，当距离少于某一阈值时进行报警提示。

　　图 1 建模思路示意图

　　3 建模中的难点
1）由于起重机一般比较庞大，当起重机吊钩的位置和工程人员以及建筑的距离较远时，此时在视频图像中，工程人员和建筑物的尺寸就相对较小，尤其是工程人员，如何正确的识别出工程人员以及准确地对其位置进行定位，需要一个对小目标检测效果较好的深度学习模型。
2）在得到了目标对象在视频图像中的二维坐标之后，如何确定其在物理世界的三维坐标，从而计算出起重机吊钩对象和工程人员及建筑物之间的距离，同样决定了最后报警的准确率。

　　4 网络建模中的关键点
1）对视频图像帧进行标注时，需要准确标注对象在图像中的位置，包括对象左上角、左下角、右上角和右下角的坐标，避免由于标注错误影响网络的训练。
2）利用一个对小目标鲁棒的目标检测网络，准确定位出起重机吊钩、工程人员和建筑物。
3）得到的视频图像中对象的二维位置坐标转换为三维位置坐标，确定对象之间的位置关系，进而利用三维坐标计算起重机吊钩对象和工程人员、建筑物之间的距离。当距离少于一定阈值时进行报警提醒。

　　5 利用目标检测网络进行建模
图2 所示的是基于faster-rcnn 的目标检测方法。首先视频进行分帧处理，得到标注后的图像输入到网络中。然后将生成的候选框与特征图进行匹配，最后有两个支路，一条支路用于区分不同的对象，另一条支路用于进行定位。由于faster-rcnn 有生成候选框的过程，即在图像上随机生成许多个由四个坐标值（左上角、左下角、右上角、右下角）构成的矩形，所以能够有效地识别出小物体并对其进行定位。

　　图 2 faster-rcnn 检测示意图

　　5.1 评价指标
训练的模型需要相应的评价指标来进行衡量。在目标检测中，通常使用mAP 的高低来衡量一个模型。mAP 的值越高，说明模型的分类和检测的能力越好，mAP 的值越低，说明模型的分类和检测的能力一般。由于检测的对象只有三类，所以模型mAP 可以达到较高值，当mAP 大于97% 时，就认为该模型达标，能够进行下一步处理。

　　5.2 分类和检测结果
图3 显示了部分图像的分类和检测结果。结果显示，目标检测模型能够有效地识别出图像中的起重机吊钩、工程人员以及建筑物。而起重机吊钩、工程人员以及建筑物的定位信息则用位置坐标将其囊括起来。虽然目标检测网络能够将摄像头镜头前的对象检测出来，但对于较远的对象检测有一定难度。

　　图3 分类和检测结果

　　5.3 进行距离转换
在有了目标检测模型得到的类别信息和位置信息后，需要将其转换成三维坐标位置。具体计算规则如图4 所示，以地面为参考系，对于起重机吊钩和起重机吊钩、起重机吊钩和工程人员之间计算距离，可以将吊钩以及工程人员视为一个点。以起重机和工程人员为例：视频图像中对象所属的类别和定位信息已知，因此可以明确不同的对象位于图像中的何处、对于起重机吊钩以及工程人员，以其中心点的位置表示该对象，通过摄像头计算摄像头到工程人员的距离，记为h1，通过摄像头计算摄像头到起重机吊钩的距离记h2，再计算两边之间的夹角记为α，那么最终起重机吊钩和工程人员之间的距离为

　　同理，可以计算起重机吊钩到建筑物之间的距离，但需要进行转换。由于建筑物不能视为一个质点，因此需要将建筑物视为一个矩形，即由矩形左上角、左下角、右上角和右下角包围而成。首先将起重机吊钩和摄像头都映射到同一个参考平面，以地面为例，然后再计算这两个点之间的距离记为h1，接着计算摄像头的映射点到建筑矩形的垂直距离, 记为h2，再计算h1 和h2 之间的夹角，最后就可以根据式（1）计算出起重机吊钩到建筑物的垂直距离。

　　获得了不同起重机吊钩与吊钩之间的距离、吊钩与工程人员之间的距离和吊钩与建筑物之间的垂直距离之后，可以设定一个阈值，当距离小于一定值时，如1 m，即进行报警并进行提醒。

　　图 4 对象之间的距离计算

　　6 结论
随着时代和社会的不断进步，科技正逐渐地改变世界。深度学习的出现使得计算机视觉领域的许多任务都得到了进一步解决。本文结合深度学习中的目标检测，对起重机周围环境安全进行了检测，有效地避免了起重机与其它对象之间的碰撞。来源: 起重运输机械