(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 112437118 A(43)申请公布日 2021.03.02
(21)申请号 202011220337.5(22)申请日 2020.11.05
(71)申请人 苏州傲特欣智能科技有限公司
地址 215131 江苏省苏州市相城区元和街
道嘉元路959号元和大厦4楼409-14室(72)发明人 胡心怡 杨扬 黄祖良 (51)Int.Cl.
H04L 29/08(2006.01)H04N 7/18(2006.01)G07C 1/20(2006.01)G01M 11/02(2006.01)G01J 5/00(2006.01)G01C 21/00(2006.01)
权利要求书1页 说明书5页 附图3页
CN 112437118 A(54)发明名称
一种基于无人机的道路路灯巡检系统(57)摘要
本发明公开了一种基于无人机的道路路灯巡检系统，具体涉及无线通讯检测领域，包括后台服务器、个人电脑和无人机，所述无人机上设有智能控制盒子和5G数据终端，所述无人机上还设有云台相机，所述智能控制盒子通过5G数据终端与后台服务器和个人电脑进行信号传导。本发明利用机载摄像机实时拍摄的视频图像来辅助机载的导航控制，无需开发复杂的飞控系统，缩短了开发时间和降低维护成本，另外通过智能控制盒子不仅能方便的控制无人机以完成任务，还能实现联网与数据传输，从而形成数据化的管理，基于无人机的路灯巡检降低了日常人工巡检的成本，维护方便，提高了巡检效率，实现了一种极大的自动化的路灯巡检过程。
CN 112437118 A
权 利 要 求 书
1/1页
1.一种基于无人机的道路路灯巡检系统，其特征在于：包括后台服务器(1)、个人电脑(2)和无人机(3)，所述无人机(3)上设有智能控制盒子(4)和5G数据终端(5)，所述无人机(3)上还设有云台相机(6)，所述智能控制盒子(4)通过5G数据终端(5)与后台服务器(1)和个人电脑(2)进行信号传导；
所述后台服务器(1)为高性能计算机，运行图像算法，后台服务器(1)负责任务转发、数据存储和缺陷识别；所述后台服务器(1)作为中间端，负责命令转发、数据存储和缺陷识别，转发前端的飞行命令，存储智能控制盒子(4)返回的图片和飞行信息，通过图像处理算法识别路灯和标记缺陷；
所述个人电脑(2)为显示前端，调用web上的服务可以规划巡检航线，规划好后上传任务和实时监控巡检结果；个人电脑(2)使用Web页面进行功能操作，调用卫星地图在上面自主规划飞行航线，航线规划好后可下发给后台服务器(1)，后台服务器(1)根据无人机(3)位置和当前无人机(3)状况决定任务是否执行；
所述智能控制盒子(4)运行的操作系统设置为ubuntu 16.04，使用dji osdk-ros与无人机(3)通信；
所述5G数据终端(5)用于无人机(3)实时视频推流和数据传输；所述云台相机(6)同时采集高分辨率的可见光与红外热成像照片，实时进行激光测距；所述智能控制盒子(4)与无人机(3)通过串口进行通信，可获取无人机(3)的控制权，用于实现无人机(3)的航线动作、云台动作，同时记录相机拍摄时飞行器经纬度、高度、激光测距值；智能控制盒子(4)预留有网口可连接网络设备实现联网，连接5G数据终端(5)作为和后台服务器(1)通信的数据链路使用，用于接收巡检任务和上传图像信息。
2.根据权利要求1所述的一种基于无人机的道路路灯巡检系统，其特征在于：所述无人机(3)包括飞行器和遥控器，所述飞行器设置为大疆创新M210RTK四旋翼无人机(3)，所述遥控器使用千寻知寸网络RTK服务。
3.根据权利要求1所述的一种基于无人机的道路路灯巡检系统，其特征在于：所述5G数据终端(5)设置为联通“先锋者1号”智能连接器。
4.根据权利要求1所述的一种基于无人机的道路路灯巡检系统，其特征在于：所述云台相机(6)设置为金华龙WK10TIRM三光云台相机。
5.根据权利要求1所述的一种基于无人机的道路路灯巡检系统，其特征在于：所述智能控制盒子(4)设置为伯镭居里II模块。
6.根据权利要求1所述的一种基于无人机的道路路灯巡检系统，其特征在于：所述无人机(3)的输入端电连接所述智能控制盒子(4)的输出端，所述云台相机(6)用于接收无人机(3)或智能控制盒子(4)命令动作。
7.根据权利要求1所述的一种基于无人机的道路路灯巡检系统，其特征在于：所述5G数据终端(5)的输出端连接智能控制盒子(4)，固定在无人机(3)起脚架上。
2
CN 112437118 A
说 明 书
一种基于无人机的道路路灯巡检系统
1/5页
技术领域
[0001]本发明涉及无线通讯检测技术领域，更具体地说，本发明涉及一种基于无人机的道路路灯巡检系统。
背景技术
[0002]着我国交通系统的快速发展和路面路灯投放量的日益上升，中国路灯存量在2800万-3000万盏。近几年每年新增路灯数量为15％-20％，约300万-600万盏。其中主要包括普通街道长臂灯与快车道弧型慢车道弧型灯，其高度一般都不会低于6.5米。我国的路灯建设取得了飞速的发展，道路照明质量不断提高，高强度气体放电灯被广泛使用。这些路灯由于数量庞大，分布分散所以需要投入大量的人力物力进行巡检检测，目前对于路灯巡检的方法，主要还是利用人工的手段，进行逐一的检修排查。[0003]随着我国越来越多的城市在基础设施建设、文化创意创新上提出了新的要求，对于城市的基础设施运营维护及管理的创意创新需求发展迅速。传统的路灯巡检依据巡检人员的人为观察或者手持设备，效率较低，无法做到信息化管理。目前，路灯以及城市楼宇或公共区域的基础市政设施巡检，包括路灯、夜景灯光、城市家具、建筑外立面等仍然采用人力按时到点巡检的方式实现，不仅人工成本高，操作繁琐，安全性较低，同时无法做到每日可检测指定方位方向的实施方案。
发明内容
[0004]为了克服现有技术的上述缺陷，本发明的实施例提供一种基于无人机的道路路灯巡检系统，本发明所要解决的技术问题是：如何降低了日常人工巡检的成本实现自动化的路灯巡检过程。
[0005]为实现上述目的，本发明提供如下技术方案：一种基于无人机的道路路灯巡检系统，包括后台服务器、个人电脑和无人机，所述无人机上设有智能控制盒子和5G数据终端，所述无人机上还设有云台相机，所述智能控制盒子通过5G数据终端与后台服务器和个人电脑进行信号传导；
[0006]所述后台服务器为高性能计算机，运行图像算法，后台服务器负责任务转发、数据存储和缺陷识别；所述后台服务器作为中间端，负责命令转发、数据存储和缺陷识别，转发前端的飞行命令，存储智能控制盒子返回的图片和飞行信息，通过图像处理算法识别路灯和标记缺陷；
[0007]所述个人电脑为显示前端，调用web上的服务可以规划巡检航线，规划好后上传任务和实时监控巡检结果；个人电脑使用Web页面进行功能操作，调用卫星地图在上面自主规划飞行航线，航线规划好后可下发给后台服务器，后台服务器根据无人机位置和当前无人机状况决定任务是否执行；个人电脑基于5G数据终端传回的激光测距信息与云台相机自身的视场角、畸变参数，将拍摄结果尺寸从像素值转换为真实尺寸；用户通过Web前端页面直接调取道路路灯的所有拍摄结果，查看该路灯是否存在异常，圈画出问题组件，并自动映射
3
CN 112437118 A
说 明 书
2/5页
到高精度地图上并存档，最终自动生成巡检报告；
[0008]所述智能控制盒子运行的操作系统设置为ubuntu 16.04，使用dji osdk-ros与无人机通信；
[0009]所述5G数据终端用于无人机实时视频推流和数据传输；
[0010]所述云台相机同时采集高分辨率的可见光与红外热成像照片，实时进行激光测距；
[0011]所述智能控制盒子与无人机通过串口进行通信，可获取无人机的控制权，用于实现无人机的航线动作、云台动作，同时记录相机拍摄时飞行器经纬度、高度、激光测距值；智能控制盒子预留有网口可连接网络设备实现联网，连接5G数据终端作为和后台服务器通信的数据链路使用，用于接收巡检任务和上传图像信息。[0012]在一个优选地实施方式中，所述无人机包括飞行器和遥控器，所述飞行器设置为大疆创新M210 RTK四旋翼无人机，所述遥控器使用千寻知寸网络RTK服务，为飞行器提供差分基站数据。
[0013]在一个优选地实施方式中，所述5G数据终端设置为联通“先锋者1号”智能连接器，其能为其他设备提供5G接入能力，体积小也易于安装在无人机上。[0014]在一个优选地实施方式中，所述云台相机设置为金华龙WK10TIRM三光云台相机。[0015]在一个优选地实施方式中，所述智能控制盒子设置为伯镭居里II模块，该模块基于大疆OSDK协议，搭载在无人机上。[0016]在一个优选地实施方式中，所述无人机的输入端电连接所述智能控制盒子的输出端，所述云台相机用于接收无人机或智能控制盒子命令动作。[0017]在一个优选地实施方式中，所述5G数据终端的输出端连接智能控制盒子，固定在无人机起脚架上。
[0018]本发明的技术效果和优点：[0019]1、本发明利用机载摄像机实时拍摄的视频图像来辅助机载的导航控制，无需开发复杂的飞控系统，缩短了开发时间和降低维护成本，另外通过智能控制盒子不仅能方便的控制无人机以完成任务，还能实现联网与数据传输，从而形成数据化的管理，基于无人机的路灯巡检降低了日常人工巡检的成本，维护方便，依靠空中悬停和云台相机获取到的图像信息可以对路灯进行长距离的检测，巡检人员不用每个路灯都进行攀爬进行检修，提高了巡检效率，应用无人机+物联网的思想，实现了一种极大的自动化的路灯巡检过程；[0020]2、本发明通过从个人电脑到后台服务器，后台服务器下发任务到对应网络地址，5G数据终端作为网络服务使得智能控制盒子能接收到上传的网络任务，实现远端任务接收，然后智能控制盒子控制无人机执行任务并读取拍摄照片和位置信息；后台服务器存储拍摄照片，通过图像算法对路灯进行识别和缺陷判定，最后在个人电脑上显示巡检结果和生成报告，与智能控制盒子结合使用实现物联网的功能，另外结合自动化的作业流程，实现了道路路灯巡检的极大便利化和数据信息化。附图说明
[0021]图1为本发明的整体系统架构图。[0022]图2为本发明的无人机结构示意图。
4
CN 112437118 A[0023]
说 明 书
3/5页
图3为本发明的运行作业流程示意图。
[0024]图4为本发明的巡检过程流程图。
[0025]图5为本发明的智能控制盒子工作流程图。[0026]附图标记为：1后台服务器、2个人电脑、3无人机、4智能控制盒子、55G数据终端、6云台相机。
具体实施方式
[0027]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0028]本发明提供了一种基于无人机的道路路灯巡检系统，包括后台服务器1、个人电脑2和无人机3，所述无人机3上设有智能控制盒子4和5G数据终端5，所述无人机3上还设有云台相机6，所述智能控制盒子4通过5G数据终端5与后台服务器1和个人电脑2进行信号传导；[0029]所述后台服务器1为高性能计算机，运行图像算法，后台服务器1负责任务转发、数据存储和缺陷识别；所述后台服务器1作为中间端，负责命令转发、数据存储和缺陷识别，转发前端的飞行命令，存储智能控制盒子4返回的图片和飞行信息，通过图像处理算法识别路灯和标记缺陷；
[0030]所述个人电脑2为显示前端，调用web上的服务可以规划巡检航线，规划好后上传任务和实时监控巡检结果；个人电脑2使用Web页面进行功能操作，调用卫星地图在上面自主规划飞行航线，航线规划好后可下发给后台服务器1，后台服务器1根据无人机3位置和当前无人机3状况决定任务是否执行；个人电脑2基于5G数据终端5传回的激光测距信息与云台相机6自身的视场角、畸变参数，将拍摄结果尺寸从像素值转换为真实尺寸；用户通过Web前端页面直接调取道路路灯的所有拍摄结果，查看该路灯是否存在异常，圈画出问题组件，并自动映射到高精度地图上并存档，最终自动生成巡检报告；[0031]所述智能控制盒子4运行的操作系统设置为ubuntu 16.04，使用dji osdk-ros与无人机3通信；
[0032]所述5G数据终端5用于无人机3实时视频推流和数据传输；
[0033]所述云台相机6同时采集高分辨率的可见光与红外热成像照片，实时进行激光测距；
[0034]所述智能控制盒子4与无人机3通过串口进行通信，可获取无人机3的控制权，用于实现无人机3的航线动作、云台动作，同时记录相机拍摄时飞行器经纬度、高度、激光测距值；智能控制盒子4预留有网口可连接网络设备实现联网，连接5G数据终端5作为和后台服务器1通信的数据链路使用，用于接收巡检任务和上传图像信息。[0035]所述无人机3包括飞行器和遥控器，所述飞行器设置为大疆创新M210 RTK四旋翼无人机3，所述遥控器使用千寻知寸网络RTK服务，为飞行器提供差分基站数据，所述5G数据终端5设置为联通“先锋者1号”智能连接器，其能为其他设备提供5G接入能力，体积小也易于安装在无人机3上，所述云台相机6设置为金华龙WK10TIRM三光云台相机6，所述智能控制盒子4设置为伯镭居里II模块，该模块基于大疆OSDK协议，搭载在无人机3上，所述无人机3
5
CN 112437118 A
说 明 书
4/5页
的输入端电连接所述智能控制盒子4的输出端，所述旋翼产生动力，由无人机3自主调节，所述云台相机6接收无人机3或智能控制盒子4命令动作，所述5G数据终端5的输出端连接智能控制盒子4，固定在无人机3起脚架上，为智能控制盒子4提高网络通信能力。[0036]如图1-3所示的，实施方式具体为：整个巡航过程分为内业和外业两大部分，包括绘制地图、巡检过程和后续维护；在地图绘制阶段，硬件涉及到的设备包括无人机3、个人电脑2和云台相机6，遥控器使用千寻知寸网络RTK服务，为无人机3提供差分基站数据，飞行航线由个人电脑2绘制并上传无人机3，无人机3自动完成航线飞行任务，完成任务后进行正射图像拼接，绘制飞行地图；在巡检过程阶段，首先需要用户在地图上规划航线，个人电脑2上的软件平台提供了自动规划路线的功能，即用户在web前端的地图上划定一块区域，然后通过道路识别算法分割出巡检路线；巡检过程的硬件涉及到的设备包括无人机3、云台相机6和个人电脑2，遥控器使用千寻知寸网络RTK服务，为无人机3提供差分基站数据；云台相机6可同时采集高分辨率的可见光与红外热成像照片，并能够实时进行激光测距，采集的图像和激光距离信息用于路灯识别和缺陷标注；飞行航线由个人电脑2规划，经过后台服务器1和智能控制盒子4，最后上传到无人机3，由无人机3自动完成航线飞行任务；在后续维护阶段，飞行任务完成后，智能控制盒子4将任务信息经5G数据终端5上传后台服务器1，检测人员在个人电脑2Web前端查看拍摄结果，圈画出问题组件，后台服务器1将问题自动映射到高精度地图上并存档；用户可在个人电脑2Web前端生成检测报告，报告中将包括拍摄结果、拍摄位置、拍摄环境信息、问题标注，交由后续单位进行及时跟进处理；[0037]后台服务器1基于任务位置对数据进行整理归档，同时基于激光测距信息与云台相机6自身的视场角、畸变矩阵参数，将拍摄结果尺寸从像素值转换为真实尺寸；[0038]数据上传、处理完毕后，用户可以在个人电脑2Web前端找到所执行的检测任务，照片将按拍摄位置分布在示意航线上，用户可查看各个位置所拍摄的可见光与红外照片对应情况，若照片中所识别路灯存在异常，用户可在红外照片上对问题区域进行圈画，获得问题区域信息，并通过与可见光照片对比，确定问题原因；所有标注也将被存入后台服务器1保存；最终，当问题区域完成检修后，用户可再次携带外业设备到达现场，在web前端调取此前的任务，选择被标注过的航点进行复检，实现检测作业闭环；[0039]如图4所示的，实施方式具体为：巡检过程的具体流程，首先检测人员携带无人机3到达作业现场，组装无人机3和开机自检，确保无人机3各项状态正常和RTK已成功开启，机载智能控制盒子4为小型电脑，通过网络接收到后台服务器1的航线任务，然后控制无人机3起飞、调整云台角度和拍照，完成任务后回到起飞点，最后上传拍照结果和位置信息到后台服务器1的数据存储，后台服务器1运行图像算法识别路灯和缺陷标注，识别采用了深度学习和OpenCV结合的卷积分边缘检测算法，圈出路灯边框，并标注出路灯边框内红外热区域不连续处；
[0040]如图5所示的，实施方式具体为：智能控制盒子4的工作流程包括服务器任务获取、无人机3实时位置采集、云台姿态角和图片的读取，然后对飞行进行控制、视频推流和数据上传，所述任务状态来自后台服务器1，所述无人机3实时位置、云台姿态角和图片从无人机3通信接口读取，所述控制为dji osdk-ros中的位置和姿态控制，所述视频推流基于RTMP(Real Time Messaging Protocol)协议，所述数据上是基于发布/订阅范式的消息协议。[0041]最后应说明的几点是：首先，在本申请的描述中，需要说明的是，除非另有规定和
6
CN 112437118 A
说 明 书
5/5页
限定，术语“安装”、“相连”、“连接”应做广义理解，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变，则相对位置关系可能发生改变；[0042]其次：本发明公开实施例附图中，只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计，在不冲突情况下，本发明同一实施例及不同实施例可以相互组合；[0043]最后：以上所述仅为本发明的优选实施例而已，并不用于本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
7
CN 112437118 A
说 明 书 附 图
1/3页
图1
图2
8
CN 112437118 A
说 明 书 附 图
2/3页
图3
9
CN 112437118 A
说 明 书 附 图
3/3页
图4
图5
10
