全文摘要
本发明公开了一种基于地空协作的灭火装置、方法及系统，涉及消防技术领域，主要是将无人机获取的楼层视频流信息和火源现场视频流信息传给PC端，然后PC端对无人机传回的信息进行处理，并通过处理后的结果，动态指挥灭火机器人前往不同楼层进行灭火，待该楼层灭火完成后，PC端再控制无人机重新起飞寻找火情，循环往复，直至消灭全部火情。本发明通过无人机探测火源所在的楼层和具体坐标，并传输给灭火机器人，通过优先调度程序指挥灭火机器人对火情进行快速控制，提高了灭火效率，大大降低了发生二次危险和损失的概率。
主设计要求
1.一种基于地空协作的灭火装置，其特征在于，所述灭火装置包括无人机、PC端以及灭火机器人，所述无人机与所述PC端通信，所述PC端还与所述灭火机器人通信；所述PC端集成有训练好的神经网络烟雾识别模型、训练好的神经网络火源识别模型以及灭火机器人灭火顺序确定程序；其中，所述无人机用于根据所述PC端输出的控制指令到达指定位置，并将获取的楼层视频流信息和火源现场视频流信息发送至所述PC端内；所述灭火机器人用于根据所述PC端输出的控制指令到达指定的火源位置进行灭火操作。
设计方案
1.一种基于地空协作的灭火装置，其特征在于，所述灭火装置包括无人机、PC端以及灭火机器人，所述无人机与所述PC端通信，所述PC端还与所述灭火机器人通信；所述PC端集成有训练好的神经网络烟雾识别模型、训练好的神经网络火源识别模型以及灭火机器人灭火顺序确定程序；其中，所述无人机用于根据所述PC端输出的控制指令到达指定位置，并将获取的楼层视频流信息和火源现场视频流信息发送至所述PC端内；所述灭火机器人用于根据所述PC端输出的控制指令到达指定的火源位置进行灭火操作。
2.根据权利要求1所述的灭火装置，其特征在于，所述无人机与所述PC端之间、所述PC端与所述灭火机器人之间采用不同的进程同时运行。
3.根据权利要求1所述的灭火装置，其特征在于，所述PC端与所述无人机通过WIFI模块进行数据传输；所述PC端与所述灭火机器人通过ZIGBEE通信模块进行数据传输。
4.根据权利要求1所述的灭火装置，其特征在于，所述无人机实时采集的楼层视频流信息通过udp协议打包发送到所述PC端内。
5.一种基于地空协作的灭火方法，其特征在于，所述灭火方法，包括：
获取无人机拍摄的楼层视频流信息；
将所述楼层视频流信息输入到训练好的神经网络烟雾识别模型中，确定火源所在的楼层位置信息；
获取无人机在火源所在的楼层位置上拍摄的火源现场视频流信息；
根据所述火源现场视频流信息和训练好的神经网络火源识别模型确定各个火源附近的易燃易爆物品类型信息和各个火源的火势信息，通过所述火源现场视频流信息和计算机视觉识别算法确定各个火源附近的店铺信息；
根据火源的楼层位置信息和火源的基本信息，计算每个火源的综合优先权值；所述火源的基本信息包括火源附近的易燃易爆物品类型信息和火源的火势信息；
根据火源的综合优先权值，确定灭火机器人的灭火顺序，并根据所述灭火顺序和各个火源附近的店铺信息，控制灭火机器人达到指定位置进行灭火操作。
6.根据权利要求5所述的灭火方法，其特征在于，所述灭火方法，还包括：
获取灭火机器人拍摄的灭火视频流信息；
将所述灭火视频流信息输入到训练好的神经网络火源识别模型中，确定各个火源的消灭信息，并根据各个火源的消灭信息，确定无人机的飞行路线，进而根据无人机的飞行路线控制无人机到达指定位置。
7.根据权利要求5所述的灭火方法，其特征在于，所述将所述楼层视频流信息输入到训练好的神经网络烟雾识别模型中，确定火源所在的楼层位置信息，具体包括：
提取所述楼层视频流信息中的每一帧楼层图片；
对每一帧所述楼层图片进行压缩处理；
按照时间顺序，将压缩处理后的楼层图片依次输入到训练好的神经网络烟雾识别模型内，确定火源所在的楼层位置信息。
8.根据权利要求5所述的灭火方法，其特征在于，所述根据火源的综合优先权值，确定灭火机器人的灭火顺序，并根据所述灭火顺序和各个火源附近的店铺信息，控制灭火机器人达到指定位置进行灭火操作，具体包括：
对火源的综合优先权值进行排序，将综合优选权值最大的火源确定为灭火机器人的第一灭火对象，依次类推，确定灭火机器人的灭火顺序；
根据火源的楼层位置信息和火源附近的店铺信息，确定火源发生地位置信息；
根据灭火机器人的灭火顺序和火源发生地位置信息，控制灭火机器人到达指定位置进行灭火操作。
9.一种基于地空协作的灭火系统，其特征在于，所述灭火系统，包括：
楼层视频流信息获取模块，用于获取无人机拍摄的楼层视频流信息；
火源楼层位置信息确定模块，用于将所述楼层视频流信息输入到训练好的神经网络烟雾识别模型中，确定火源所在的楼层位置信息；
火源现场视频流信息获取模块，用于获取无人机在火源所在的楼层位置上拍摄的火源现场视频流信息；
火源信息确定模块，用于根据所述火源现场视频流信息和训练好的神经网络火源识别模型确定各个火源附近的易燃易爆物品类型信息和各个火源的火势信息，通过所述火源现场视频流信息和计算机视觉识别算法确定各个火源附近的店铺信息；
火源综合优先权值计算模块，用于根据火源的楼层位置信息和火源的基本信息，计算每个火源的综合优先权值；所述火源的基本信息包括火源附近的易燃易爆物品类型信息和火源的火势信息；
灭火操作模块，用于根据火源的综合优先权值，确定灭火机器人的灭火顺序，并根据所述灭火顺序和各个火源附近的店铺信息，控制灭火机器人达到指定位置进行灭火操作。
10.根据权利要求9所述的灭火系统，其特征在于，所述灭火系统，还包括：
灭火视频流信息获取模块，用于获取灭火机器人拍摄的灭火视频流信息；
无人机飞行控制模块，用于将所述灭火视频流信息输入到训练好的神经网络火源识别模型中，确定各个火源的消灭信息，并根据各个火源的消灭信息，确定无人机的飞行路线，进而根据无人机的飞行路线控制无人机到达指定位置。
设计说明书
技术领域
本发明涉及消防技术领域，特别是涉及一种基于地空协作的灭火装置、方法及系统。
背景技术
现有灭火机器人很难自主确定火源所在具体位置，且对灭火顺序也没有一个明确方案，存在难以快速把火情控制的缺陷。在灭火后，也有可能造成二次火灾，或者因灭火不及时造成财产损失，对灭火机器人也会造成危险。
发明内容
为了克服背景技术存在缺陷，本发明提供了一种基于地空协作的灭火装置、方法及系统，提高灭火效率，降低发生二次危险和损失的概率。
为实现上述目的，本发明提供了如下方案：
一种基于地空协作的灭火装置，包括无人机、PC端以及灭火机器人，所述无人机与所述PC端通信，所述PC端还与所述灭火机器人通信；所述PC端集成有训练好的神经网络烟雾识别模型、训练好的神经网络火源识别模型以及灭火机器人灭火顺序确定程序；其中，所述无人机用于根据所述PC端输出的控制指令到达指定位置，并将获取的楼层视频流信息和火源现场视频流信息发送至所述PC端内；所述灭火机器人用于根据所述PC端输出的控制指令到达指定的火源位置进行灭火操作。
可选的，所述无人机与所述PC端之间、所述PC端与所述灭火机器人之间采用不同的进程同时运行。
可选的，所述PC端与所述无人机通过WIFI模块进行数据传输；所述PC端与所述灭火机器人通过ZIGBEE通信模块进行数据传输。
可选的，所述无人机实时采集的楼层视频流信息通过udp协议打包发送到所述PC端内。
一种基于地空协作的灭火方法，包括：
获取无人机拍摄的楼层视频流信息；
将所述楼层视频流信息输入到训练好的神经网络烟雾识别模型中，确定火源所在的楼层位置信息；
获取无人机在火源所在的楼层位置上拍摄的火源现场视频流信息；
根据所述火源现场视频流信息和训练好的神经网络火源识别模型确定各个火源附近的易燃易爆物品类型信息和各个火源的火势信息，通过所述火源现场视频流信息和计算机视觉识别算法确定各个火源附近的店铺信息；
根据火源的楼层位置信息和火源的基本信息，计算每个火源的综合优先权值；所述火源的基本信息包括火源附近的易燃易爆物品类型信息和火源的火势信息；
根据火源的综合优先权值，确定灭火机器人的灭火顺序，并根据所述灭火顺序和各个火源附近的店铺信息，控制灭火机器人达到指定位置进行灭火操作。
可选的，所述灭火方法，还包括：
获取灭火机器人拍摄的灭火视频流信息；
将所述灭火视频流信息输入到训练好的神经网络火源识别模型中，确定各个火源的消灭信息，并根据各个火源的消灭信息，确定无人机的飞行路线，进而根据无人机的飞行路线控制无人机到达指定位置。
可选的，所述将所述楼层视频流信息输入到训练好的神经网络烟雾识别模型中，确定火源所在的楼层位置信息，具体包括：
提取所述楼层视频流信息中的每一帧楼层图片；
对每一帧所述楼层图片进行压缩处理；
按照时间顺序，将压缩处理后的楼层图片依次输入到训练好的神经网络烟雾识别模型内，确定火源所在的楼层位置信息。
可选的，所述根据火源的综合优先权值，确定灭火机器人的灭火顺序，并根据所述灭火顺序和各个火源附近的店铺信息，控制灭火机器人达到指定位置进行灭火操作，具体包括：
对火源的综合优先权值进行排序，将综合优选权值最大的火源确定为灭火机器人的第一灭火对象，依次类推，确定灭火机器人的灭火顺序；
根据火源的楼层位置信息和火源附近的店铺信息，确定火源发生地位置信息；
根据灭火机器人的灭火顺序和火源发生地位置信息，控制灭火机器人到达指定位置进行灭火操作。
一种基于地空协作的灭火系统，包括：
楼层视频流信息获取模块，用于获取无人机拍摄的楼层视频流信息；
火源楼层位置信息确定模块，用于将所述楼层视频流信息输入到训练好的神经网络烟雾识别模型中，确定火源所在的楼层位置信息；
火源现场视频流信息获取模块，用于获取无人机在火源所在的楼层位置上拍摄的火源现场视频流信息；
火源信息确定模块，用于根据所述火源现场视频流信息和训练好的神经网络火源识别模型确定各个火源附近的易燃易爆物品类型信息和各个火源的火势信息，通过所述火源现场视频流信息和计算机视觉识别算法确定各个火源附近的店铺信息；
火源综合优先权值计算模块，用于根据火源的楼层位置信息和火源的基本信息，计算每个火源的综合优先权值；所述火源的基本信息包括火源附近的易燃易爆物品类型信息和火源的火势信息；
灭火操作模块，用于根据火源的综合优先权值，确定灭火机器人的灭火顺序，并根据所述灭火顺序和各个火源附近的店铺信息，控制灭火机器人达到指定位置进行灭火操作。
可选的，所述灭火系统，还包括：
灭火视频流信息获取模块，用于获取灭火机器人拍摄的灭火视频流信息；
无人机飞行控制模块，用于将所述灭火视频流信息输入到训练好的神经网络火源识别模型中，确定各个火源的消灭信息，并根据各个火源的消灭信息，确定无人机的飞行路线，进而根据无人机的飞行路线控制无人机到达指定位置。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明通过无人机探测火源所在的楼层和具体坐标，并传输给灭火机器人，通过优先调度程序指挥灭火机器人对火情进行快速控制，提高了灭火效率，大大降低了发生二次危险和损失的概率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例基于地空协作的灭火方法的流程示意图；
图2为本发明实施例基于地空协作的灭火系统的结构示意图；
图3为本发明实施例PC端灭火程序工作流程图；
图4为本发明实施例无人机灭火程序工作流程图；
图5为本发明实施例灭火机器人灭火程序工作流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
本实施例提供了一种基于地空协作的灭火装置，包括包括无人机、PC端以及灭火机器人，所述无人机与所述PC端通信，所述PC端还与所述灭火机器人通信；所述PC端集成有训练好的神经网络烟雾识别模型、训练好的神经网络火源识别模型以及灭火机器人灭火顺序确定程序；其中，所述无人机用于根据所述PC端输出的控制指令到达指定位置，并将获取的楼层视频流信息和火源现场视频流信息发送至所述PC端内；所述灭火机器人用于根据所述PC端输出的控制指令到达指定的火源位置进行灭火操作。
所述无人机与所述PC端之间、所述PC端与所述灭火机器人之间采用不同的进程同时运行。所述PC端与所述无人机通过WIFI模块进行数据传输；所述PC端与所述灭火机器人通过ZIGBEE通信模块进行数据传输。所述无人机实时采集的楼层视频流信息通过udp协议打包发送到所述PC端内。
实施例二
如图1所示，本实施例提供的一种基于地空协作的灭火方法，包括：
步骤101：获取无人机拍摄的楼层视频流信息。
步骤102：将所述楼层视频流信息输入到训练好的神经网络烟雾识别模型中，确定火源所在的楼层位置信息；具体包括：
提取所述楼层视频流信息中的每一帧楼层图片；对每一帧所述楼层图片进行压缩处理；按照时间顺序，将压缩处理后的楼层图片依次输入到训练好的神经网络烟雾识别模型内，确定火源所在的楼层位置信息。
步骤103：获取无人机在火源所在的楼层位置上拍摄的火源现场视频流信息。
步骤104：根据所述火源现场视频流信息和训练好的神经网络火源识别模型确定各个火源附近的易燃易爆物品类型信息和各个火源的火势信息，通过所述火源现场视频流信息和计算机视觉识别算法确定各个火源附近的店铺信息。
步骤105：根据火源的楼层位置信息和火源的基本信息，计算每个火源的综合优先权值；所述火源的基本信息包括火源附近的易燃易爆物品类型信息和火源的火势信息。
步骤106：根据火源的综合优先权值，确定灭火机器人的灭火顺序，并根据所述灭火顺序和各个火源附近的店铺信息，控制灭火机器人达到指定位置进行灭火操作；具体包括：
对火源的综合优先权值进行排序，将综合优选权值最大的火源确定为灭火机器人的第一灭火对象，依次类推，确定灭火机器人的灭火顺序；根据火源的楼层位置信息和火源附近的店铺信息，确定火源发生地位置信息；根据灭火机器人的灭火顺序和火源发生地位置信息，控制灭火机器人到达指定位置进行灭火操作。
步骤107：获取灭火机器人拍摄的灭火视频流信息。
步骤108：将所述灭火视频流信息输入到训练好的神经网络火源识别模型中，确定各个火源的消灭信息，并根据各个火源的消灭信息，确定无人机的飞行路线，进而根据无人机的飞行路线控制无人机到达指定位置。
实施例三
如图2所示，本实施例提供了一种基于地空协作的灭火系统，包括：
楼层视频流信息获取模块201，用于获取无人机拍摄的楼层视频流信息。
火源楼层位置信息确定模块202，用于将所述楼层视频流信息输入到训练好的神经网络烟雾识别模型中，确定火源所在的楼层位置信息。
火源现场视频流信息获取模块203，用于获取无人机在火源所在的楼层位置上拍摄的火源现场视频流信息。
火源信息确定模块204，用于根据所述火源现场视频流信息和训练好的神经网络火源识别模型确定各个火源附近的易燃易爆物品类型信息和各个火源的火势信息，通过所述火源现场视频流信息和计算机视觉识别算法确定各个火源附近的店铺信息。
火源综合优先权值计算模块205，用于根据火源的楼层位置信息和火源的基本信息，计算每个火源的综合优先权值；所述火源的基本信息包括火源附近的易燃易爆物品类型信息和火源的火势信息。
灭火操作模块206，用于根据火源的综合优先权值，确定灭火机器人的灭火顺序，并根据所述灭火顺序和各个火源附近的店铺信息，控制灭火机器人达到指定位置进行灭火操作。
灭火视频流信息获取模块207，用于获取灭火机器人拍摄的灭火视频流信息。
无人机飞行控制模块208，用于将所述灭火视频流信息输入到训练好的神经网络火源识别模型中，确定各个火源的消灭信息，并根据各个火源的消灭信息，确定无人机的飞行路线，进而根据无人机的飞行路线控制无人机到达指定位置。
实施例四
本实施例提供了一种基于地空协作的灭火方法，应用于包括无人机、PC端、灭火机器人的灭火装置；其中，无人机与PC端之间、PC端与灭火机器人之间是采用不同的进程，同时运行，如图3-5所示，具体包括以下步骤。
步骤S1：PC端启动灭火程序，同时无人机执行步骤S20，启动并且进入待命状态，为步骤S21作准备。
步骤S2：PC端与无人机通过WIFI模块建立稳定的连接，为无人机与PC端通信作准备。
步骤S20：无人机进入待命状态。
步骤S21：无人机与PC端(终端)建立连接并等待下一步指令。
步骤S22：无人机与PC端建立稳定连接以后，无人机开始起飞，旋转，实时的将采集到的楼层视频流信息通过udp协议打包发送给PC端，让PC端进行处理，同时准备执行步骤S23。
步骤S23：无人机简单旋转获取楼层视频流信息后，进入悬停等待状态，等待步骤S4中PC端处理楼层视频流信息后，对无人机发送的指令，从而进行下一步工作。
步骤S3：PC端对无人机打包发送回来的楼层视频流信息进行预处理，截取楼层视频流信息中的每一帧图片，并且将图片压缩到符合训练好的神经网络烟雾识别模型能够接收的输入格式。
步骤S4：训练好的神经网络烟雾识别模型在运行之前，需要提前准备好大量的烟雾图片训练神经网络模型，使得到的神经网络烟雾识别模型逼近到能够准确识别为止。如果未识别到烟雾，PC端执行步骤S8，如果识别到烟雾，PC端执行步骤S5。
步骤S5：训练好的神经网络烟雾识别模型识别到烟雾后，PC端发送探测烟雾楼层指令，PC端执行步骤S6，等待无人机传输的火源现场视频流信息，对火源现场作进一步识别。
步骤S24：经过步骤S4后，无人机接收到探测烟雾楼层指令，无人机对该楼层进行搜索和探测，通过传输的火源现场视频流信息，让PC端对火源的位置和具体信息进行标定，探测完成后，无人机进入悬停等待状态(同步骤S23)。
步骤S6：根据无人机实时传输过来的火源现场视频流信息，PC端通过提前训练好的神经网络火源识别模型识别火源具体位置、火势大小、易燃易爆物品类型等；PC端通过计算机视觉识别算法识别火源附近店铺名信息。神经网络火源识别模型训练和识别方式同步骤S4，记录下上述识别到的所有信息。
步骤S7：PC端通过步骤S6获取到的信息进行进一步处理，为之后控制无人机和灭火机器人作准备。具体的实施方法为：
确定不同火源的火势大小的优先权值为ni<\/sub>，不同火源的不同楼层的优先权值为si<\/sub>，不同火源的不同易燃易爆物品的优先权值为mi<\/sub>，以及三个参数不同预设权值ai<\/sub>，bi<\/sub>，ci<\/sub>，根据计算公式sumi<\/sub>＝ai<\/sub>*mi<\/sub>+bi<\/sub>*ni<\/sub>+ci<\/sub>*si<\/sub>计算出每一个火源的综合优先值。
对识别到的附近店铺名的信息在该楼层二维地图上查找并进行简单定位。
将所有信息存入数据库中，为指挥灭火机器人工作进行准备，同时执行步骤S8。
步骤S8：PC端向无人机发送上升指令，使无人机继续上升，获取更多的商场楼层视频流信息。
步骤S28：无人机接收到上升指令，继续上升，飞行过程中将实时采集的楼层视频流信息发送到PC端进行处理。
步骤S9：PC端通过WIFI模块实时接收无人机传输过来的数据包。
步骤S10：PC端将数据包进行处理(同步骤S3所述的处理方法)，将处理后的楼层视频流信息送入训练好的神经网络烟雾识别模型中进行识别，等待识别结果；如果识别围栏，楼层计数器加1，存入数据库中，为获取火源的楼层优先权值si<\/sub>作准备，然后准备识别该层楼是否有烟雾存在，若存在烟雾则执行步骤S11，若未识别到烟雾则执行步骤S28；如果未识别到围栏，则准备执行步骤S12。
步骤S11：向无人机发送暂停上升指令，执行步骤S3。
步骤S29：无人机接收到暂停上升指令停止上升，执行步骤S30。
步骤S30：无人机进行旋转，对该层楼的火源和烟雾信息初步探测，并且传输到PC端进行处理，结束后进入步骤S23，等待PC端发送的下一条指令。
步骤S12：根据无人机的飞行速度设定一个计时器，如果较长时间没有识别到围栏，或者无人机的顶部传感器识别到障碍，PC端执行步骤S13。
步骤S13：商场的所有火源信息已经探测结束，PC端向无人机发送探测结束的指令，同时执行步骤S14，PC端通过灭火机器人的ZIGBEE通信模块进行连接。
步骤S26：无人机接收到PC端发送的探测结束指令后，降落等待PC端发送的下一步指令。
步骤S31：灭火机器人启动灭火系统程序，准备进行灭火。
步骤S32：灭火机器人通过ZIGBEE通信模块与PC端建立连接并等待下一步指令。
步骤S14：通过数据库中保存的楼层火源信息，计算每一个火源的综合优先权值，计算方法在步骤S7的实施方法中进行描述。
步骤S15：收集到所有的火源信息后，PC端从数据库中提取火源的楼层位置、每个火源的具体位置，通过所有火源的综合优先权值进行快速排序，向灭火机器人发送优先权值最大的火源的详细信息及灭火指令。
步骤S33：灭火机器人接收到灭火指令，灭火机器人开始进行工作。
步骤S34：灭火机器人根据PC端发送的楼层信息和火源位置信息，前往目标火源的地点进行灭火作业，同时实时将灭火视频流信息传输到PC端。
步骤S16：PC端对灭火机器人实时传输的灭火视频进行处理后，然后将处理后的灭火视频流信息传输到训练好的神经网络火源识别模型中，对火源是否消灭进行识别，识别方法与步骤S6相同。
步骤S17：如果识别到火源已经被消灭，向灭火机器人发送暂停待机指令。
步骤S35：灭火机器人接收到暂停待机指令，停止灭火作业，并且等待下一步的指令操作。
步骤S36：灭火机器人没有接收到停止工作命令，进入待命状态，等待PC端的指令，对下一个楼层进行灭火。
如果通过之前步骤S3到步骤S13，无人机对所有楼层进行探测后发现只有一处火源而且被消灭，PC端执行步骤S19，否则执行步骤S18。
步骤S18：火源没有被全部消灭，同时准备执行步骤S3和步骤S27。
步骤S27：PC端向无人机发送对剩下的火源信息进行探测指令，同时准确执行步骤S22。
步骤S19：所有的火源都被消灭，PC端同时向无人机和灭火机器人发送关机指令。
步骤S37：灭火机器人接收到关机指令，退出商场，关闭灭火程序。
步骤S25：无人机接收到关机指令，退出商场，断开与PC端的连接，结束探测程序。
本实施例提供的方法解决了灭火机器人通过逐层遍历搜索火源效率低下的问题，能够对商场火情进行快速有效的压制和清除，大大降低了发生二次危险和损失的概率。
实施例五
本实施例提供了一种基于地空协作的灭火方法，主要包括五大部分，分别为：
第一部分，无人机获取商场实际信息部分，具体包括：
步骤11：启动灭火系统，无人机到达商场中心位置时，通过WIFI模块与PC端建立连接。
步骤12：无人机接收到PC端发送的起飞指令后，开始进行起飞作业，并实时将楼层视频流信息打包通过udp协议传输到PC端，起飞后降落到无人机安全飞行的最低高度并等待PC端发送的指令。
步骤13：无人机接收到探测指定楼层指令之后，无人机对该楼层进行扫描并将火源现场视频流信息传输到PC端，探测结束后回到初始位置，等待下一条PC端发送的指令。
步骤14：无人机接收到上升指令后，继续上升，同时传输楼层视频流信息，直至接收到PC端发送的暂停上升指令；如果接收到暂停上升指令后，无人机停止上升，执行步骤13，对该层火源信息进行详细探测。
步骤15：无人机不断地接收PC端发送的指令，对商场所有的火源信息实时探测并发送到PC端，直至接收到PC端发送的探测结束指令为止，然后无人机降落到商场最低点进行待命。
步骤16：灭火结束后，无人机接收到关机指令，无人机退出商场，断开与PC端的连接，灭火完成。
第二部分，PC端实时通信与数据处理部分，具体包括：
步骤21：启动灭火系统程序，通过WIFI模块与无人机的WIFI模块建立稳定连接，实现实时通信。
步骤22：接收无人机发送的楼层视频流信息，对接收到的楼层视频流信息进行截取和压缩，形成训练好的神经网络烟雾识别模型能够接收的格式，然后送入预先训练好的神经网络模型中进行识别和分类。
步骤23：如果识别结果表示识别到烟雾，则向无人机发送探测该楼层指令，并根据实时获取的火源现场视频流信息确定该楼层的火源信息、易燃物种类以及火势大小，通过识别到的店铺名，在该楼层的平面图上进行火源位置标定，然后将识别的信息全部存入数据库。如果未识别到烟雾，则向无人机发送上升指令，继续执行步骤22，如果训练好的神经网络烟雾识别模型识别到围栏，则计数器加1，作为楼层的标记，如果识别到烟雾和火源，则楼层信息与火源信息一起存入数据库中。
步骤24：在无人机上升过程中，设定一个计时器，根据无人机上升速度设立一个时间限制，如果超过该时间，则向无人机发送探测结束指令。
步骤25：向无人机发送探测结束指令后，通过本地保存的楼层、火源周围物品种类、火势大小信息，计算出各个火源的综合优先权值，计算完成后，向灭火机器人发送优先权值最高的火源所在楼层及具体位置信息，并发送工作命令。
步骤26：将灭火机器人传输的灭火视频流信息经过步骤22处理后，判断出该楼层火源是否被消灭；若已经被消灭后，发送暂停待机指令给灭火机器人。如果此次消灭的火源是唯一的，则同时向无人机和灭火机器人发送关机指令；如果此次消灭的火源不是该商场中唯一的火源，则发送起飞指令给无人机，使无人机再次起飞，继续接收来自无人机采集的楼层视频流信息，重新执行步骤22～步骤24。
第三部分，灭火机器人实时灭火部分，具体包括以下：
步骤31：启动灭火系统，灭火机器人到达商场中心位置，通过ZIGBEE通信模块与PC端建立连接，等待来自PC端的指令。
步骤32：当灭火机器人收到火源所在的楼层位置信息和工作指令后，灭火机器人前往该楼层进行灭火作业，灭火机器人运行过程中使用自身搭载的摄像头拍摄图像，并将灭火视频流信息实时传输到PC端。
步骤33：当灭火机器人接收到来自PC端的暂停待机指令时，灭火机器人停止工作并等待。
步骤34：当灭火机器人接收到来自PC端的关机指令时，此时意味着该商场灭火所有工作已经完成，灭火机器人退出商场。
第四部分，视频流数据实时识别部分，具体包括：
步骤41：将提前准备好的火源图片存入训练集，设定神经网络的输入格式和输出结果，将训练集输入到搭建好的神经网络模型中，大量训练，不断通过反馈修改神经网络模型中的权值和阈值直到识别结果接近预期理想效果为止，得到训练好的神经网络模型。训练好的神经网络模型包括训练好的神经网络烟雾识别模型和训练好的神经网络火源识别模型。
步骤42：对接收到的视频流信息进行预处理，提取每一帧图片，将每一帧图片大小进行压缩，使其满足神经网络模型输入尺寸需求，输入到训练好的神经网络模型中，经过卷积、池化过程，输出最终的预期结果，然后根据不同的预期结果向无人机和消防机器人发送不同的指令，指挥其进行探测和灭火。
第五部分，实时灭火调度部分，具体包括：
步骤51：提前设定好每一个预设权值ai<\/sub>，bi<\/sub>，ci<\/sub>，不同易燃易爆品分类的信息值为mi<\/sub>，不同火势大小拥有的权值为ni<\/sub>，不同楼层的优先值为si<\/sub>，识别结束之后，将计算结果一并存入数据库中。
步骤52：从数据库中提取每一个火源所在的楼层优先级(大楼总层数-当前火源所在楼层数)si<\/sub>，周围易燃易爆物品的分类信息mi<\/sub>，火势大小ni<\/sub>，同时创建一个任务进程processi<\/sub>。
步骤53：根据计算公式sumi<\/sub>＝ai<\/sub>*mi<\/sub>+bi<\/sub>*ni<\/sub>+ci<\/sub>*si<\/sub>，计算出每个进程processi<\/sub>的sum值(ai<\/sub>，bi<\/sub>，ci<\/sub>为预先设定的权值参数)，再从中选出最大的sumi<\/sub>所在的进程processi<\/sub>，将进程processi<\/sub>所对应的楼层信息发送给灭火机器人，指挥灭火机器人前往工作。
本发明通过无人机和神经网络识别技术确定楼层数。在楼层识别到烟雾后，对该楼层进行详细搜索和识别，然后基于计算机视觉识别技术，确定火源周围的门牌信息，进而确定火源具体位置信息，克服现有技术中卫星定位技术无法定位复杂的商场地理位置信息的缺陷。
本发明通过无人机与PC端的通信，并结合神经网络模型识别到的信息，动态的指挥无人机进行探测工作，提高无人机在火灾现场的探测效率，进而准确确定火灾位置信息。在探测过程中，对探测识别出的结果通过计算，将火灾情况实时存入到数据库中，能够使灭火机器人快速到达灭火现场进行灭火作业，提高灭火机器人的灭火效率，帮助灭火机器人实行消防作业。
本发明通过火源地理位置信息以及火源大小，易燃物等级等信息，对每处火源地点的优先值进行计算，然后根据优先值确定最优灭火顺序，进而根据最优灭火顺序指挥调度灭火机器人进行灭火工作，克服了现有技术存在普通灭火顺序可能导致财产损失严重的缺陷。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。
设计图
相关信息详情
申请码:申请号:CN201910534840.9
申请日:2019-06-20
公开号:CN110263710A
公开日:2019-09-20
国家:CN
国家/省市:43(湖南)
授权编号:授权时间:主分类号:G06K 9/00
专利分类号:G06K9/00;G06K9/62;G06Q10/04;G06Q10/06;G06Q50/26;A62C37/40
范畴分类:40B;
申请人:湘潭大学
第一申请人:湘潭大学
申请人地址:411100 湖南省湘潭市雨湖区羊牯塘27号
发明人:邹娟;王开祺;王小齐;李海博;杨霄;蒋威威;王求真;曾小英;夏威
第一发明人:邹娟
当前权利人:湘潭大学
代理人:刘凤玲
代理机构:11569
代理机构编号:北京高沃律师事务所
优先权:关键词:当前状态:审核中
类型名称:外观设计