详细介绍
云汉深度学习识别系统包括图像采集、异物识别、训练系统三部分。要求开发监控目标异物识别系统的识别和训练部分。
识别部分能够接收图像采集部分传输的图像数据,与摄像机位姿数据同步,对图像数据进行目标检测和定位,将结果按照接口协议输出给用户。
物体识别系统包括图像采集、异物识别、训练系统三部分。
图像采集部分负责采集异物的图像、位置和姿态等信息,常用载体包括监控设备、无人机、无人车等。
图像采集部分通过大带宽图传设备将采集到的图像等数据打时间戳实时发送给地面处理系统。
识别部分通过标准RTSP协议接收图像采集部分传输的视频,或私有协议接收图像数据,通过socket连接接收图像采集部分回传的位置与姿态信息数据,进行数据同步。
识别软件基于Windows 10操作系统,Intel I7处理器,英伟达GTX1080 GPU
识别部分使用基于谷歌TensorFlow人工智能学习系统的深度学习图像分类方法,使用TensorFlow物体检测API,目前提供常见的90种训练数据集,同样也可以使用TensorFlow构建神经网络,训练机场常见异物的训练数据集。
在识别过程中,首先通过色块处理将图片中的物体取出,并求取图像特征点。通过训练数据进行矩阵运算,得到该物体图像对应每个物品标签的匹配值,终根据需求选择匹配分数,终输出物体对应标签名称。
当发现异常物体时,根据获取物体在图片中的像素坐标以及当前云台的姿态信息,可以获取异常物体的GPS坐标以及大小等信息。
训练部分
通过人工管理,将图像采集部分采集到的异物图像分类存储到数据库中,打上标签,定期训练检测模型。
在训练过程中将样本数据分为训练数据和测试数据,通过TensorFlow Object Detection API提供的faster RCNN+inception+resnet101网络结构的训练模型去对数据进行不断训练。通过不断调整参数和神经网络的层数,使用测试数据进行验证,不断提高识别精度,当数据得到需求,可以提供给识别单元进行物体标签比对。
云汉深度学习识别系统产品特色功能
Ø 集中的目录树设备资源管理:机器人、云台、视觉部分设备统一编号*及优先级管理,管理多种监控设备(如:视频设备、报警设备、门禁设备、巡更设备、指纹设备、数字矩阵、副控客户端、WEB服务器、流媒体转发等)
Ø 集中用户认证:完善的集中用户认证管理模式和合理的优先级及冲突检测机制,所有用户通过资源管理认证服务器管理,实现集中的用户优先级,浏览控制权限集中配置管理
Ø 远程配置:设备远程参数配置、维护、软件升级
Ø 校时服务:使网内设备时间统一,同步
Ø 电子地图:电子地图及预案地图的添加、分组、分级设定
Ø 实时监控:实现对系统内的网络音视频信号实时监控浏览
Ø 集中存储:网络视频分类集中存储
Ø 集中回放:实现对系统内的网络音视频信号集中点播回放
Ø 远程控制:远程控制云镜,预置点、扫描线的调用;*的数字(虚拟)PTZ和模拟PTZ功能
Ø 媒体转发:实现系统内多媒体数据流的转发控制功能
Ø WEB服务:集成IE浏览服务器,实现远程IE浏览和控制