EasyDarwin

面向企业级的流媒体平台框架

EasyDarwin开始于2013年,遵循 Apple开源License APSL,为了敏捷流媒体服务器开发和简化企业流媒体应用开发而诞生的。

详细 >>

EasyDarwin联合RedHadoop,构建流媒体大数据处理平台


RedHadoop本次发布的OpenVMC(OpenVideoManagerCenter)以开源Hadoop技术为核心构建,计划联合多家视频开源厂商合作集成,视频海量接入VDCEYE,开源存储和计算RedHadoop,视频数据库SeasBase,图像算法OpenCV团队等,视频直播EasyDarwin,统计分析管理等...

人类已经进入图像音频的大数据时代,基于深度学习,大规模计算等技术正在快速拓展人类视频和图像的处理能力,广大互联网公司也纷纷成立深度学习和图像处理的实验室,Google深度学习的第一个例子是通过大规模计算来自动识别猫,将复杂算法和大数据技术的整合正在成为一种全新的计算模式,同样这些大数据技术也被应用于人脸识别,图像检索,语音识别等领域。

同时基于Hadoop的大数据处理技术也逐渐被更多安防企业使用,视频公司的技术人员正纷纷开始学习大数据和Hadoop课程,通过Hadoop给这个传统的IT行业带去新的生机,从博康,海康,大华等纷纷推出自己的视频系统往Hadoop做迁移。

RedHadoop本次发布的OpenVMC(OpenVideoManagerCenter)以开源Hadoop技术为核心构建,计划联合多家视频开源厂商合作集成,视频海量接入VDCEYE,开源存储和计算RedHadoop,视频数据库SeasBase,图像算法OpenCV团队等,视频直播EasyDarwin,统计分析管理等,OpenVMC向OpenStack学习希望在视频领域构建一个开源开放的实时视频监控平台。系统目标实现可以在分钟级别检索海量视频内容的提取和检索。

我们能看到一个开放开源的大数据视频时代正在到来,以一种全新的开放社区软件协作模式改写传统软件开发软件行业,我们也期待视频图像处理在中国诞生像Apache,OpenStack一样的开源软件组织,让社会不再重复创造轮子,软件知识得到更好传承。

作为ChinaHadoopSummit大会的组织方之一,通过各方协作,红象云腾目标把Hadoop分布式技术和视频图像和大数据,深度学习等相关技术做深度融合。

OpenVMC视频解决大数据处理框架介绍

OpenVMC系统架构包括三大核心模块,海量视频接入NVRVDCEYE,视频离线分析SeasBase,视频实时分析SeasCam多个模块构成同时包含ETL分析,图表展现等处理模块。NVR作为数据源和视频汇集工具提供视频流到三个部分,1.保存本地存储,2.接入到HDFS,3.数据流到队列,SeasBase集成多种视频识别算法,通过使用定时器触发通过MapReduce分布式创建视频索引,SeasCam实时视频分析框架,从队列中读取海量视频数据并分布式分析,最后通过ETL分析并通过图表展现报警。

OpenVMC充分MapReduce分布式处理,提供高速IO和分析能力

通过RedHadoopEnterpriseCRH3的MapReduce模块,实现视频大数据的本地化计算,提高IO吞吐量,充分利用每台机器的CPU资源,从而整体提高运行效率。系统利用万能编解码模块(支持各种视频格式)读取视频信息,并使用图像运动物体识别算法提取运动物体,调用各种算法做识别处理,最后生成索引提供检索查询,提供单机服务器30s检索10小时视频的能力。

OpenVMC集成和支持多种图片识别算法

系统包括:行人识别算法:运动物体识别算法车辆识别算法:车辆颜色,车牌号,车型等多种识别算法,未来会集成人脸识别等。

OpenVMC系统集成流处理(Storm),内存计算(Spark)内存计算和流处理引擎

经典的MapReduce批处理:一个高性能的用于对海量数据进行并行分析和处理的分布式计算框架,实时的Storm流处理:一个分布式的、实时计算框架,让您实时掌控当前最新数据,了解最新动态!高效的Spark内存计算:可扩展的数据分析平台Spark结合Shark,SparkQL等分析组件能够让您的视频分析运算飞起来!通过批处理,流处理,内存计算多种技术整合,实现视频实时分析,批量计算,和实施存储。

OpenVMC视频录像机(NVR-VDCEYE)

ONVIFsupport,StorageonHDFS,Corssplatform

OpenVMC视频存储(StorageRedHadoop-HDFS)

使用C++LibHDFS存,Partition分区加载(/摄像头/日期/小时/),通过HDFSExplorer浏览

OpenVMC视频检索-车牌号检索(SeasbaseSearch)

车牌号识别,车型识别,车辆颜色识别

效果截图:

非结构化表转化成结构化数据表

SQL查询方式:

selectframeid,targetnum,number,color,type,framefrom1641t01221616wherenumber=’赣NB4M66′andcolor=’灰色’andtype=’马自达-马自达6-2011or2012′limit100

OpenVMCSeasBase车辆颜色检索模块



------------------------------ 分割线 ------------------------------
本站文章除注明转载外,均为本站原创或编辑,欢迎大家转载,但请务必注明出处,尊重他人成果,谢谢。
转载请注明:EasyDarwin;非本站文章均来自互联网,转载目的在于传递更多信息,并不代表本站赞同其观点和对其真实性负责。
文章中如果有错误可联系:johnson@easydarwin.org
推荐文章
安防和移动互联网行业比较火热的移动端手机......>
有人问到像美拍、秒拍这些短视频拍摄是怎么......>
最近更新
Easydarwin中大量使用gettimeofday来获取系......>
最近很多EasyDarwin爱好者提出了手机移动端......>
第一个到达的音频RTP包就将作为音频的关键帧......>
打开手机直播立即就能显示出主播视频,其实就......>
h264的功能分为两层,视频编码层(VCL)和网......>
友情链接 | 申请链接
EasyDarwin官方微信!