“让尊重事实、推崇理性、强调精确、注重细节的理念，贯穿公共安全工作的全过程。善于从多源的、分散的、碎片化的大数据中找到规律。”——孟建柱
平安城市系统中车辆大数据的发展背景
随着经济快速发展，城市机动车保有量持续增加，不仅加大了交通管理的难度，而且涉车涉驾的案件比例也不断上升，特别是盗抢机动车辆、机动车肇事逃逸以及涉车类刑事案件，严重影响了社会治安状况，损害了人民群众利益。而随着平安城市建设的扩大深入和资源整合，公安通过自建卡口电警系统加强了车辆管控，掌握了大量的车辆卡口数据和图片。
过车信息的爆发式增长得益于三个方面：
一、按照中共中央办公厅和国务院办公厅印发《关于加强社会治安防控体系建设的意见》关于各地加快公共安全视频监控系统建设，全面提高社会治安防控体系的科技化水平要求，前端车辆抓拍点位的建设规划质量、成像效果等直接影响车辆大数据研判系统应用成效的因素都会提出优化和改进措施。包括：根据城市地域特点和布局规划，道路按照“科学布局、围绕实战、建用结合”的方法，通过治安卡口防控系统，基于“圈”、“块”、“格”、“线”、“点”的逻辑布局，在全市构建技术防控“圈”、责任明晰的管控“块”、基本封闭的单元“格”、掌握人车动态的轨迹“线”，以及防控有效的关键“点”，从而实现“区域全面监控、时空无缝衔接、目标全程追踪”的防控效果。
二、前端摄像机的智能化水平提升，使得车牌识别技术在常规视频监控系统中得到快速普及。以往需要在路口部署标准的卡口摄像机，现在可以在路段中间部署简易卡口摄像机，在对普通监控场景录像的同时自动捕获和识别车辆和车牌信息；此外，对社区出入口、加油站、停车场出入口等车辆进出口部署微型卡口摄像机，利用地形封闭的特点，对出入车辆实现自动抓拍和识别。
三、深度学习技术的发展，推动了图片结构化和特征提取的能力。早期建设的卡口系统，智能分析能力弱，图片质量以及车牌识别准确率较低，经常要根据品牌型号颜色等车辆自身固有信息，从海量过车图片或视频中，人工查找目标车辆，由于一线警力有限、劳动强度大、车型种类多、光线角度不确定等因素，无法保证查找的准确性和时效性，特别是突发紧急事件，经常贻误最佳处理时机。通过使用车辆深度学习系统，对前端卡口或简易卡口获取的过车图片进行特征结构化分析识别，充分挖掘海量的卡口过车图片中有价值信息，不但可以提高车牌车型的准确率，而且增加了车辆特征的识别信息，实现了车辆子品牌、车身颜色、不系安全带、驾驶员接打电话、遮阳板状态等识别检测功能，对过车数据进行精细化校正，摆脱了传统单纯依靠车牌进行分析研判的单一手段，为卡口电警数据提供了更加丰富实用的车辆防控应用，可以实现对高危车辆的有效预警防控，优化警力部署进行针对性车辆排查，可以在大量涉车涉驾案件中有效锁定嫌疑车辆，提高刑事侦查效能，使治安防控手段从事后被动侦查向事前主动预警转变。
大数据提升城市治安及管理水平
大数据的价值在于通过对大数据进行高速捕获和实时分析，及时获取核心业务和战略决策所需的关键信息，提升管理决策水平。
依据统计学，任何动态发展的事物，只要有足够多的样本数据，就一定能从样本数据中找到动态发展的规律。数据越多，准确率越高，这就是数据的价值所在。对于商业应用，可以通过数据分析用户行为规律从而提高销售量、分析市场规律从而定点投放广告降低成本；对于公安行业，可以通过数据分析区域性犯罪趋势，提前预防从而降低犯罪率，可以分析交通行为规律，提前做交通疏导，提高交通通畅率。
2016年1月，政法委书记孟建柱同志提出大数据的八个推动，要求：1、推动理念创新，顺应互联网时代的要求，确立合作、互通、共赢理念。2、推动风险共担，运用众创、众包、众智理念，让大众的问题由大众来解决。3、推动“数据文化”，坚持用数据说话，防止拍脑袋随意决策。4、推动创新风险预警机制，探索“人力+科技”、“传统+现代”的风险预警模式。5、推动科技运用创新，大数据表示的是过去，但表达的是未来，得数据者得未来。6、推动运用新技术，加强基层基础建设，把“不起眼”的信息汇集起来。7、推动社会信用体系建设，坚持推行实名制和保护公民个人信息安全并重。8、推动国家信息安全维护，避免被他国“窃夺”数据信息控制权。
大数据通过对海量数据的整合和挖掘，揭示传统技术方式难以展现的关联关系，还可以预警风险，及时切断风险链。例如：
针对堵车现象，实时采集车流数据，自动控制信号灯，让堵车能有所缓解。
针对城乡结合部“治安盲区”，采集人口流动信息，分析出潜在风险，警力针对性地科学调配。
针对保险理赔，通过社会信息搜集分析系统，上海等地正积极探索商业保险公司参与社会治理，将保险事务由“事后理赔”转为“事先风险防范”。
针对聚集疏导，通过关键词搜索技术、热力图技术、电子巡逻技术等，探索预测人群聚集苗头和动向，人员过密时及时提示预警，适时分流人群。
针对犯罪热点，集成公安专业数据，实时掌握犯罪轨迹、预判犯罪热点，提高防范打击犯罪的水平。
针对安全生产，工程建设特别容易出事，建立工程建设监管和信用平台，以大数据为依托，“全程留痕”，让监管“无死角”。
车辆大数据实际使用中面临的问题
大数据的特征是大量性（规模超大、不断攀升）、高速性（高速产生、处理高效）、多样性（种类多样、来源多样）、低密性（有用数据提纯）。海量数据给常规技术（获取存储管理、处理传递共享、关联聚类分析）带来了众多挑战——虽然数据很多，但是有用的数据只有34%，好用的数据仅有7%，被分析的数据更是少到只有1%。如何在海量的数据中提取出有价值的信息需要多学科多技术的研究。当前的特点是大数据、小模型、小定律交叉，即使是同一类问题，每个系统也都不一样，所以模型和程序要针对数据设计。结构化数据通过数据库或者数据仓库解决，半结构化数据使用网页和搜索引擎等技术解决，非结构化数据使用深度学习、网络交互和群体智能解决。
干警在实战使用中，最主要的操作应用是查询车牌信息和其他过车记录以便掌握线索。面对动辄几十亿、上百亿甚至千亿级别的海量过车数据的存储和查询压力，如何进行可靠存储和高效应用？传统的普通关系型数据库解决方案和技术手段存在检索难、并发难、挖掘难、扩容难、应用难等一系列问题，速度慢、准确性差，需要投入大量的精力和资源进行技术升级改造。因此，及时准确获取各类相关数据并构建大数据处理模型是建设平安城市大数据中心的前提，而这一难题目前正逐步通过先进的大数据技术进行解决。
车辆大数据的几项关键技术
1、海量数据检索
数据检索作为大数据最基本的应用，分布式内存检索引擎通过将海量数据在集群各个节点创建索引，并高速缓存在各节点内存，节点之间通过分布式特有的网络通信技术，用最小的代价将计算和读取数据完成汇总。当然，基于智慧城市车辆大数据中数据模型的特点，还要对分布式内存检索引擎的机制做专门的优化，才能实现千亿级数据多条件组合的秒级查询。
针对百亿级以上数据，大数据检索的硬件服务器需要考虑SSD固态硬盘，核心数据存储在固态硬盘，可以提高磁盘的读取速度，在分布式并行计算的同时，进一步提升了数据的检索效率，也为数据的稳定性提供了重要保障。
2、大数据研判分析
目前比较先进的方式是流式处理与批量处理相结合，以Hbase数据仓库为数据源，针对车辆大数据研判分析，可以提供多样化的应用功能，既满足实时在线的数据处理需求，又支持海量数据的线下分析。例如，天地伟业Easy7公安实战平台的信息深度研判系统提供了多点碰撞、区域徘徊、伴随车辆、昼伏夜出等将近20种技站法以及各种流量统计和态势分析，都是在数据挖掘中将流式处理技术、数学统计算法、遗传算法、神经网络算法、贝叶斯判别、机器学习等算法结合起来，并针对现场用户实际需求研发出来。
基于Hadoop技术框架
车辆大数据系统架构
资源接入层：实现各类前端系统的综合接入，包括电警卡口系统、简易卡口系统、公安自建视频监控系统以及社会资源监控系统。
数据接入层：实现平台间的数据对接和分类汇聚整理，卡口平台和电警平台的非结构化和半结构化过车数据用于深度识别分析，六合一平台、车驾管库、盗抢库等结构化数据可接入车辆大数据。
数据处理层：通过图像特征解析，提取图片中关键信息，包括车牌、车标、车型、车身颜色、车辆子品牌、主副驾驶未系安全带、驾驶员打手机、夜间遮阳板状态等。Easy7车辆深度识别平台就是在数据处理层为系统提供分析引擎。
实战应用层：为公安用户提供面向实战的应用平台，在大数据支撑下可以提供包括车辆信息综合查询、以图搜图、车辆技战法、稽查布控、违法数据统计等功能，使视频图像数据的研判挖掘应用更有针对性，提高了对犯罪行为的精确打击。
车辆大数据分析检索系统的应用
以天地伟业推出的Easy7大数据分析检索系统为例，该系统立足平安城市系统建设应用，结合智慧城市系统规划需求，支持在海量大数据信息中快速检索和研判分析。该系统可全面接入公安自建监控网、社会面监控资源以及主流厂家的交通卡口和电警设备，将采集到的数据以结构化语义存储。系统采用基于大规模集群分布式并行运算存储的Hadoop作为底层数据分析存储框架，在工作调度、负载平衡、容错容灾、设备运维等方面进行了深度整合，保证了大数据访问的可靠性、安全性和高性能，彻底消除了传统存储系统的瓶颈，可以满足高带宽和高并发的海量数据存取需求。系统将音视频信息和用户业务产生的结构化数据构建成图像资源特征库，使用Hbase进行分布式存储，解决了传统关系型数据库在超大规模和高度并发方面的限制，为百亿级别的数据量提供秒级访问性能，并针对各行业对业务数据的实际需求应用，构建了多样化的数学分析模型，提供了直观的图形化数据结果展现。
该系统提供的功能包括：
1、分类检索：按照行人、三轮车、汽车分类检索，点击结果可播放相应图片或者对应片段的视频。
2、大数据全文检索：支持精确车牌查询、模糊车牌查询、路口过车查询、区域过车查询、车辆类型查询、车辆品牌查询、无牌车查询、车身颜色查询，还支持多种条件组合查询，可在秒级提供检索结果。例如在一个月内的过车记录中对车牌号码进行模糊查询，可在2秒返回结果。
3、车辆研判分析：为车辆信息深度研判系统提供应用计算的加速作用，在车辆多点碰撞、初次入城分析、跟车策略分析、出入案发现场车辆分析、伴随车辆分析、车辆频次分析、连续违法分析、落脚点分析、频繁入城分析、频繁夜出分析、弃置车辆分析、区域徘徊分析、疑似假**、昼伏夜出分析、嫌疑套**等技战法策略中可以大幅提升运算效率。系统基本可在10秒内提供检索结果。
车辆大数据分析检索系统的应用
车辆大数据分析检索系统是针对数据快速增长的云存储、云计算、大数据等多种综合技术集合，不仅能够轻松处理海量的音视频等结构化数据，还能结合车辆信息深度研判系统发掘视频图片及数据中的关联情况，为业务处理和决策分析提供有力支持。
本文转自d1net（转载）