基于HBase的交通流数据实时存储系统

基于HBase的交通流数据实时存储系统

陆婷 房俊 乔彦克

交通流数据具有多来源、高速率、体量大等特征,传统数据存储方法和系统暴露出扩展性弱和存储实时性低等问题.针对上述问题,设计并实现了一套基于HBase交通流数据实时存储系统.该系统采用分布式存储架构,通过前端的预处理操作对数据进行规范化整理,利用多源缓冲区结构对不同类型的流数据进行队列划分,并结合一致性哈希算法、多线程技术、行键优化设计等策略将数据并行存储到HBase集群服务器中.实验结果表明:该系统与基于Oracle的实时存储系统相比,其存储性能提升了3~5倍;与原生的HBase方法相比,其存储性能提升了2~3倍,并且具有良好的扩展性能.

基于HBase的交通流数据实时存储系统

时间： 2024-11-24 23:15:48

基于HBase的交通流数据实时存储系统的相关文章

基于HBase 的海量能耗数据存储系统

基于HBase 的海量能耗数据存储系统 姜治光 云计算.物联网等新概念与新技术的蓬勃发展,推动了数据中心建设的高速发展,大量能源消耗设备将产生大规模的能源消耗数据.针对数据中心海量能耗数据的存储问题,提出了一种基于HBase 的大规模分布式数据存储架构,使用分布式数据库HBase 实现了数据中心海量能耗数据的存储系统.实验结果证明,该系统具有良好的可用性.可扩展性及存储查询效率. 基于HBase 的海量能耗数据存储系统

基于 HBase 的农业无线传感信息存储系统

基于 HBase 的农业无线传感信息存储系统 周利珍,陈庆奎 无线传感网络由于分布的跨区域性,随着无线传感网络的扩张,如何高效组织存储这些跨区域的大规模的传感数据是近年来研究的热点和难点.根据大规模传感器数量大.分布广的特点,设计使用分层次的分布式存储方案.Hadoop的HBase 是一个分布式的数据库,提供实时读写.随即访问.高可扩展性和高可用性的存储服务.使用HBase 构建两层存储架构,分别存放区域内传感器数据和传感器数据的元数据.实验表明,该系统有良好的扩展性.存储和查询效率,能够满足大

基于HBase的医疗卫生数据中心构建与异构数据库同步研究

基于HBase的医疗卫生数据中心构建与异构数据库同步研究 电子科技大学 方诗伟 为确定数据模型,提出以关系数据库的E-R建模基础提出HBase的C-O-R建模思想,然后综合分析卫生部颁布医疗卫生元数据标准和部分医疗卫生机构的实际情况,实现医疗卫生信息的HBase数据中心构建.为实现把各医疗机构的异构关系数据库中的数据透明无差异的同步到数据中心,提出以下方案.首先,在数据格式上提出异构数据库产生的异构数据进行标准化的XML和JSON通用数据格式封装实现屏蔽异构数据库的数据差异;其次是传输协议简单及

基于Docker的京东大数据实时计算平台

JRC用户需求多样复杂,用户要求的资源配置也大小不一,系统更新部署步骤繁琐,人工操作亦有极大的安全风险,与此同时,用户的资源需求也越来越多,大集群支持.资源节省亦是我们应该重点关注的问题. 本文就来介绍一种我们京东为了解决上述问题而研发的基于docker的实时计算平台. 现状以及问题 storm集群结构: storm拓扑结构: storm瓶颈 从storm架构图可以看出,storm整个集群对zookeeper的依赖非常大,无论是拓扑配置.分配信息.心跳.错误信息,均存储在zookeeper中,而

matlab交通流模型-急求基于Elman神经网络的高速公路动态交通流模型的matlab程序代码

问题描述 急求基于Elman神经网络的高速公路动态交通流模型的matlab程序代码 最近在写关于交通控制的论文,急需交通流模型,由于本人编程能力有限以及时间紧迫,请各位大神帮帮忙,给一个基于神经网络的交通流模型的程序吧,万分感激啊~~

如何基于日志，同步实现数据的一致性和实时抽取?

作者:王东 宜信技术研发中心架构师 目前就职于宜信技术研发中心,任架构师,负责流式计算和大数据业务产品解决方案. 曾任职于Naver china(韩国最大搜索引擎公司)中国研发中心资深工程师,多年从事CUBRID分布式数据库集群开发和CUBRID数据库引擎开发 http://www.cubrid.org/blog/news/cubrid-cluster-introduction/ 主题简介: DWS的背景介绍 dbus+wormhole总体架构和技术实现方案 DWS的实际运用案例 前言 大家好,

基于HBase的大数据存储的应用场景分析

引言 HBase是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,适用于结构化的存储,底层依赖于Hadoop的HDFS,利用HBase技术可在廉价PCServer上搭建起大规模结构化存储集群.因此HBase被广泛使用在大数据存储的解决方案中. 为何使用HBase HBase的优点: 列可以动态增加,并且列为空就不存储数据,节省存储空间. Hbase自动切分数据,使得数据存储自动具有水平scalability. Hbase可以提供高并发读写操作的支持. HBase的缺点: 不能支持条件查询,

基于HBase做Storm 实时计算指标存储

基于 HBase 做 Storm 实时计算指标存储 HBase 实时指标存储是我入职乐视云后对原有的实时系统改造的 一部分.部分分享内容其实还处于实施阶段.架构方案设计的话应该是仁者见仁智者见智,也会有很多考虑不周的地方,欢迎大家批评指正.说不定大家听完分享后好的提议我们会用到工程上,也为后面的实际课程做好准备. HBase 存储设计 Storm 结果如何存储到 HBase HBase 写入性能优化 与传统方案 (Redis/MySQL) 对比 乐视云内部用 Storm 做 CDN,点播,直播流

(课程)基于HBase做Storm 实时计算指标存储

Hi,大家好!我是祝威廉,本来微博也想叫祝威廉的,可惜被人占了,于是改名叫·祝威廉二世.然后总感觉哪里不对.目前在乐视云数据部门里从事实时计算,数据平台.搜索和推荐等多个方向.曾从事基础框架,搜索研发四年,大数据平台架构.推荐三年多,个人时间现专注于集群自动化部署,服务管理,资源自动化调度等方向. 这次探讨的主题是: 基于 HBase 做 Storm 实时计算指标存储 HBase 实时指标存储是我入职乐视云后对原有的实时系统改造的一部分.部分分享内容其实还处于实施阶段.架构方案设计的话应该是仁者