Hbase在小米中的应用与实践

  2014年3月25日星期二,CSDN在线培训“HBase在小米中的应用实践”将和大家见面了!

  HBase是一个分布式的、面向列的开源数据库,该技术来源于Chang et al所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”.就像Bigtable利用了Google文件系统(File System)所提供的分布式数据存储一样,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。

  崔建伟,小米基础平台开发组主要从事HBase开发,改进以及线上业务支持工作;关注hbase 社区发展,积极参与社区交流和开发,贡献自己的力量。

  崔建伟表示,随着小米业务的逐渐扩展,特别是大数据时代的到来,原有的关系型数据库MySQL已经逐渐无法满足需求,因此向NoSQL迁移是很自然的事情。小米使用的NoSQL数据库是HBase,之所以选择HBase主要的考虑有两个方面,第一是对运维、容错、可扩展性的支持,第二是HBase的成本相对较低。目前HBase已经支持了小米的米聊以及PUSH服务,并且更多的服务也都在预计迁移当中。

  另外,值得一提的是,小米在HBase迁移过程中做了不少工作,并且将其中的一部分成果开源出来。比如Hadoop的部署监控系统Minos,小米在迁移过程中发现没有一款好的监控系统能够满足他们对自动化和个性化数据的支持,因此自己开发并且免费贡献出来。

  目前云计算和大数据的基础领域,开源十分盛行,并且一些大公司都乐于将自己的成果分享出来,这在国内以前是很难看到的。之所以会出现这种现象,崔建伟认为,因为目前这些领域的技术发展十分迅速,如果一个公司创建了一个开源项目分支并且将其闭源的话,很快就会与开源项目脱节,无法应用最新特性和技术。因此大公司都在这些项目的开源领域活跃,希望能够影响开源项目向符合自己要求的方向前进,而影响的最好方法就是贡献自己的成果。

  此次CSDN在线培训:“Hbase在小米中应用与实践”中,崔建伟会介绍HBase数据模型/总体架构;HBase读写关键路径;小米对于HBase的改进和贡献(局部二级索引、反向scan、异步写模型)以及基于HBase的业务设计模式、业务接入HBase的经验;封装易用的HBaseClient、nameservice、动态配置、在线分流;基于HBase的公有云服务实践(galaxy)业务运维经验:gc/major compact等,最后还会分享一下未来Hbase未来在小米中的应用。

  本次在线培训采用三分屏模式,在听课的同时可以和讲师进行互动,让你感受真实的课堂环境。还在为Hadoop“手艺”无处可学而烦恼?还在为Hadoop企业级应用而头疼?快来看看吧!

  报名地址:http://g.csdn.net/5266813

  讲师介绍:崔建伟,2011毕业于中国人民大学信息学院数据库与智能检索实验室;2011年到2012在腾讯北京搜索平台部工作,主要进行分布式爬虫系统开发;2012年到现在,在小米基础平台开发组,主要从事HBase开发,改进以及线上业务支持工作;关注hbase 社区发展,积极参与社区交流和开发,贡献自己的力量。

  原文链接:http://www.csdn.net/article/2014-03-18/2818814-csdn-train-Hbase

时间: 2024-10-31 07:33:23

Hbase在小米中的应用与实践的相关文章

小米崔建伟答疑HBase在小米中的应用实践

2014年3月25日,CSDN在线培训:HBase在小米中的应用实践圆满结束,本次培训讲师是来自小米的崔建伟,他表示随着小米业务的逐渐扩展,特别是大数据时代的到来,原有的关系型数据库MySQL已经逐渐无法满足需求,因此向NoSQL迁移是很自然的事情. CSDN在线培训是专为广大技术从业人员准备的在线实时互动技术培训,邀请各个行业一线技术工程师分享他们工作中遇见的各种问题以及解决方案,同时给大家带来一些新技术.思路.解决方案! CSDN在线培训以"经典性.实战性.系统性.前瞻性.专业性"

hbase-Hive中在整合HBase的表中插入数据时报错

问题描述 Hive中在整合HBase的表中插入数据时报错 伪分布式模式下整合Hadoop 2.2.0(自己基于Ubuntu 64位系统编译的)+HBase 0.98+Hive 0.14,其他功能操作都正常,但是在Hive中往基于HBase存储的表中插入数据时报错,网上找了很多方法,但都没用,具体错误如下: java.lang.IllegalArgumentException: Can not create a Path from an empty string at org.apache.had

介绍在Java程序中记录日志的最佳实践

本文介绍了在Java程序中记录日志的最佳实践,同时也介绍了如何使用开源软件对日志进行聚合和分析.对于现在的应用程序来说,日志的重要性是不言而喻的.很难想象没有任何日志记录功能的应用程序运行在生产环境中.日志所能提供的功能是多种多样的,包括记录程序运行时产生的错误信息.状态信息.调试信息和执行http://www.aliyun.com/zixun/aggregation/18195.html">时间信息等.在生产环境中,日志是 查找问题来源的重要依据.应用程序运行时的产生的各种信息,都应该通

总结iOS开发中的断点续传与实践_IOS

前言 断点续传概述 断点续传就是从文件上次中断的地方开始重新下载或上传数据,而不是从文件开头.(本文的断点续传仅涉及下载,上传不在讨论之内)当下载大文件的时候,如果没有实现断点续传功能,那么每次出现异常或者用户主动的暂停,都会去重头下载,这样很浪费时间.所以项目中要实现大文件下载,断点续传功能就必不可少了.当然,断点续传有一种特殊的情况,就是 iOS 应用被用户 kill 掉或者应用 crash,要实现应用重启之后的断点续传.这种特殊情况是本文要解决的问题. 断点续传原理 要实现断点续传 , 服

Python之Pandas中Series、DataFrame实践

Python之Pandas中Series.DataFrame实践 1. pandas的数据结构Series 1.1 Series是一种类似于一维数组的对象,它由一组数据(各种NumPy数据类型)以及一组与之相关的数据标签(即索引)组成. 1.2 Series的字符串表现形式为:索引在左边,值在右边. 2. pandas的数据结构DataFrame是一个表格型的数据结构,它含有一组有序的列,每列可以是不同的值类型(数值.字符串.布尔值的). dataframe中的数据是以一个或者多个二位块存放的(

HBase集群中RegionServer崩溃快速恢复探索

摘 要:本文 主要介绍了HBaseRegionServer与Zookeeper间的交互过程,阐述RegionServer崩溃后的恢复机制,并在此基础上提出了几点优化的恢复措施.优化后的恢复措施大大缩短了RegionServer崩溃后的故障恢复时间和业务中断时间,从而提高了HBase集群的稳定性和可靠性. 0 引言 随着互联网和通信行业的迅猛发展,积聚的各种数据呈急剧增长态势.这些海量数据既蕴含着丰富的信息和资源,又面临着信息有效管理和提取的难题.云计算是分布式处理.并行处理和网格计算的发展,可以

大数据分析项目中的“最差”实践

本文讲的是大数据分析项目中的"最差"实践,大数据分析现在很火.只要你浏览任何IT出版物或者网站,你都能看到商务智能供应商和他们的系统集成合作伙伴推销帮助企业实施和管理大数据分析系统的产品和服务.这些广告和大数据分析的新闻以及供应商匆匆提供的案例研究可能会使你误认为大数据是很容易的事,误认为要成功部署只需要一种特别的技术. 如果它是那么简单就好了.当BI供应商乐呵呵地告诉你他们的客户已经成功部署大数据分析项目时,他们不会告诉你还有那么多失败的案例.大数据分析项目令人失望是有一些潜在原因的

大规模深度学习优化技术在PAI平台中的应用及实践

1. 前言 自2012年Deep Learning的代表模型AlexNet在ImageNet大赛中力压亚军,以超过10个百分点的绝对优势夺得头筹之后,依托于建模技术的进步.硬件计算能力的提升.优化技术的进步以及海量数据的累积,Deep Learning在语音.图像以及文本等多个领域不断推进,相较于传统作法取得了显著的效果提升.   工业界和学术界也先后推出了用于Deep Learning建模用途的开源工具和框架,包括Caffe.Theano.Torch.MXNet.TensorFlow.Chai

关于hbase 在mr中出现的问题

Exception in thread "main" java.lang.IllegalArgumentException: Pathname /E:/新建文件夹/marvenjar/org/apache/hbase/hbase-client/1.2.0/hbase-client-1.2.0.jar from hdfs://master:9000/E:/新建文件夹/marvenjar/org/apache/hbase/hbase-client/1.2.0/hbase-client-1.