红象云腾(RedHadoop)公司创始人童小军认为创业是一个从0到1的过程。每个创业者都只能靠自己去经历从0到1的转变,才有资格通过和别人合作完成1到100,即使失败我们还能回归到1从新出发。期望通过别人的1来完成的100往往多是空中楼阁。这个1有很多了,比如养活自己、独立的品牌产品等。
从2012年8月出来创业的时候他通过培训来养家,有大量时间来做自己想做的事情又能解决生存问题。坚持了一年左右积累客户和一定的品牌资源。“我比较幸运,很多客户都是我之前听过我的Hadoop课程,研发的产品和服务率先让客户应用。创业两年多,将创业比作下海,最关键的就是自己能养活自己”,红象云腾创始人童小军表示。
北京红象云腾系统技术有限公司创始人 童小军
据了解,红象云腾(RedHadoop)公司八月底发布了两个产品,基于Linux平台的RedHadoop Enterprise CRH3以及基于Windows平台的 RedHadoop CRH Studio。本文来自对该公司创始人童小军的采访实录。
CSDN:首先请你介绍一下自己、公司及技术团队?
童小军:大家好,我是童小军,我是红象云腾创始人,我们致力于将大数据(Hadoop、Spark、Storm等)分布式技术带入更多中国企业,开展有大数据相关的基础软件平台、应用、解决方案、大数据培训等业务。公司在业界有广泛的渠道和合作渠道,服务客户有石油、电力、银行、保险、互联网、游戏等拥有大数据的企业,客户主要分布于北京、上海、广州、深圳等地区。
目前公司团队有在IT行业工作超过十年以上的软件研发工程师、销售老兵,有图像处理算法背景的工程师、也有在知名发型版本软件公司负责Hadoop培训业务的讲师,还有一批朝气蓬勃的年轻小伙程序员,大量支持我们的兼职销售朋友,帮助我们带来各种市场机会。
RedHadoop的技术团队
CSDN:能否和大家分享一下你们最新产品的战略定位、技术架构以及用到的关键技术?
童小军:RedHadoop Enterprise CRH3:战略定位是一体化大数据平台,以此为基础软件平台层,我们持续开发应用层软件。Hadoop平台已经成为大数据分析的水和空气,重要且开源免费,红象云腾公司的战略是夯实底层软件产品的稳定性,重点在应用软件的开发,已开发了RedDisk 网盘、SeasBase非结构化数据库等应用软件。 最新的CRH3版本软件中整合了三个计算框架:MapReduce批处理框架、Spark 内存计算框架、Storm 流计算框架。囊获了主流计算模型,集成了Mahout、R引擎等数据挖掘组件,集成ETL,调度系统等管理系统。
CRH studio(windows版):RedHadoop CRH Studio 是一键部署Windows Hadoop 开发环境的软件包。 CRH Studio软件包集成了 Hadoop/Hive 等基础组件,通过Windows界面快速启动和配置。提供 HDFS 工具等方面用户导入数据,集成Eclipse plug-in 快速开发 MapReduce应用程序,现在我们已经实现了基于 Windows 平台的图像检索功能等应用软件(SeasBase 非结构化数据库),可以快速将视频运动目标提取并转化成可以检索的元素,比如运动物体大小,颜色等,集成基础的人脸识别功能,未来希望能集成图像识别能力,现在开放出基础软件,图像处理应用软件没有开放。视频计算的需求未来会越到越密集,新闻上经常出现的刑事案件,都需要通过大数据技术来快速 定位,缩短侦破案件排查,获得宝贵营救时间。
CSDN:刚才你提到CRH,这让我想到中国的高铁,这二者有什么联系?近几年来大数据云计算都很火,你们CRH3区别与同类产品,有哪些特点?你们目前只做大数据(Hadoop)吗?
童小军:是的,其实我们的CRH名称是ChinaRedHadoop的缩写,我经常做培训,讲述hadoop、HDFS、MapReduce等概念,很难深刻理解,想到了类比高铁的基本原理。传统铁路是集中动力火车头,高铁是动力分布式列车(Multiple Units,MU),每节车厢都有动力,是城市间纽带连接的重要交通工具。相比原来计算机的集中式架构(IOE),现在分布式处理架构Hadoop和动车原理有神似之处。Hadoop也是每个节点有存储又有计算,提供充沛动力和功能模块带动客户的大数据应用环境。而不是之前一个小型机拖一个存储机柜。我坚信Hadoop会像高铁改变我们生活一样改变数据的存储和处理方式。
RedHadoop Enterprise CRH3主要有一下几个特点:
简易的安装过程。CRH3分布式集群的安装部署非常简单,我们提供全程化的安装部署界面,管理员或程序人员不需要修改任何hadoop配置文件,只需简单地前期准备工作即可。安装界面极大的简化了集群安装的复杂度,降低了误操作录的几率,提高了成功的百分比。快速数据导入导出。Hadoop目前仍属于新技术架构,传统的数据处理模式向hadoop做迁移势必涉及数据迁移。RedHadoop Enterprise CRH3提供了快速的数据迁移功能,无论是从传统的数据库向hadoop平台迁移还是在hadoop平台向传统的关系型数据库迁移CRH3都能够以并行的方式快速的完成数据同步。智能化集群监控平台。CRH3提供智能、专业的集群资源监控管理平台,这个平台将集群资源图形化,以简单易懂的形式将集群的总体状况展现给管理人员。集成了更过更全面的计算框架。CRH3集成内存计算(spark)、流式计算(storm)等业界主流的计算框架。内存计算spark能够极大的提高部分业务的处理速度。CRH3同时集成了sparkR,这意味着R语言程序也可以运行在CRH3的spark上。
另外,云计算作为基础架构已经广泛应用,比如阿里巴巴的ODPS,腾讯云平台,百度最新工具(Query Engine)等。红象云(RedCloud)也在开发中,通过集成OpenStack+Hadoop平台对外提供快速构建Hadoop的基础服务,很快会和大家见面。
CSDN:您是怎样看待开源Hadoop与商业版Hadoop的?你们的RedHadoop Enterprise CRH3 会考虑开源吗?
童小军:我认为既然选择了做如Hadoop这样的开源软件,就得抱着回馈开源的思想去研发。而且不能急于求成,我们开发的组件和更新也会回馈到Apache社区,从开源中来,融化到开源中去。只有这样,产品和团队才能焕发活力。现在我们人力有限,开源贡献较少。长远角度看,做基础软件就像基础科学,很多时候我们是传道者,贡献一点算一点吧。
其次Hadoop已经是大数据的基本标准,通过开源就像大数据生存的水和空气一样重要、免费。Hadoop和大数据事业驱动力首先是兴趣和热爱,Hadoop大数据生意的本质是服务。水是免费的,依然有矿泉水,桶装水的需求。Hadoop大数据基础平台之上的应用软件层,就像手机(Android)操作系统那样还有很大的扩展空间,本质是开源和免费的,通过增值产品和服务实现公司盈利。
就目前来讲很难以公司有限的人力去开发太多基础产品,所以在基础软件部分我们更多的是保证基础软件的稳定和易用。我们开放有 RedHadoop Windows这个产品线。 同时我们提供基于RedHadoop的培训和认证服务。
CSDN:能和我们分享一下你们的一体化软硬件产品吗?可不可以给我们具体介绍一下它的CPU计算能力、内存资源以及存储能力?
童小军:基于经验、结合几家互联网公司部署节点,红象云腾配置设计了RedHadoop BigData Cluster一体机产品,提供一整套软硬件一体机环境。默认三个数据节点,提供3*12个核心CPU计算能力,64*3G内存资源,108TB的存储能力,通过高速网络连接,系统同时还提供Linux操作系 统,RedHadoop Enterprise CRH3软件,并导入上千万图片和一亿多非结构化网页数据。软硬件一体化的设计,让用户购买开箱即用的效果。不断优化效果方便用户从 Oracle,SQLserver等系统导出数据到RedHadoop CRH3中。
CSDN:产品目前的应用场景有哪些,有无一些重量级的客户?
童小军:我们主要客户主要需求特征是:
以为大数据生产环境典型需求:
海量:数据量在TB到PB级别用户,用户群体都过亿、历史数据约万亿条,各省、各功能系统的历史二级数据存储结构,有海量数据集中、统一运营的需求。—这正是Hadoop大数据体系平台的强项,可以海量、高速、分布式、并行、廉价硬件集群的处理海量数据集中地问题。高速:平均每小时产生百亿级数据,需要在分钟级别同步,数据在10分钟内要求可处理、可显示、可统计等。加上各种流程采集设备 和实时的采集时间,都要求具备高速的收集加载数据、高速存储、高速处理的需求。—– Hadoop的mapreduce+Spark+Storm等计算框架,能够把海量任务并行、分性质的加载、处理、再合并,可以用低廉的PC服务器集群架构,满足高速批量和流处理的需求。高效:面对终端用户迅速变化、复杂的需求,要求企业必须提供高质量的BI平台、数据仓库系统、统一管理的系统日志、云平台 等可以二次开发的各种复杂平台。—–Hadoop大数据体系平台提供了高级数据采集、数据清洗ETL、数据分析,最终是要产生智能化数据,提供洞见,更好 的满足用户的需求。这是大数据处理平台能迅猛发展的原因所在。
现在主要客户的需求各异,一般都需要结合Hadoop给各行各业去做对应的定制开发,现在需求第一梯队来自电信行业,第二梯队来自金融 电力等行业。我们总结了各行各业的案例场景,可以到我们官方网站查阅。
CSDN:你们的稳定性怎么样?目前客户关心最多的问题是什么?有什么针对的解决措施?
童小军:现在客户最关心的还是稳定性问题,Hadoop系统承载了存储和计算等核心职能,好比一个软件系统的核心发动机。因为Hadoop系统组件繁多,安装配置和维护都有一定难度,开源组件彼此有一定兼容性问题,同时服务有彼此依赖关系,往往一个底层问题爆发出来会影响整个系统,对应维护管理需要简化工作。
我们开发的CRH3产品通过一体化软件包的方式解决组件安装配置等问题。通过自建集群做大规模的软件压力全自动化测试。在运维管理方面提供完整的监控管理界面。
通过CRH3 Studio 来简化在Windows平台上的Hadoop部署安装难度。未来基于Windows平台 CRH3 Server 版本会简化Windows平台上的Hadoop配置,集群管理等问题。
CSDN:打造这款产品一定遇到不少的挑战吧,你们如何处理和解决?
童小军:Hadoop基础软件产品的开发过程中需要大量基础测试,如何能模拟几百个节点并长期运行是一个难题,我们已经在公司内网搭建了一个生产环境,并导入10TB级别数据进行分析和处理,通过运行大量基础测试测试软件问题。
同时客户环境和需求根据不同行业特性会有较大差异。需要我们长期深入各行业内部去深度定制。
CSDN:能否总结一下创业的一些体会?相应RedHadoop产品的未来有什么规划?
童小军:创业是一个从0到1的过程。每个创业者都只能靠自己去经历从0到1的转变,才有资格通过和别人合作完成1到100,即使失败我们还能回归到1从新出发。期望通过别人的1来完成的100往往多是空中楼阁。这个1有很多了,比如自己造血、独立的品牌产品等。
Hadoop可以分成基础软件、应用软件、服务租用、培训服务等服务模式。在我看来Hadoop生态圈还是缺乏重量级应用程序,如何能将各行各业的应用迁移到Hadoop中,丰富整个大数据的处理和分析应用能力会是我们下一步的重点。
Cloud Edge:中国“云先锋”系列报道 序号 公司名称 成立时间 CEO/CTO 官方微博 公司产品/方向 1. 云适配 2012年 陈本峰
网站适配 2. 友友 2010年
姚宏宇
@友友微博 C、C++、Java产品研发
3. 聚合数据
2010年
左磊
@聚合数据管 移动数据服务 4. Anchora 2009年 鲁为民
MoPaaS和InPaaS
5. 够快 2012年
蒋烁淼 @够快科技
云存储
6. 文思海辉
2012年 吴凯
@文思海辉 OpenStack公有云
7. 搜狐云 2011年 邱英波
SendCloud
8. 联想云存储 2009年 罗予晋
云存储 9. 南京讯之智 2012年 谢晚霞
大数据实时分析 10. 上海圣何赛 2012年
金剑
云管理、云存储
11. 国云科技
2010年
季统凯
@国云科技 云操作系统
12. SSO365 2012年 赵健
云安全、云身份认证
13. ClouDil云方案 2001年
叶滨 @世纪鼎利
通信运营商
14. 多备份
2013年 胡茂华
@木浪 云备份
15. 上海越诚软件 2011年 王炜
基于云的建站软件超市
16. 云智慧 2009年 殷晋 @监控宝 云监控、基于大数据APM 17. 深圳泽云 2012年 何巨彬
高性能存储系统 18. 深圳智冠 2004年 卢慧莉
手静脉生物识别、虚拟化 19. 北京沃安科技 2009年 曹学武 @沃安科技 移动视频技术提供商 20. 星环信息科技 2013年 孙元浩 @星环科技 大数据分析平台 21. 红象云腾
2012年 童小军 @RedHadoop中国
基于Hadoop的大数据平台 备注:2014年9月10日更新,持续更新中......
备注:云先锋系列文章是由CSDN云计算频道打造的,主要报道国内外在云计算、大数据方面具有独特竞争优势的企业,以传播技术为目的,推动中国云计算技术的发展,只有你有云计算或大数据方面独特的技术、产品和服务,你就可以投稿,欢迎投稿weiwei@csdn.net。