2013年9月至11月,全项目共产出七个重要的阶段性成果,包括:大云2.5正式发布,协办CCF第一届大数据大赛,NoSQL通过验收,江西综合查询库上线,福建大数据中心启动,BCH社区开始运作和公有云试商用启动集成等。
成果1:大云2.5正式发布
l成果描述
2013年12月4日,移动互联网大会上正式发布了大云产品2.5版本。Bill主持了发布仪式,工信部电信研究院余晓辉总工做嘉宾致辞,广东省南方基地总经理林湧双和江西业支副总经理黄震代笔大云用户致辞,研究院云计算系统部总经理孙少陵介绍了2.5版本新特性。
大云2.5重点推出了分布式关系型数据库BC-RDB和分布式弹性块存储系统BC-EBS两款新产品,在BI-PaaS和BC-Hadoop两款产品的功能上也有重大突破,并且发布了BC-Hadoop开源社区,号召各方加入社区,共同研发适合电信运营商的Hadoop版本。
l成果具体产出
《大云2.5发布介绍》
l成果落地和结合一线情况
大云2.5发布的产品BC-RDB已经在江西得到商用,BC-EBS将在南方基地公众服务云上应用。BC-Hadoop已经在安徽、福建得到应用,未来还将支持集团的经分集中化平台。
成果2:协办CCF第一届中国大数据技术创新大赛
l成果描述
中国移动研究院云计算系统部作为协办单位,出色完成第一届中国大数据技术创新大赛的赛题贡献、参赛集群环境支撑、结果评定、技术评审等重要工作。中国移动两道赛题的五个入围队伍,分获两个二等奖和三个三等奖。针对中国移动经分中校园学生用户识别专题、网管中寻呼黑洞分析两个典型大数据场景遇到的瓶颈,获奖队伍成果为现网应用提供了可直接借鉴的优秀解决方案。竞赛阶段,研究院云计算系统部依托大规模计算实验室、采用自主研发的中国移动大云平台BC-EC和BC-Hadoop产品,为248支参赛队伍,提供共计744个虚拟机和大数据处理所需的BC-Hadoop、Hive、HBase、impala等分布式集群环境,为大赛提供了有力、可靠的保障,得到主委会和参赛队伍的一再致谢。
l成果具体产出
竞赛题目《社交圈构建和特定类型用户识别》和《寻呼黑洞分析》
《社交圈构建和特定类型用户识别》29支成功参赛队伍的结果、源代码、技术方案等
《寻呼黑洞分析》7支成功参赛队伍的结果、源代码、技术方案等
l成果落地和结合一线情况
针对中国移动经分中校园学生用户识别专题、网管中寻呼黑洞分析两个典型大数据场景获奖队伍提供的技术方案、程序、源代码可直接在各省公司的现网中部署应用。
成果3:NOSQL资源池通过系统验收
l成果描述
根据NoSQL设备规范、接口规范的需求进行软件的开发和自测。
12月份通过工建处的验收测试,测试用例通过率为100%。
l成果具体产出
《NoSQL 系统测试报告》
l成果落地和结合一线情况
BC-HugeTalbe中标南方基地一级私有云的NoSQL系统,即将为彩云业务提供存储和处理能力。目前正式通过验收测试,等待着与彩云业务的进一步集成。
成果4:江西公司去“IOE”应用试点
l成果描述
结合 “大云”BC-RDB产品,在江西移动的综合查询库系统和终端进销存系统中引入分布式的交易型数据库产品,取代oracle,降低系统建设维护成本,增强系统可扩展性。
l成果具体产出
BC-RDB新的发行版本:BC-RDB 2.0.12版本
l成果落地和结合一线情况
综合查询库系统一期已成功上线运行2个多月,运行稳定,未出现严重bug,在此期间完成了多次功能升级。二期正在导入数据,准备压测。
终端进销存系统已完成了部署、与应用的功能对接、导入数据、压测,性能基本满足业务要求,准备上线。
成果5:福建大数据中心建设启动
l成果描述
在福建大数据平台部署BC-Hadoop2.0;对福建公司和集成商新大陆进行了BC-Hadoop2.0的培训;对大数据平台的配置进行检查和调优;支持大数据平台上线前的测试。
l成果具体产出
培训材料
成果落地和结合一线情况
目前大数据平台共部署了24个节点, 154TB可用空间,用于上网日志处理。
成果6:大云BCH开源社区启动
l成果描述
启动大云BCHadoop开源社区,针对中国移动IT系统对Hadoop的需求,以开源社区模式定制化开发BCHadoop,联合亚信联创、华为的Hadoop开发者形成BCHadoop开源社区的核心成员,开展亿阳、斯特奇、新大陆、北邮、东北大学、中科院计算所等商业及高校作为用户,协作推进BCHadoop。
l成果具体产出
BCHadoop社区:包括成员、BCHadoop发布主页,BCHadoop协作空间、制定BCHadoop基线版本等
l成果落地和结合一线情况
在多个省公司以开源模式推进BCHadoop的落地,包括安徽大数据平台、福建大数据平台以及辽宁、河北、江苏等。
成果7:公有云试商用启动集成
l成果描述
中国移动公众服务云平台采用大弹性计算系统BC-EC和对象存储系统BC-Onest作为基础能力,提供云主机和云存储业务。针对公众服务云在2013年底试商用上线的需求,BC-EC和BC-Onest项目针对现网的需求进行持续开发,BC-EC新增虚机迁移,在线备份,高可用和IP统一管理等约20项新功能,完成了系统高可用,性能优化,运维工具,监控告警等16项新功能开发,并全力支持现网的升级改造。BC-oNest对依赖的底层ZK/Hadoop/HBase进行升级,采用具有HA功能的版本;对oNest自身组件进行升级,提高自身组件服务可用性。新增关键进程监控和告警需求,逻辑机架分布等需求,加强系统运维能力。新增Windows客户端软件,优化业务使用门户需求,提升用户体验。
l成果具体产出
BC-EC2.5 软件产品及开发和升级文档, BC-Onest软件产品及开发和升级文档等
l成果落地和结合一线情况
完成了公众服务云试商用的升级,并提供持续的三线支持。