揭秘!阿里巴巴"大数据动态屏"系统

北大CIO开源兴趣小组讨论总结:杭州之行,看阿里,华三繁华,西子的妖媚,留下了脚印,也丰满了见识,结下同学师生友谊。

当然我们终归要回归的我们企业自身,哪些东西我们CIO可以借鉴,哪些东西我们可以去尝试?

其中最吸引大家眼球的应该算 "大数据屏"了吧,是否考虑在企业中也构建一个类似系统?

让我们行动行动,看看"大数据动态屏 (Dynamic Bigdata Large Screen) DBLS" 背后的BigData数据可视化技术。

如何在企业中构建阿里巴巴动态屏幕?

数据大屏的对外价值和对内价值: 员工激励,领导视察,友商考察。

系统架构:

硬件部分:

从网络上调查得到消息: 实时数据显示的大屏幕拼接墙是由宁波GQY视讯股份有限公司提供。网站地址: http://www.gqy.com.cn/index.asp

前段软件:

阿里巴巴数据大屏使用的是基于Flex构建的动态图标,其中涉及需要相关软件定制开发工作。

技术分类: Flash,Html5,原生代码

==基于Html5/JavaScript的工具包==

开源软件包: 百度-Echarts http://echarts.baidu.com/doc/example.html

其他Html5补充: http://www.highcharts.com/

==基于Flash的工具包: flex builder ==

商业软件包:fusioncharts http://www.fusioncharts.com/

开源软件包:open-flash-chart http://teethgrinder.co.uk/open-flash-chart/

其他补充:http://www.anychart.com/home/

后端软件: 系统基于Hadoop,Storm,Spark等后台大数据技术。

技术提供商: 比如 红象公司 www.redhadoop.com 美国: Hortonworks Cloudera mapR 三家。

后端数据: 数据由alibaba后台数据系统抽样得到。获取方法 alibaba taobao api , Weibo Api 等。

其他问题

==国内外那些公司开发有开源软件,如何使用? ==

国外:

www.sf.net 最古老的开源软件聚集托管地。

www.github.com 使用社交思路构建的代码托管基地,现在最火爆。

www.apache.org 大数据开源软件多来源于此。

国内:

http://www.oschina.net/ 开源中国社区

http://code.csdn.net CSDN社区

http://code.taobao.org/ 淘宝开源

企业使用开源需要一定的开发背景,使用前最好有开发能力基础。

企业那些场合需要利用Hadoop软件,对于企业技术实力有那些要求和项目投资?

当企业遇到TB级别数据需要快速处理,深度数据挖掘和分析多需要使用Hadoop了。需要一定研发基础。项目投入主要是开发和硬件投入。可以考虑使用阿里云降低前期硬件投入。

Hadoop软件和传统数据仓库分析和挖掘的区别?

核心理念是移动数据多,还是移动计算多。具体看大家数据规模。数据规模大的(TB级别),每天大量新增的。

企业是否需要构建私有云?

不管黑猫,白猫抓到老鼠就是好猫。同样不管私有云和公用云。关键还是能解决企业核心IT问题。(成本,质量,时间,安全等)

基于企业自身业务对于 带宽,硬盘,安全【Xen,Vmware,OpenStack】,还是需要混合云,如果是互联网应用,对于硬盘资源需求不大也可以考虑公有云。学校由于,利用率,场地,教学,环境复杂,保护卡等问题。考虑建设私有云居多。

原文发布时间为:2014-05-03

时间: 2025-01-29 08:07:57

揭秘!阿里巴巴"大数据动态屏"系统的相关文章

阿里巴巴大数据计算平台MaxCompute(原名ODPS)全套攻略(持续更新20171122)

  概况介绍 大数据计算服务(MaxCompute,原名ODPS,产品地址:https://www.aliyun.com/product/odps)是一种快速.完全托管的TB/PB级数据仓库解决方案.MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全.本文收录了大量的MaxCompute产品介绍.技术介绍,帮助您快速了解MaxCompute/ODPS. MaxCompute 2.0:阿里巴巴的大数

阿里巴巴大数据实践之数据建模

随着DT时代互联网.智能设备及其他信息技术的发展,数据爆发式增长,如何将这些数据进行有序.有结构地分类组织和存储是我们面临的一个挑战. 为什么需要数据建模 如果把数据看作图书馆里的书,我们希望看到它们在书架上分门别类地放置:如果把数据看作城市的建筑,我们希望城市规划布局合理:如果把数据看作电脑文件和文件夹,我们希望按照自己的习惯有很好的文件夹组织方式,而不是糟糕混乱的桌面,经常为找一个文件而不知所措. 数据模型就是数据组织和存储方法,它强调从业务.数据存取和使用角度合理存储数据.Linux的创始

品《阿里巴巴大数据实践-大数据之路》一书(上)

7月有人推荐阿里巴巴刚出的这本书<阿里巴巴大数据实践-大数据之路>,到亚马逊一看才是预售状态,拍下直到8月才拿到. 翻看目录一看,欢喜的很,正好出差两天就带在身边,由于在机场滞留超过12个小时,就把它读完了. 用"品"字有以下几个原因,一是市面上充斥着太多的大数据平台技术的书,诸如hadoop,spark等占据了大部,但对于如何管好大数据却缺乏真知灼见,二是这本书的确干货很多,诚意实足,明显来自阿里实操人员的经验,从作者是阿里巴巴数据技术与产品部就可知道,三是内容跟笔者的专

阿里首度公开大数据系统架构《大数据之路:阿里巴巴大数据实践》来了

絮絮叨叨了很久,说阿里数据要出书.每天被催,什么时候写好,什么时候出版.终于,千呼万唤始出版了!!!! 点击阅读详情,即刻试读!!!   曾鸣教授作序 CSDN.ChinaUnix.ITPUB.segmentfault多家技术社区联名力荐 阿里巴巴官方首度公开大数据系统架构与技术细节 <大数据之路--阿里巴巴大数据实践>预售了 书籍内容简介 在阿里巴巴集团内,数据人员面临的现实情况是:集团数据存储已经达到EB级别,部分单张表每天的数据记录数高达几千亿条:在2016年"双11购物狂欢节

专注大数据人才培养 “贵州理工学院-阿里巴巴大数据学院”今秋开学

全国第一所由阿里巴巴和高校合建的大数据学院即将开学.去年12月签约后,"贵州理工学院-阿里巴巴大数据学院"尘埃落定,将成为我国西南腹地培育大数据专业人才的摇篮. 5月25日,贵州理工学院与阿里云宣布"贵州理工学院-阿里巴巴大数据学院"正式启动,将在今年秋季迎来第一批本科学生. "贵州理工学院-阿里巴巴大数据学院"是全国第一所由阿里巴巴与高校联合冠名的大数据人才培养学府,是贵州省人民政府与阿里巴巴战略合作的重要落地项目之一. 大数据学院将按照4年本

品《阿里巴巴大数据实践-大数据之路》一书(下)

今天继续谈阿里的这本书,包括数据服务平台.数据挖掘平台.数据建模.数据管理及数据应用,希望于你有启示. 1.数据服务平台 数据服务平台可以叫数据开放平台,数据部门产出海量数据,如何能方便高效地开放出去,是我们一直要解决的难题,在没有数据服务的年代,阿里的数据开放的方式简单.粗暴,一般是直接将数据导出给对方,我想,现在大多公司的开放应该也是如此吧,虽然PaaS喊了这么多年,但真正成就的又有几个? 即使如阿里,在数据开放这个方向上的探索和实践,至今也有7个年头了,任何关于数据开放毕其功于一役的做法都

遭遇云计算 大数据架构对系统提出挑战

大数据将挑战企业的存储架构及数据中心基础设施等,也会引发云计算.数据仓库.数据挖掘.商业智能等应用的连锁反应.2011年企业会将更多的多 TB(1TB=1000GB)数据集用于商务智能和商务分析:到2020年,全球数据使用量预计暴增44倍,达到35.2ZB(1ZB=10亿TB). 大数据面临的挑战 对于海量的数据信息,如何对这些数据进行复杂的应用成了现今数据仓库.商业智能和数据分析技术的研究热点.数据挖掘就是从大量的数据中发现隐含的规 律性的内容,解决数据的应用质量问题.充分利用有用的数据,废弃

阿里巴巴大数据学院落地成都,计划5年培养2000名高端专业人才

在5月23日的云栖大会·成都峰会上,成都信息工程大学与阿里云联合宣布共建"成都信息工程大学·阿里巴巴大数据学院",组建立足四川.面向全国.放眼全球的新型示范性大数据学院.   阿里云重视对云计算.大数据及人工智能整体产业的培育.这是全国第三所由阿里巴巴与高校联合冠名的大数据人才培养学府,是全国第一所同时开展本科生与硕士研究生培养的大数据学院.   成都信息工程大学由四川省和中国气象局共建,是四川省重点发展.以信息学科和大气学科为重点的多科性大学,入选了中国首批"卓越工程师教育

5年培养2000名高端专业人才 阿里巴巴大数据学院落地成都

中国规模最大的云计算峰会云栖大会 23 日在成都召开,互联网安全.大数据.云生态.人工智能等成为此次大会核心议题.峰会上,成都信息工程大学与阿里云联合宣布共建"成都信息工程大学·阿里巴巴大数据学院",组建立足四川.面向全国.放眼全球的新型示范性大数据学院. 阿里云重视对云计算.大数据及人工智能整体产业的培育.这是全国第三所由阿里巴巴与高校联合冠名的大数据人才培养学府,是全国第一所同时开展本科生与硕士研究生培养的大数据学院. 成都信息工程大学由四川省和中国气象局共建,是四川省重点发展.以