品高公开课 | 云和大数据时代的数据管理

小编的话

“技术干货”系列文章意在分享技术牛人的知识干货,每期主题都不一样哟!期待各位读者在文后发表留言,来一场技术上的交流和思想上的碰撞!本期将由品高大数据平台产品经理李伟文带来“云和大数据时代的数据管理”的分享。

分享嘉宾

李伟文,目前就任品高大数据平台——BingoInsightDIG平台的产品经理,专注于大数据和数据分析领域,拥有多个数据分析领域项目经验,14年开始转向数据平台方向的研究,主要负责产品规划、设计和售前支持。

分享正文

大家好,非常荣幸能和大家一起学习和交流,品高有将近10年数据分析领域的实施经验,数据分析产品化是必然结果,所以今天主要跟大家分享一下本人对企业构建大数据平台的一些观点和品高大数据平台BingoInsight的产品设计理念,欢迎大家和我碰撞和切磋。

Hadoop和Spark只是框架并非产品,

Hadoop离企业大数据的期望还有一段距离。

企业使用Hadoop构建平台会面临诸多问题,技术体系庞大选型复杂、开源无服务支撑、集群部署复杂等,Hadoop只解决了数据存储和计算问题,企业还需考虑数据采集、数据处理、数据建模、数据运维、数据开放、数据可视化等一系列的问题;好复杂,感觉不会再爱了。

因此,我们品高大数据平台BingoInsight(以下简称BingoInsight)的定位就是一站式大数据解决方案,帮助企业快速交付数据价值。以下给大家介绍一下BingoInsight的产品特性和设计理念;

第一,存储和计算集群环境:一键交付

企业可自助定义大数据平台存储架构技术及集群配置,Hadoop、Spark、Nosql、RDB数据库、数据库、全文检索等集群均可一键交付,节省了软件部署的诸多时间。

第二,数据采集:只需简单配置即可从多种数据源快速集成数据

可支持的数据源包括Oracle、DB2、Mysql、Sqlserver等主流RDB以及Nosql、MPP、文本、FTP、网页、Excel、Socket、Webservice,采集周期可以是分钟、小时、日、周、月,非常灵活。

第三,数据存储和计算:开放性设计,拥抱不同的存储计算技术,满足不同企业的需求

不限制企业是用hadoop,MPP、RDB作为存储计算,企业可按实际的数据量和应用场景灵活选择。以上BingoInsight支持调度;

第四,数据处理和开发:从场景出发,将常见的数据处理场景模板化,提升数据处理效率

数据进到数据平台后怎样进行处理呢? 我们把企业数据处理的场景做了详细的梳理和抽象,包括报表数据处理、指标数据处理、文本分类、全文索引构建、数据挖掘、提数、数据探索等,我们将这些场景总结沉淀为一个个数据处理的模板库,用户做数据处理和开发时按需选取一个数据处理的模板,然后再通过设置数据处理的一些参数即可进行开发,相当于用户在做数据处理的时候不需要开发或者是少量的开发就可以处理数据。规则设置好之后BingoInsight会自动调度。

第五,数据开放和共享:打破部门壁垒和边界,统一开放数据

去年8月份国务院发布《促进大数据发展行动纲要》,对政府和企业明确提出数据共享和开放要求,BingoInsight通过数据共享开放平台为政府和企业各部门实现内部横向和垂直部门的数据交换和共享,并以数据服务总线将数据统一开放,保障数据访问的安全和效率,提供数据应用市场,统一管理、分发、检索数据应用

第六,数据分析和可视化:让数据尽快应用于生产

通过仪表盘、报表、自助分析、数据地图等分析工具快速连接业务部门和数据,一般情况下 ,业务部门无需再找IT部门提数,如工具无法满足需求,BingoInsight亦提供基于Html5的数据可视化开发框架,提供100多个数据可视化分析组件,快速定制数据应用。

好的,今天就聊这么多,大家如有疑问,欢迎在右下方留言,一起交流!

====================================分割线================================

本文转自d1net(转载)

时间: 2025-01-26 13:48:25

品高公开课 | 云和大数据时代的数据管理的相关文章

云和大数据时代的数据管理

说在前面:术语/定义 大数据:也是数据(白马非马问题),大一点的数据,只是更大.更多.更快,更低 Hadoop/Spark:可以理解是一种数据库,只不过是分布式的,可方便的横向扩展为什么要做BingoInsight大数据管理平台? 内部因素:将近10年数据分析领域的耕耘,需要沉淀 品高云从2009年开始接触数据分析领域.刚开始主要是做数据可视化这一块,而后深入到数据分析和运营监控领域.在将近10年的项目实施过程中积累了将近100多个数据分析型项目的经验.如何把项目中的技术和经验总结沉淀下来,是品

品高公开课 | 基于Docker容器的微服务架构实践

小编的话 "品高公开课"系列文章意在分享技术牛人的知识干货,每期主题都不一样哟!期待各位读者在文后发表留言,来一场技术上的交流和思想上的碰撞! 微服务以一种全新的架构设计模式,牵动了互联网应用从设计到运维整个流程方法论的变革. 而以Docker为代表的容器技术则为微服务理念提供了匹配的实现机制.本周五,将由品高软件工程师陈洪杰带讲述微服务架构的故事. 分享嘉宾 陈洪杰,目前就任品高广州云架构产品部--BingoCloud平台的软件开发工程师,拥有Docker,LXC等多个容器平台的项目

大数据时代激活数据管理新思路

根据分析机构Gartner给出的定义,大数据就是那些具有规模大.速度快.种类多三大特征的信息资产.从海量数据中筛选出有用的信息,然后通过各种手段将信息转化为洞察力,从而做出正确决策,并最终推动业务发展. 通过一系列处理,大数据可以帮助企业制定明智且切实可行的战略,获取前所未有的客户洞察,支持客户购买行为,并构建新的业务模式,进而赢得竞争优势.然而,实践往往会比理论来得更困难.企业要处理好大数据生命周期的每一个环节,就必须采用创新且经济高效的处理方法,并跳出传统的数据管理思维. 什么在掣肘大数据为

大数据时代中国制造业的三个软肋

伴随着中国制造业在全球制造业中扮演的角色越来越重要,如何保持中国制造业的可持续发展,如何在全球范围内进行合理的资源配置和使用,如何进行设计.采购.制造.销售以及提供服务,从而实现利润的最大化?寻找适合企业自身发展的全球化战略和运营模式已经成为一个紧迫的议题. 记者获悉,在10月17日举办的以"中国智造业未来"为主题的第二届全球运营高峰论坛上,主办方特邀请来自企业和学术界人士,就智能化物流.大数据时代制造业的机遇与挑战.企业运营战略的升级.供应链中的服务创新等方面展开讨论与交流. 中国制

IT现状调查:大数据时代 企业面临挑战

[IT168 调查报告]2012-2013中国IT技术趋势大调查活动于2012年10月16日启动,历经1个月的时间.在线调查期间,受到了来自ITPUB.ChinaUnix(以下简称CU)以及其它合作网站的网友的极大关注和积极参与.目前调查已经完满结束,所有的数据都在后台整理和统计之中.本次网上调查共回收调查问卷17,101份问卷,其中合格问卷为14,522份.从整体上看,今年的调查更专注,无论从数量上还是质量上都较去年有比较大的提高. 本次调查的内容涉及:企业信息化.http://www.ali

人工智能时代 云和大数据到底有多重要?

60年前的某个夏天,麦卡锡.明斯基等年轻的科学家们举办了一次聚会,共同研究用机器模拟智能的问题,也是在那时,"人工智能(AI)"的理念正式被提出.如今,人工智能已经应用于语音识别.图像处理器.计算机视觉.机器人等多个领域,甚至击败了围棋九段李世石,这种进步是难以置信的.而这一系列成绩的背后,是海量数据的积累与学习,在没有云的时代,是无法想象的. 人工智能时代 云和大数据到底有多重要?(图片来自The Huffington Post) 人工智能涉及的领域非常广泛,工业.航天.商业都有应用

微软公有云落地郑州 河南企业迎来大数据时代

微软公有云技术落户郑州,但中国的大部分中小企业,特别是河南的企业,还没有做好准备迎接大数据时代的来临.随着郑州枢纽地位的不断凸显,尤其是大数据时代的信息枢纽地位确立,郑州应该从现代服务业上有所突破. 微软对河南市场的开拓更卖力了. 3月10日,微软中国与河南云和软件技术有限公司(以下简称云和软件)战略合作协议签署仪式在郑州举行. 据了解,微软Windows Azure公有云技术落户郑州航空港经济综合实验区,针对河南企业业务发展的现实需求,提供国际一流水准的云平台解决方案,积极推进河南企业转型升级

《相关性准则——大数据时代的高效能之道》一一1.5 演变

1.5 演变 相关性准则--大数据时代的高效能之道 我得到了什么呢?是啊,每个月学一个新主题只是一个游戏,本身没有什么目的.不过,这场游戏却让我意识到,简单易用.信手可得的信息汇成的海洋在不断涨升,若要自由遨游其中,必须开发新技能.新思维方式.新感知过滤器. 信息时代的社会学影响显而易见,这已经有过广泛的探讨.维基百科这个由用户上传资料形成的互联网百科全书就是数字信息重新打造人们求知方式的典型例子.用户自己组织信息.创建信息.传递信息,全然不受物质的限制.这种信息系统是知识及其存储方式的一场革命

阿里车品觉:大数据时代的若干新思考

大数据究竟是什么?大数据未来将走向何妨?美好的大数据理想与现实之间还有多少距离?目前实践了些什么?遇到哪些困难?这些问题值得我们去思考.为此,阿里巴巴数据委员会联合阿里研究院<阿里商业评论>举办了一场大数据思想沙龙.邀请多位在商业世界数据第一线的实战领军人物,就以上问题展开深入的探讨. 车品觉,<决战大数据>作者.阿里巴巴集团副总裁.数据委员会会长. 不同状态的企业,对于数据的关注点不同 我们要非常注意企业所处的状态,包括企业状态和数据状态.一个企业处在不同的状态之下,对于数据的关