强烈推荐!大数据领域的顶级开源工具大集合

  随着大数据与预测分析的成熟,开源作为底层技术授权解决方案的最大贡献者的优势越来越明显。

  如今,从小型初创企业到行业巨头,各种规模的供应商都在使用开源来处理大数据和运行预测分析。借助开源与云计算技术,新兴公司甚至在很多方面都可以与大厂商抗衡。

  以下是一些大数据方面的顶级开源工具,分为四个领域:数据存储、开发平台、开发工具和集成、分析和报告工具。

  数据存储:

  Apache Hadoop– Cloud Foundry(VMware), Hortonworks, Hadapt

  NoSql 数据库 – MongoDB, Cassandra, Hbase

  SQL 数据库 – MySql(Oracle), MariaDB, PostgreSQL, TokuDB

  开发平台:

  Apache Hadoop平台 – Impala(开源大数据分析引擎); Lingual(ANSI SQL); Pattern(analytics); Cascading(开源大数据应用程序开发框架)

  Apache Lucene和 Solr平台

  OpenStack(构建私有云和公有云)

  Red Hat (搭载 Hadoop 服务器的标准 Linux 发行版)

  REEF(微软的Hadoop开发者平台)

  Storm(集成了各种排队系统和数据库系统)

  开发工具和集成:

  Apache Mahout(机器学习的编程语言)

  Python 和 R(预测分析编程语言)

  分析和报告工具:

  Jaspersoft(报告和分析服务器)

  Pentaho(数据集成和业务分析)

  Splunk(IT分析平台)

  Talend(大数据集成,数据管理和应用集成)

  以上就是我们总结的大数据方面不错的工具,希望对您有所帮助。

  您或许还喜欢:

  1. Hadoop部署小脚本分享

  2. Hadoop完全分布式环境搭建

  3. Hadoop YARN常见问题以及解决方案

时间: 2024-09-26 19:42:58

强烈推荐!大数据领域的顶级开源工具大集合的相关文章

我国首项大数据领域国际标准提案“通关”

在美国孟菲斯ISO/IEC JTC1/SC32"数据管理与交换"分技术委员会2016年全会上,中国代表团提交的大数据技术提案"SQL对MapReduce及与之相关的流数据处理的支持"完胜美国.德国,获得SC32全会决议通过. 会议确认以WG3"数据库语言工作组"和中国国家成员体的名义联合申报新工作项目"数据库语言新技术设计说明 第1部分:SQL对流数据的支持".这是29年来中国首度在国际标准委员会独立提出技术提案并获通过. 据

河南新建60个大数据领域创新平台

5月31日,记者从省发改委获悉,我省新建60个大数据领域创新平台,推动大数据关键技术研发和成果转化应用,促进创新链与产业链深度融合,构建产学研用结合的科技创新体系. 我省引导高等院校.科研机构.行业协会.企业等参与大数据产业关键性技术的研发,由机械工业第六设计研究院有限公司建设河南省制造业大数据应用产业技术研究院.郑州信大捷安信息技术股份有限公司建设河南省大数据安全防护产业技术研究院.河南大学建设河南省时空大数据应用产业技术研究院.河南省国信军民融合产业发展有限公司建设河南省国信大数据处理与安全

2016大数据领域最有“钱”途的十大职业

缺人,这是全国乃至全球大数据圈都挺蛋疼的一件事儿,一边是"大数据热"疯狂蔓延,一边是 "供血"严重不足.企业家们着急得很,服务器齐齐杵那儿,光耗电不输出也很闹心.Gartner公司早前预测,2015年仅凭大数据就能为全球增加440万个就业岗位,但只有三分之一的岗位可以招到人,意味着近300万的岗位"虚位以待". 而2015年,中国的大数据人才缺口已经超过100万人.在技术.资本和市场的强推下,大数据今年发展的势头更加迅猛了,但大数据人才只有46万

DTCC2015:大数据行业应用及开源架构

文章讲的是DTCC2015:大数据行业应用及开源架构,以"大数据技术探索和价值发现"为主题的第六届2015中国数据库技术大会(以下简称大会)近日在京召开.大会吸引了近2500名技术爱好者参与,活动主办方除设置主会场外还开设了多个专场,在<专场19:大数据-商业与开源架构>上来自中海纪元数字技术公司技术总监任广坤,携程网高级架构经理赵俊,搜狐DBA赖亿,博晓通联合创始人董健将为我们带来一场精彩的大数据全方位的知识"盛宴". ▲中海纪元数字技术公司技术总监任

Spark-云计算大数据领域的新霸主

据相关数据显示,2013年上半年中国手机网民规模已经突破5亿大关,预计14年第一季度,国内手机网民规模将超PC端,手机用户超过10亿,3G 用户持续增长,以及4G的强势劲头,都催生移动大数据的爆发.大量新数据无时无刻不在涌现,移动互联网正影响着人类生活的方方面面. 这将是一个前所未有的时代.所有的公司和机构都已经或者正在成为移动互联网组织.所有的公司和机构也终将是云计算大数据组织.移动互联网及云计算大数据的浪潮正在并将最终彻底的变革所有的公司和机构的架构模式.生产模式.服务模式以及管理模式. S

大数据领域33个预测,开启未知的2016

数据平民崛起 甲骨文公司预测一种新型用户:数据平民(Data Civilian)会崛起.该公司称:"虽然复杂的数据统计可能仍局限于数据科学家,但数据驱动的决策不会是这样.在未来一年,更简单的大数据发现工具让业务分析员可以寻找企业Hadoop集群中的数据集,将它们重新做成新的混搭组合,甚至运用探索性机器学习方法来分析它们. "大数据"会消亡 Nucleus Research公司公开发表了不同意见,预测我们所知道的大数据会消亡.该公司称:"在过去两年,每家公司及其人员似

10个大数据领域的杰出公司

本文筛选了近几年在大数据领域具有独特建树的10家企业,涵盖云计算.数据可视化.数据分析应用.商业智能等不同范畴.在大数据领域虽然国外的优秀企业占众多数,但是国内也有不少企业在国数据应用市场创造了不可磨灭的贡献. 本文筛选了近几年在大数据领域具有独特建树的10家企业,涵盖云计算.数据可视化.数据分析应用.商业智能等不同范畴.在大数据领域虽然国外的优秀企业占众多数,但是国内也有不少企业在国数据应用市场创造了不可磨灭的贡献.所以,这10家企业中也列举了一些在某领域具有突出贡献的国内公司,给大家借鉴.(

主要厂商在大数据领域的布局状况

本文讲的是主要厂商在大数据领域的布局状况,大数据所带来的商业机会被越来越多具有技术前瞻性的厂商所重视.商业利润的分布也有了很大变化,据市调机构测算:今年预计总价值50亿美元的大数据市场目前有44%的份额来自服务类产品,31%源于硬件销售,而软件支持则占去了另外25%.这导致传统的IT企业凭借多年的技术积累和客户资源在向大数据领域转型,这个市场也为具有独特解决方案或服务的新兴公司带来了超越前者的机会. 像IBM.惠普.戴尔这样的传统硬件厂商,依靠在软.硬件这样的优势,逐渐向客户提供端到端的解决方案

盘点2016年大数据领域成果及趋势

2016即将结束,外媒KDnuggets日前针对大数据领域在2016年度取得的重大发展,以及2017年度可能出现的变化趋势,询问了8位行业内的顶级专家. 虽然各位专家的意见不尽相同,但从其发言中大约可以总结出一个共通点:大数据研究正在由前几年的新鲜技术变得越来越普及和商业化.同时,由于研究的向前推进,以数据为基础的人工智能.机器学习和物联网等其他各个领域也将会取得越来越大的成果. 1. Craig Brown,大数据.数据科学.数据库技术领域专家.美国知名的青年导师.科技导师,以及作家. 在20