Apache Beam发布第一个稳定版本

Apache Beam在官方博客上正式发布了Beam 2.0.0。这是Beam有史以来的第一个稳定版本,根据Beam社区的声明,Beam意欲为未来版本发布保持API的稳定性,并让Beam适用于企业的部署。

Beam的第一个稳定版本是Beam社区发布的第三个重要里程碑。Beam在2016年2月成为Apache孵化器项目,并在同年12月升级成为Apache基金会的顶级项目。经过从开始至今的15个月全神贯注的努力,从一个有点混乱的代码库开始,从各大组织合并代码,成就了如今的这个数据处理框架,它是一个真正与引擎和环境无关的数据处理框架。Beam经过三个孵化器版本和三个后孵化器版本的演化和改进,最终迎来了它的第一个稳定版2.0.0。

在从升级为顶级项目至今的5个月时间里,Beam在采用率和社区贡献两个方面都取得了重大进展。Google Cloud、PayPal、Talend等公司都在使用Beam。

Beam 2.0.0改进了用户体验,专注于提升框架在各种执行环境中的无缝移植能力,这些执行环境包括执行引擎、操作系统、本地集群、云端,以及数据存储系统。Beam的其他特性还包括如下几点。

API稳定性和对未来版本的兼容性。 有状态的数据处理范式,支持高效的依赖数据的计算。 支持用户扩展的文件系统,内建支持Hadoop分布式发文件系统及其他。 提供了一个度量指标系统,可用于深入窥见管道的执行情况。
很多贡献者促成了这个稳定版本的发布,他们承担了各种角色的任务:贡献代码、编写文档、测试候选版本、为用户提供支持,等等。

Beam 2.0.0将会在这周于迈阿密举行的“Apache:大数据”大会上首次亮相,会上将会有四个与Beam相关的主题。Beam也将会成为很多开发者见面会的主角,包括“圣何塞数据的未来”见面会、“伦敦斯特拉塔数据大会”、“柏林Buzzwords”,以及“圣何塞DataWorks峰会”。

开发者从今天开始就可以试用Beam,也可以考虑加入Beam社区,或者可以通过Beam的邮件组、问题跟踪系统向社区提供反馈意见和问题。

本文转自d1net(转载)

时间: 2024-07-31 19:38:14

Apache Beam发布第一个稳定版本的相关文章

全自动静态网页生成器(三)——发布第一个可用版本

花费了一天半的时间,终于完成了第一个可用版本.和以前的设想有几点不同: 1.标签格式 参考了大家的意见之后,标签的格式改为:<homer:tag name=value>body</homer:tag>的形式. 2.模版解析方式 以前考虑的方式是解析所有的页面标签(包括html和自定义标签)后,再从中找出自定义标签进行处理.这样的处理方式主要是考虑到以后增加标签的话,无须修改解析模版的方式.现在看来,这是不必要的,无端增加复杂度.现在的方式是对html标签不理睬,而只解析自定义标签.

【开源】开发者新闻聚合APP 1.0.3发布(第一个稳定版本,短期内不再发布新版本)

聚合了博客园新闻.infoq新闻.36kr新闻.oschina新闻.51cto新闻.csdn新闻: 争取做到随时刷随时有开发者的新闻! 目前还只支持安卓APP   最新版本的下载地址:https://github.com/xland/DeveloperNews/blob/master/WebService/DeveloperNews.apk?raw=true 开源代码的地址(包含采集程序.守护程序.APP客户端和WEB服务端):https://github.com/xland/Developer

MariaDB 10.2.6 发布,10.2 系列首个稳定版本

MariaDB 数据库管理系统是 MySQL 的一个分支,主要由开源社区在维护,采用 GPL 授权许可 MariaDB 的目的是完全兼容 MySQL,包括 API 和命令行,使之能轻松成为 MySQL 的代替品. MariaDB 10.2.6 Stable(GA)是 MariaDB 10.2 系列中的首个稳定版本. 更新内容: Notable Changes MyRocks alpha storage engine added (MDEV-9658) Window functions have

Apache Beam: 下一代的大数据处理标准

Apache Beam(原名Google DataFlow)是Google在2016年2月份贡献给Apache基金会的Apache孵化项目,被认为是继MapReduce,GFS和BigQuery等之后,Google在大数据处理领域对开源社区的又一个非常大的贡献.Apache Beam的主要目标是统一批处理和流处理的编程范式,为无限,乱序,web-scale的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的SDK.Apache Beam项目重点在于数据处理的编程范式和接口定义,并不涉及具体执

Apache Beam欲通过uber api获取大数据

文章讲的是Apache Beam欲通过uber api获取大数据,现在,有用的Apache大数据项目似乎每日更新.相比于每次都重新学习的方式,如果可以通过一个统一的API如何呢? 长期开玩笑说Hadoop生态系统是那种如果你不喜欢一个为特定系统的API,等待五分钟,两个新的Apache项目将出现随之而来崭新的API可供学习. 有很多要赶着学习.更糟糕的是,它会导致很多工作迁移到不同的项目仅仅为了保持通用性."我们已经在暴风雨中实现了流媒体解决方案!现在我们已经快速地重做了!我们目前正在重写pac

Apache Beam研究报告

概述 本文不是一篇Beam的入门文档,不会介绍Beam的基本概念:而会主要探讨Beam的表达力,Beam的性能,以及Beam目前在业内的使用情况.面向的读者是那些想使用Beam作为自己公司操作大数据的统一API,但是还有所顾虑的人们. 表达力 离线 Beam里面有两个核心原语: ParDo: 来处理通用的基于单条数据的计算: 每条需要处理的数据会被喂给用户提供的指定的一个函数(Beam里面的@ProcessElement), 然后输出0个或者多个输出. 我们平常熟悉的Filter, Append

Apache Beam 剖析

1.概述 在大数据的浪潮之下,技术的更新迭代十分频繁.受技术开源的影响,大数据开发者提供了十分丰富的工具.但也因为如此,增加了开发者选择合适工具的难度.在大数据处理一些问题的时候,往往使用的技术是多样化的.这完全取决于业务需求,比如进行批处理的MapReduce,实时流处理的Flink,以及SQL交互的Spark SQL等等.而把这些开源框架,工具,类库,平台整合到一起,所需要的工作量以及复杂度,可想而知.这也是大数据开发者比较头疼的问题.而今天要分享的就是整合这些资源的一个解决方案,它就是 A

Android笔记之:App应用之发布各广告平台版本的详解_Android

Android的广告平台是很多的,各市场对各平台的接受程度是不一样的,Android的开发者如果想集成广告基本要考虑下面两个问题:(1)集成什么广告,会赚钱?(2)集成什么广告,不会被市场拒绝?最终的结果往往是折中的.第一个问题是广告平台的判断问题,我没有发言权去评论,本文主要是针对第二个问题展开.解决方案就是打包应用的不同广告平台版本,本文接下来逐一展开相关话题. 1. 基础本文其实是针对<Android笔记之:App模块化及工程扩展的应用>和<Android笔记之:App自动化之使用

Apache Beam初探

Apache Beam Apache Beam provides an advanced unified programming model, allowing you to implement batch and streaming data processing jobs that can run on any execution engine. Apache Beam is: UNIFIED - Use a single programming model for both batch a