《Apache Flink 官方文档》前言

本文档针对的是Apache Flink的 1.2.0版本。

Apache Flink是一个分布式流式和批量数据处理程序的开源平台。Flink的核心是流式数据引擎,Flink通过数据流的分布式计算的方式提供数据的分发、通信和容错。Flink也构建了流引擎之上的批处理,覆盖本地迭代上的支持,内存管理和程序优化。

1、第一步

2、迁移指南

对于使用早期Apache Flink版本的用户,我们推荐这个API迁移指南。虽然所有标记为公共的稳定的API的部分仍然受支持(这些公共的API是向后兼容的) ,我们仍然建议将应用迁移到较新的接口上。
对于计划升级生产环境中的Flink系统的用户,我们推荐阅读关于升级Apache Flink的指南

转载自 并发编程网 - ifeve.com

时间: 2024-08-18 03:55:55

《Apache Flink 官方文档》前言的相关文章

《Apache Flink官方文档》 Apache Flink介绍

下面是关于Apache Flink(以下简称Filnk)框架和流式计算的概述.为了更专业.更技术化的介绍,在Flink文档中推荐了一些"概念性"的文章. 1.无穷数据集的持续计算 在我们详细介绍Flink前,复习一下当我们计算数据选择运算模型时,很可能会遇到的一个更高级别的数据集类型.下面有两个观点经常容易混淆,很有必要去澄清它们. (1)两种数据集类型: ①无穷数据集:无穷的持续集成的数据集合. ②有界数据集:有限不会改变的数据集合. 很多现实中传统地认为有界或者批量的数据集合实际上

Apache Storm 官方文档中文版

原文链接    译者:魏勇 About 本项目是 Apache Storm 官方文档的中文翻译版,致力于为有实时流计算项目需求和对 Apache Storm 感兴趣的同学提供有价值的中文资料,希望能够对大家的工作和学习有所帮助. 虽然 Storm 的正式推出已经有好几个年头了,发行版也已经到了 0.10.x,但是目前网络上靠谱的学习资料仍然不多,很多比较有价值的资料都过时了(甚至官方网站自己的资料都没有及时更新,这大概也是发展太快的社区的通病),而较新的资料大多比较零碎,在关键内容的描述上也有些

《Flink官方文档》监控Wikipedia 编辑流(二)

本示例应该能让你开始写自己的Flink程序.为了学习更多,你可以打开我们的基本概念和DataStream API的指南.如果你想学习如何构建一个Flink集群在自己机器上并将结果写入Kafka,请看接下来的激励练习. 激励练习:在一个Flink集群上运行,并将结果写入Kafka 请按照我们的快速开始里面的内容来在你的机器上构建一个Flink分布式,再参考Kafka的快速开始来安装Kafka,然后我们继续. 第一步,我们为了能使用Kafka连接器,需要添加Flink Kafka连接器的依赖.将这个

Apache Storm 官方文档 —— 内部技术实现

这部分的 wiki 是为了说明 Storm 是怎样实现的.在阅读本章之前你需要先了解怎样使用 Storm. 代码库架构 拓扑的生命周期1 消息传递的实现1 Ack 框架的实现 Metrics 事务型拓扑的工作机制1 单元测试2 时间模拟 完整的拓扑 集群跟踪 说明 1 该文内容已过期.2 该文官方文档暂未提供. 转载自 并发编程网 - ifeve.com

《Flink官方文档》示例总览

示例 Java 的示例项目和Scala 的示例项目指导了构建Maven和SBT项目,并包含了一个单词计数程序的简单实现. 监控Wikipedia编辑是一个更复杂的流式分析应用 用 Apache Flink.Elasticsearch和 Kibana 构建实时面板应用是发布在elastic.co上的一个博客,展示了如何用 Apache Flink.Elasticsearch和 Kibana去构建实时面板来解决流数据分析. 捆绑示例 Flink 资源包含了很多流式(java/scala) 和批处理(

《Apache Zookeeper 官方文档》-3 快速指南:使用zookeeper来协调分布式应用

本节内容让你快速入门zookeeper.它主要针对想尝试使用zookeeper的开发者,并包含一个ZooKeeper单机服务器的安装说明,你可以用一些命令来验证它的运行,以及简单的编程实例.最后,为了考虑到方便性,有一些复杂的安装部分,例如运行集群式的部署安装,优化事务日志将不在本文档中说明.对于商业部署的完整说明,请参阅管理员指南. 一:前提准备条件 请看下管理员指南中的  System Requirements . 二:下载 从Apache 镜像里面下载最近的一个稳定版本ZooKeeper 

《Flink官方文档》Python 编程指南测试版(一)

Flink中的分析程序实现了对数据集的某些操作 (例如,数据过滤,映射,合并,分组).这些数据最初来源于特定的数据源(例如来自于读文件或数据集合).操作执行的结果通过数据池以写入数据到(分布式)文件系统或标准输出(例如命令行终端)的形式返回.Flink程序可以运行在不同的环境中,既能够独立运行,也可以嵌入到其他程序中运行.程序可以运行在本地的JVM上,也可以运行在服务器集群中. 为了创建你自己的Flink程序,我们鼓励你从program skeleton(程序框架)开始,并逐渐增加你自己的tra

《Apache Zookeeper 官方文档》-1简介

欢迎光临Zookeeper Apache Zookeeper 是一个致力于开发和管理开源服务器,并且能实现高可靠性的分布式协调框架. Apache Zookeeper是什么 Zookeeper是一个集中式的服务,包括管理配置信息,命名服务,提供分布式的同步,以及提供分组服务等.所有这些类型的服务都在分布式应用中以不同形式在使用. 每次去实现这些服务的时候,都有非常多的工作需要做,比如修复bug, 解决竞争冲突等不可避免的问题. 由于实现这一系列服务的复杂性和难度较大,而我们应用开发一开始略过了这

《Flink官方文档》Python 编程指南测试版(二)

为元组定义keys 最简单的情形是对一个数据集中的元组按照一个或多个域进行分组: reduced = data \ .group_by(0) \ .reduce_group(<do something>) 数据集中的元组被按照第一个域分组.对于接下来的group-reduce函数,输入的数据组中,每个元组的第一个域都有相同的值. grouped = data \ .group_by(0,1) \ .reduce(/*do something*/) 在上面的例子中,数据集的分组基于第一个和第二个