source作为Table&SQL API的数据源,同时也是程序的入口.当前Flink的Table&SQL API整体而言支持三种source:Table source.DataSet以及DataStream,它们都通过特定的API注册到Table环境对象. 我们先来看Table source,它直接以表对象作为source.这里的表对象可细分为: Flink以Table类定义的关系表对象,通过TableEnvironment的registerTable方法注册: 外部source经过桥接

本文转自Jason's Blog, 原文链接 http://www.jasongj.com/2015/03/10/KafkaColumn1 摘要 Kafka是由LinkedIn开发并开源的分布式消息系统,因其分布式及高吞吐率而被广泛使用,现已与Cloudera Hadoop,Apache Storm,Apache Spark集成.本文介绍了Kafka的创建背景,设计目标,使用消息系统的优势以及目前流行的消息系统对比.并介绍了Kafka的架构,Producer消息路由,Consumer Group

[本文转自于Kafka深度解析] 背景介绍 Kafka简介 Kafka是一种分布式的,基于发布/订阅的消息系统.主要设计目标如下: 以时间复杂度为O(1)的方式提供消息持久化能力,即使对TB级以上数据也能保证常数时间的访问性能 高吞吐率.即使在非常廉价的商用机器上也能做到单机支持每秒100K条消息的传输 支持Kafka Server间的消息分区,及分布式消费,同时保证每个partition内的消息顺序传输 同时支持离线数据处理和实时数据处理 为什么要用消息系统 解耦 在项目启动之初来预测将来项目

商务部意在推进医药流通行业兼并重组的<药品流通行业标准>有望6月出台. 商务部市场秩序司副司长温再兴昨日接受<第一财经日报>采访时透露,商务部目前正在抓紧制定"药品流通行业'十二五'http://www.aliyun.com/zixun/aggregation/21635.html">发展规划"和"药品流通行业标准"等行业发展规划,该标准将直接促成医药流通行业中的兼并重组和企业转型--"按照工作计划,行业发展规划计划

关系型程序的公共部分 下面的代码段展示了Table&SQL API所编写流式程序的程序模式: val env = StreamExecutionEnvironment.getExecutionEnvironment //创建TableEnvironment对象 val tableEnv = TableEnvironment.getTableEnvironment(env) //注册表 tableEnv.registerTable("table1", ...) //或者 tabl

2016 NIPS 仍在如火如荼地进行,各位大佬也频繁在会场露面,并时不时的搞个"大新闻".雷锋网时刻关注着 NIPS 的一切动态,并把大家较为关注的论文以及学术大师的PPT整理出来,方便大家学习和参考. 先打个招呼,正文和文末都有彩蛋. Yann LeCun  Yann LeCun 最近可谓是学术界的网红,上周先后录了三段视频为大家普及人工智能知识,现在又飞到西班牙见见粉丝,也不忘随时更新下 Facebook. Yann LeCun 受邀在今年的 NIPS 大会发表演讲.众所周知,深

对于整个大能源行业而言,调整结构和布局,无疑将是未来几年的主线条. 与之类似,光伏行业同样也面临结构和布局需要调整的问题,这将在2017年成为明显的趋势. 具体而言,调结构无非是涉及到地面电站与分布式的发展重心问题:而布局,则涉及到中东部与西部的电站投资规模的变化. 纵观最近发布的一系列相关规划,如<可再生能源发展"十三五"规划>.<太阳能发展"十三五"规划>,其中的一些新的提法,值得业内关注. 比如,在<太阳能发展"十三五&

信息化的快速发展对持续处于低迷状态的全球经济注入了新的活动,云计算作为近年来新一代信息技术的典型代表得到快速发展.随着云计算.虚拟化技术的逐渐普及,信息产业界正面临着一次重大的技术革命.在此环境下,云计算被迅速应用到多个领域,产业链逐步成熟. 在国内,云计算已受到国家的广泛关注.在<"十二五"国家战略性新兴产业发展规划>中,云计算工程已纳入新兴产业的20项重大工程之一.同时,今年5月,由科技部等部门共同编制的<中国云科技发展"十二五"专项规划>

文/李 波 我们从哪里来?我们到哪里去? 站在"十一五"和"十二五"的交界处,中国经济问过去,问未来.辉煌成就来之不易,"十一五"为实现全面建设小康社会奠定重要基础. 在中国现代化建设"三步走"战略部署的大格局中,"十一五"是党的十六大明确第三步战略部署的阶段性目标后的第一个五年.5年中不断攀上新台阶,综合国力大幅提升,人民生活明显改善. 这是一次过于缠绵的告别. 自从5年前中央提出和谐之意,决意与&quo