CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用

雷锋网(公众号:雷锋网)按:本文根据黄宜华在 CNCC 2016 大数据高峰论坛上所做的报告《 基于内存的统一分布式存储系统 Alluxio 及其应用 》编辑整理而来,在未改变原意的基础上略有删减。文末有福利。

黄宜华, 博士, 教授, 博导,南京大学 PASA 大数据技术实验室负责人。 主要研究领域为大数据并行处理、多核并行计算、云计算、Web信息挖掘集成、语义分析挖掘、中文信息处理、以及计算机应用。目前担任中国计算机学会大数据专家委员会委员、副秘书长,江苏省计算机学会大数据专家委员会主任,江苏省计算机学会云计算专业委员会副主任。

Alluxio 简介

Alluxio(之前名为 Tachyon)是世界上第一个以内存为中心的虚拟的分布式存储系统。它统一了数据访问的方式,为上层计算框架和底层存储系统构建了桥梁。 应用只需要连接Alluxio即可访问存储在底层任意存储系统中的数据。此外,Alluxio的以内存为中心的架构使得数据的访问速度能比现有常规方案快几个数量级。

在大数据生态系统中,Alluxio 介于计算框架(如 Apache Spark,Apache MapReduce,Apache Flink)和现有的存储系统(如 Amazon S3,OpenStack Swift,GlusterFS,HDFS, Ceph,OSS)之间。 Alluxio 为大数据软件栈带来了显著的性能提升。用户可以以独立集群方式(如Amazon EC2)运行Alluxio,也可以从Apache Mesos或Apache YARN上启动Alluxio。

Alluxio 与 Hadoop是兼容的。这意味着已有的Spark和MapReduce程序可以不修改代码直接在 Alluxio上运行。Alluxio 是一个已在多家公司部署的开源项目(Apache License 2.0)。 

Alluxio 是发展最快的开源大数据项目之一。自 2013 年 4 月开源以来,已有超过 100 个组织机构的 250 多贡献者参与到 Alluxio 的开发中。包括阿里巴巴, Alluxio, 百度, 卡内基梅隆大学,IBM,Intel, 南京大学, Red Hat,UC Berkeley和 Yahoo。Alluxio 处于伯克利数据分析栈(BDAS)的存储层,也是 Fedora 发行版的一部分。

系统框架与工作原理

| 系统架构

| 文件组织

| 读写行为

| 容错机制

重要特性与适用场景

| 文件系统接口

| 世系关系

| 键值存储库

| 分层存储

| 更多底层存储系统

| 统一命名空间

| 与计算框架相结合

| Web 界面

| 安全性适用场景

| 配置项设置

| 度量指标系统

实际应用案例介绍

| Barclays 银行

| 百度查询系统

| 去哪儿网大数据留处理系统

| 华泰证券行情数据回放系统

中文文档和国内镜像社区

福利:扫下方二维码,关注 AI 科技评论公众号,后台回复“Alluxio”得现场高清PPT。

本文作者:陈杨英杰

本文转自雷锋网禁止二次转载,原文链接

时间: 2024-12-31 00:09:31

CNCC 2016 | 南京大学黄宜华教授 50 张 PPT 剖析 Alluxio 及其应用的相关文章

CNCC 2016 | 中国工程院高文院士39张PPT带你看懂人工智能60年浪潮

雷锋网(公众号:雷锋网)按:本文根据高文院士今天上午在 CNCC 2016 上所做的大会特邀报告<人工智能--螺旋上升的60年>编辑整理而来,在未改变原意的基础上略有删减. 高文,北京大学信息科学技术学院教授.中国工程院院士.ACM/IEEE Fellow.1991年获日本东京大学电子工程学博士.曾任国家八六三计划智能计算机主题专家组成员.组长,973项目首席科学家.曾任中国科学院计算技术研究所所长.中国科学技术大学副校长.中国科学院研究生院常务副院长.曾任第四届.第五届国务院学位委员会计算机

CNCC 2016 | 中科院蒋田仔教授:脑网络组对类脑计算的启示

所谓"类脑计算",是指仿真.模拟和借鉴大脑神经系统结构和信息处理过程的装置.模型和方法,其目标是制造类脑计算机.上周,蒋田仔教授,中国科学院自动化研究所,脑网络组研究中心.在CNCC 2016的脑科学与类脑计算分论坛里分享了脑网络组对类脑计算的启示的主题报告.雷锋网(公众号:雷锋网)根据现场分享整理了其中亮点: 脑网络组对类脑计算的启示,我们先了解一个大前提. 脑网络组图谱是类脑计算基础. 注:脑网络组是以脑网络为基本单元的组学,它由脑网络节点和节点之间的连接两个基本要素组成:这两个要

CNCC 2016|清华大学张钹院士起底: 后深度学习时代的人工智能

雷锋网(公众号:雷锋网)按:本文根据张钹院士近日在 CNCC 2016 上所做的大会特邀报告<<人工智能未来展望,后深度学习时代>>编辑整理而来,在未改变原意的基础上略作了删减. 张钹:CCF会士,2014CCF终身成就奖获得者,中国科学院院士,计算机专家,清华大学类脑计算研究中心学术委员会主任.曾任信息学院学术委员会主任物联网物联网,智能技术与系统国家重点实验室主任,中国自动化学会智能控制专业委员会主任,计算机学报副主宾,2011年德国汉堡大学授予自然科学名誉博士,2016年获微

CNCC 2016| 中科院包云岗37页PPT剖析 ——如何降低云计算数据中心的成本?

雷锋网(公众号:雷锋网)按:本文根据包云岗教授近日在 CNCC 2016 上所做的大会特邀报告<云计算与标签化冯诺依曼体系结构>编辑整理而来,在未改变原意的基础上略作了删减. 包云岗,于2003年获南京大学理学学士,2008年获中科院计算所博士学位,现为中科院计算所研究员,博士生导师,先进计算机系统研究中心副主任.研究方向主要是计算机系统结构.主要工作包括:(1)博士期间带领小组设计与实现了在国际上具有独特优势的访存监控系统HMTT (Sigmetrics'08),为斯坦福大学.EPFL.清华

CNCC 2016 | 山世光:深度化的人脸检测与识别技术—进展与展望

雷锋网(公众号:雷锋网)按:本文根据山世光在 CNCC 2016 可视媒体计算论坛上所做的报告<深度化的人脸检测与识别技术:进展与问题>编辑整理而来,在未改变原意的基础上略有删减. 山世光,中科院计算所研究员,中科院智能信息处理重点实验室常务副主任.主要从事计算机视觉.模式识别.机器学习等相关研究工作.迄今已发表CCF A类论文50余篇,全部论文被Google Scholar引用9000余次.曾应邀担任过ICCV,ACCV,ICPR,FG等多个国际会议的领域主席(Area Chair).现任I

CNCC 2016 | 中科院谭铁牛:大数据时代的模式识别

编者注:谭铁牛现为中国科学院副院长.中科院自动化所智能感知与计算研究中心主任,他是中国科学院院士.英国皇家工程院外籍院士.发展中国家科学院(TWAS)院士.巴西科学院通讯院士.中国图像图形学学会理事长.中国人工智能学会副理事长.主要从事图像处理.计算机视觉和模式识别等相关领域的研究工作,已出版编著和专著11部,并在主要的国内外学术期刊和国际学术会议上发表论文500多篇,获准和申请发明专利80多项.曾任中科院自动化所所长.模式识别国家重点实验室主任.中国计算机学会副理事长.国际模式识别协会副主席.

本文来自著名物流供应链专家黄刚教授的置顶长微博

本文来自著名物流供应链专家黄刚教授的置顶长微博.此文中,黄刚对2013生鲜电商的发展进行了一个阶段性的总结,并由此展望2014年的生鲜电商发展趋势和爆点.认为2014年的生鲜电商将会随着菜鸟顺丰O2O等物流和商业形式的完善,将出现新的爆发点.是一篇难得的行业年度总结及展望的好文. 2013年12月悄然而至,转眼年就剩最后一个月了.这一年对于生鲜电商来说是一个从草莽到规范化.品牌化.平台化.故事化转型的一年.记得在5月11日,由中国供应链联盟组织的第十一届北京物流经理人活动"生鲜电商物流专场&qu

潍坊市跻身“2016中国智慧城市建设50强”

近日,2016年中国智慧城市发展年会发布了2016中国智慧城市发展水平评估报告,并且公布了2016中国智慧城市建设50强,潍坊荣登全国智慧城市50强. 据了解,<2016中国智慧城市发展水平评估报告>由中国社科院信息化研究中心和国脉互联智慧城市研究中心共同发布,<报告>对全国201个采样城市进行全面评估,此次评估主要根据PSF模型,即智慧城市建设运营三大关键要素:资源流.应用系统.核心目标,共6大类一级指标.17类二级指标及加减分项进行评估,一级指标包括智慧基础设施.智慧治理.智慧

美国黄牛买下50张《刺杀金正恩》电影票无奈650美元打水漂

< 刺杀金正恩>12月30日消息,据科技网站CNET报道,在美国俄亥俄州有这样一位黄牛党,他期待通过倒卖<刺杀金正恩>电影票来获取人生的 第一桶金.但是,当得知索尼将通过在线平台放映这部电影时,他怒而要求影院退票,不过,该影院拒绝了他的要求.故事的主人公名为杰森-贝斯特(Jason Best),他是一个怀揣梦想的男子.当得知索尼将在他所住区域内的唯一一家影院放映<刺杀金正恩>时,他看到了自己创业的希望倒卖电影票.随即,他以每张13美元的价格,入手50张<刺杀金正恩