中国工程院院士李国杰:现有大数据计算框架亟待提升

【CSDN现场报道】2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办,以推进大数据科研、应用与产业发展为主旨的 2014中国大数据技术大会 (Big Data Technology Conference 2014,BDTC 2014)暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕。

2014中国大数据技术大会首日全体会议中,中国工程院院士,中国科学院计算技术研究所研究员李国杰首先介绍了BDTC与其他论坛的区别:白皮书,对行业现状和未来趋势的解读;没有邀请政府官员,没有大腕,以技术和产业化为导向,侧重于怎么样将大数据技术落地;创新大赛,每年都会有一次,旨在激励技术落地。随后,李院士表示,谈到大数据其实就是谈应用和技术。在应用上,对比其他产业,大数据更晚,从实践转换成主流产业可能需要5-10年。而在技术上,我们主要说计算框架,当下的计算框架仍然是从上层做起,多部分从高级语言的层面出发,从而造成效率问题。

中国工程院院士,中国科学院计算技术研究所研究员 李国杰

以下为演讲实录:

李国杰:

各位上午好!我代表中国计算机学会,大数据专业委员会对到会的人员表示热烈的欢迎,特别对各位演讲的嘉宾,远道而来的嘉宾表示衷心的感谢。中国计算机协会大数据专家委员会成立以来开展了一系列的活动,我们今天这个大会就是专家委员会很重要的一个部分,这个会议跟国内其他论坛不太一样:

第一,我们会议上没有请很多政府官员;第二,没有请很多大腕。我们以技术和产业化为导向的,侧重于怎么样将大数据技术落地,所以得到国内企业界和学术界的高度重视,每年报名特别多。

大数据专家委员会还要发布大数据的白皮书,去年发布一次,今年还要发布一次,详情可见见我们大数据委员会秘书长的讲话。我们对大数据技术发展趋势做一个发布。这些结果像大数据白皮书还有华文出版社正式出版。我们每年有大数据的创业大赛,今年有800多人报名,明年把这个大赛变成按照众包的形式产业化,不是只搞一次,全年都可以举办。

我们现在应该对大数据来讲就两个字就是怎么落地,我们开会请一堆专家讲大数据多么重要,这个东西没有什么意义,各个省市的领导都讲大数据,这个已经不是一个新的东西。大数据的应用我觉得希望在座的各位产业界跨界创新的应用,不是在应用上做一点小的就行,最好是做不了的应用建立产业,而且是远程化的技术,跨界有很多你新的想不到的业务。

我们除了应用之外还要重视系统本身的价值,当下很多系统都是从自然语言、高级语言开始,比如Spark,这一点带来问题就是效率问题,现在只能提高大数据的效率。

除此之外,我们各个地方都在做大数据规划,每个地方都是几百亿几千亿的  ,大数据的实践走向主流产业的时间比地方晚得多,五到十年,这是需要长时间努力的产业。这个需要长期努力,我们会还要继续开下去,希望大家共同努力,把大数据除了产业导向以外,我们很重要一件事情怎么样把大数据用来提高我们国家我们政府治理能力现代化,促进国家公平正义,这个不亚于提高产业,提高GDP,谢谢大家!

更多精彩内容,请关注直播专题 2014中国大数据技术大会(BDTC)  ,新浪微博 @CSDN云计算 ,订阅CSDN大数据微信号。

时间: 2024-10-24 11:10:47

中国工程院院士李国杰:现有大数据计算框架亟待提升的相关文章

一文读懂大数据计算框架与平台

1. 前言 计算机的基本工作就是处理数据,包括磁盘文件中的数据,通过网络传输的数据流或数据包,数据库中的结构化数据等.随着互联网.物联网等技术得到越来越广泛的应用,数据规模不断增加,TB.PB量级成为常态,对数据的处理已无法由单台计算机完成,而只能由多台机器共同承担计算任务.而在分布式环境中进行大数据处理,除了与存储系统打交道外,还涉及计算任务的分工,计算负荷的分配,计算机之间的数据迁移等工作,并且要考虑计算机或网络发生故障时的数据安全,情况要复杂得多. 举一个简单的例子,假设我们要从销售记录中

【独家】一文读懂大数据计算框架与平台

1. 前言 计算机的基本工作就是处理数据,包括磁盘文件中的数据,通过网络传输的数据流或数据包,数据库中的结构化数据等.随着互联网.物联网等技术得到越来越广泛的应用,数据规模不断增加,TB.PB量级成为常态,对数据的处理已无法由单台计算机完成,而只能由多台机器共同承担计算任务.而在分布式环境中进行大数据处理,除了与存储系统打交道外,还涉及计算任务的分工,计算负荷的分配,计算机之间的数据迁移等工作,并且要考虑计算机或网络发生故障时的数据安全,情况要复杂得多. 举一个简单的例子,假设我们要从销售记录中

阿里巴巴大数据计算平台MaxCompute(原名ODPS)全套攻略(持续更新20171122)

  概况介绍 大数据计算服务(MaxCompute,原名ODPS,产品地址:https://www.aliyun.com/product/odps)是一种快速.完全托管的TB/PB级数据仓库解决方案.MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决用户海量数据计算问题,有效降低企业成本,并保障数据安全.本文收录了大量的MaxCompute产品介绍.技术介绍,帮助您快速了解MaxCompute/ODPS. MaxCompute 2.0:阿里巴巴的大数

高可用的大数据计算平台如何持续发布和演进

2016年11月18-20日SDCC 2016中国软件开发者大会,阿里巴巴大数据计算平台首席架构师林伟给我们带来了"高可用的大数据计算平台如何持续发布和演进"的演讲.本文主要谈及大数据系统如何做系统迭代,以及大规模系统因为其大规模没有可能搭建对等的测试环境,需要进行在线测试方面的内容,更有在线测试需要的必要条件等等. 阿里巴巴大数据计算平台需要每天不间断的跑在上万台机器集群上,上面承担阿里核心分析计算任务,有着很高的可靠性和SLA的要求,但是我们同时需要持续不断提高系统的性能,降低成本

院士徐宗本:大数据 大智慧

拥有大数据是时代特征,解读大数据是时代任务,应用大数据是时代机遇.大数据作为一个时代.一项技术.一个挑战.一种文化,正在走进并深刻影响我们的生活.党的十八届五中全会提出,"实施国家大数据战略".实施国家大数据战略,必须理性认识大数据,准确把握其带来的机遇,科学应对其带来的挑战,用大智慧实现大数据的大价值. ◆ ◆ ◆ 理性认识大数据 信息技术革命与经济社会活动的交融催生了大数据.大数据是经济社会.现实世界.管理决策的片断记录,蕴含着碎片化信息.随着分析技术与计算技术的突破,解读这些碎片

蒋步星:轻量级大数据计算引擎

近几年,大数据非常热门,大数据计算的方案也较多,目前,大数据计算机平台有很多,但却越来越沉重,主要是由于这三个方面的原因: 并不是任何事物都需要沉重的大数据平台,许多还是需要轻量级计算. 轻量级计算需求 大数据的技术本质是高性能 提高性能的需求无处不在 不总是有那么大的数据量 低延迟即时响应业务数据量并不 不总是适合部署大数据平台 即时查询常常有被集成需求 临时性数据处理来不及建 设 大数据平台 不总是可以扩容硬件(内存) 大数据开发难度大 大数据平台对SQL查询关注过多 性能比拼的主要阵地 优

JAVA大数据计算突然变慢

问题描述 JAVA大数据计算突然变慢 计算是从从一个ResultSet中遍历读取(非循环读取),并计算. 之前好好的,突然间程序就跑的很慢很慢-- SQL与程序都没有问题的情况下,到底会是什么问题导致? 跑程序是之前和现在都是用myeclipse直接跑的 真心不知道问题在哪,求好心人提点. 解决方案 cpu如果过热,散热不良,会导致计算机突然减速 计算机中别的进程的运行也会干扰到这个进程的运行. 解决方案二: 排除硬件的前提下: 1)单纯数据查询工具中查询同样SQL是否也数据慢? 慢就是DB的问

1.58元/小时起快速体验 Hadoop & Spark ,为你助力大数据计算

随着全球双11狂欢节的到来,阿里云优惠措施惠及中小企业.除充值返现外,E-MapReduce 同步限时打折.1.58元/小时起,快速体验 Hadoop & Spark 等,阿里云为你助力大数据计算. E-MapReduce 是构建于阿里云 ECS 弹性虚拟机之上,利用开源大数据生态系统.包括Hadoop.Spark.HBase,为用户提供集群.作业.数据等管理的一站式大数据处理分析服务. 赶快来这里,点击使用 限时打折优惠 测试体验版:最低至1.58元/小时,快速体验Hadoop.Spark 包

【ATF】林伟:大数据计算平台的研究与实践

  2016 ATF阿里技术论坛于4月15日在清华大学举办,主旨是阐述阿里对世界创新做出的贡献.阿里巴巴集团技术委员会主席王坚,阿里巴巴集团首席技术官(CTO)张建锋(花名:行癫),阿里巴巴集团首席风险官(CRO)刘振飞(花名:振飞),蚂蚁金服首席技术官(CTO)程立(花名:鲁肃)以及来自阿里巴巴集团各部门多位技术大咖齐聚一堂,与莘莘学子分享阿里的技术梦想.   在下午的云计算与大数据论坛上,阿里云资深专家林伟(花名:伟林)带来了以<大数据计算平台的研究与实践>为主题的深度分享.林伟目前负责阿