一文读懂物联网大数据产业链

大数据开启了一个大规模生产、分享和应用数据的时代,它给技术和商业带来了巨大的变化。麦肯锡研究表明,在医疗、零售和制造业领域,大数据每年可以提高劳动生产率0.5-1个百分点。物联网时代,大数据在核心领域的渗透速度有目共睹。大数据的产业链可分为标准与规范、数据安全、数据采集、数据存储与管理、数据分析与挖掘、数据运维以及数据应用几个环节,覆盖了数据从产生到应用的整个生命周期。 

  数据标准与规范
  大数据标准体系是开展大数据应用的前提条件,没有统一的标准体系,数据共享、分析、挖掘、决策支持将无从谈起。大数据标准包括体系结构标准、数据格式与表示标准、组织管理标准、安全标准和评测标准。在标准化建设方面,参与单位主要包括中国电子技术标准化研究院、各个数据库公司、数据拥有部门以及各个行业的标准化组织。
   数据安全
  随着海量数据的不断增加,对数据存储和访问的安全性要求越来越高,从而对数据的访问控制技术、加密保护技术以及多副本与容灾机制等提出了更高的要求。另外,由于大数据处理主要采用分布式计算方法,这必然面临着数据传输、信息交互等环节,如何在这些环节中保护数据价值不泄露、信息不丢失,保护所有站点的安全是大数据发展面对的重大挑战。在大数据时代,传统的隐私数据内涵与外延有了巨大突破和延伸,数据的多元化与彼此的关联性进一步发展,使得对单一数据的隐私保护方法变得极其脆弱,需要针对多元数据融合的安全提出。在数据安全环节上主要参与单位包括中国电子科技集团公司第30研究所以及奇虎 360、瑞星等杀毒软件公司。
   数据采集
  政府部门、以 BAT 为代表的互联网企业、运营商是当前大数据的主要拥有者。除此之外,利用网络爬虫或网站公开 API 等途径对网络数据进行采集也是大数据的主要来源。现实世界中的数据大多不完整或不一致,无法直接进行数据挖掘或挖掘结果不理想,需要对采集的数据进行填补、平滑、合并、规格化、检查一致性等数据预处理操作,并且往往需要大量的人工参与,因此数据采集和清洗成为大数据产业链的一个重要环节。
   数据存储与管理
  大数据存储与管理的主要参与者以传统数据库企业为主,国际上主要有 IBM、Oracle、Intel、Green-plum、infor Matri Cloudera 等; 国内主要有中兴、华为、用友、浪潮、托尔思、数据堂、九次方、亿赞普、达梦等。各家企业针对大数据应用开展各具特色的数据库架构和数据组织管理研究,形成针对具体领域的产品。
   数据分析与挖掘
  大数据分析与挖掘的意图主要集中在两方面: 一是从大量的机构结构化和半结构化数据中分析出计算机可以理解的语义信息或知识,二是对隐性的知识,如关联情况、意图等进行挖掘。常用的方法包括分类、聚类、关联规则挖掘、序列模式挖掘、时间序列分析预测等。数据分析与挖掘的核心算法与软件主要掌握在大型数据库公司及高校的手里,国际上主要参与者包括 IBM、甲骨文、微软、谷歌、亚马逊、Facebook 等,国内主要参与单位包括数据库企业、高校、以 BAT 为代表的大型互联网企业等。数据分析与挖掘的能力直接决定了大数据的应用推广程度和范围,是大数据产业的核心。
   数据运维
  由于数据的重要性得到普遍认可,除政府部门不具备数据运维服务条件外,数据的采集者通常就是数据运维者。各地政府方面则通常利用大数据平台建设来推动政府大数据的公开与共享,如云上贵州,吸引个人和企业用户开展创新与创业,积极推动大数据的增值服务。
   数据应用
大数据对传统信息技术带来革命性挑战,正在重构信息技术体系和产业格局。国内以阿里巴巴、百度、腾讯、人大金仓、浪潮、曙光、南大通用为代表的互联网企业、云计算和数据库厂商纷纷加大应用推广力度,在国际先进的开源大数据技术基础上,形成独自的大数据平台构建和应用服务解决方案,以支撑不同行业不同领域的专业化应用。虽然这些企业在平台构建上有着得天独厚的优势,但是在某些具体业务领域,并不擅长或者关切。物联网解决方案提供商航大物联(www.leadtorch.com)发现传统企业以及从事大数据的微型企业是具体业务领域上大数据应用的主力军。应用是大数据价值的体现,是大数据发展的原始推动力。当前大数据的应用正倒逼软件技术、数据架构、数据共享方式的转变,在转变思维过程中需要积极转变思维,明确出数据共享的方式是什么,数据拥有者的利益如何平衡,商业模式如何开展等等。

在大数据时代背景下,让人们越发认识到,比掌握庞大的数据信息更重要的是掌握对含有意义的数据进行专业化处理的技术。如果将大数据比作一种产业,那么这产业盈利的关键点在于,提高对数据的“加工能力”,通过“加工”实现数据的“增值”,这便是大数据关键技术发挥的能力。

时间: 2024-10-28 23:57:05

一文读懂物联网大数据产业链的相关文章

一文读懂物联网、云计算与大数据的关系

ARM是微处理器行业的一家知名企业,设计了大量高性能.廉价.耗能低的RISC处理器.相关技术及软件.技术具有性能高.成本低和能耗省的特点.适用于多种领域,比如嵌入控制.消费/教育类多媒体.DSP和移动式应用等.ARM公司是专门从事基于RISC技术芯片设计开发的公司,作为知识产权供应商,本身不直接从事芯片生产,而是转让设计许可,由合作公司生产各具特色的芯片. 物联网是万物互联,基于互联网为人们提供更便捷.快速服务,物联网首先是基于互联网,把最底层设备的数据采集上来,供人们分析.处理.云服务是由于大

用数字读懂一切 大数据的世界

自20世纪90年代初以来,数字技术已从根本上改变了我们的生活方式.如今,我们即将开始全面转型--将所有以模拟形式记录的人类知识,转换为数字形式.<未来之窗>带您一起回首往昔,畅想未来. 巴伐利亚州立图书馆的藏书,正在被扫描并上传到互联网. 楚泽(Zuse).欧洲核子研究中心(CERN)和扎克伯格(Zuckerberg)--这三个名字标志着数字革命进程中的重要里程碑. 早在1941年,Konrad Zuse在柏林研制出了世界上第一台可以正常工作的计算机.他称这台外形庞大的数字计算机器为"

一文读懂机器学习、数据科学、人工智能、深度学习和统计学之间的区别

在这篇文章中,数据科学家与分析师 Vincent Granville 明晰了数据科学家所具有的不同角色,以及数据科学与机器学习.深度学习.人工智能.统计学.物联网.运筹学和应用数学等相关领域的比较和重叠.Granville 介绍说,由于数据科学是一个范围很广的学科,所以他首先介绍了在业务环境中可能会遇到的数据科学家的类型,你甚至可能会发现你自己原来也是某种数据科学家.和其它任何科学学科一样,数据科学也可能会从其它相关学科借用技术.当然,我们也已经开发出了自己的技术库,尤其是让我们可以以自动化的方

一文读懂BI 商务智能=数据+分析+决策+利益

人类社会从物物交换到货币的产生,到形形色色的交易,产生了我们现在繁荣.复杂的各种商业活动.利益是商务的核心,而商务需要经过买卖双方的交易,谈判,而商品的流通又需要物流.库存,其中业务流程十分繁琐,然而科技进步改善或者正在改变着其形式,人们的工作效率正在极大地提高. 在这个信息化的时代,许多传统业务被信息化手段所取代或者信息化作为其辅助手段.于是乎,在这个时代,所有的人都在谈数据,并且相关的商务数据呈爆炸性指数级的增长.可是,不是所有的数据都是有用的,所以人们需要从中挖掘有用的信息,用以指导现实工

一文读懂大数据计算框架与平台

1. 前言 计算机的基本工作就是处理数据,包括磁盘文件中的数据,通过网络传输的数据流或数据包,数据库中的结构化数据等.随着互联网.物联网等技术得到越来越广泛的应用,数据规模不断增加,TB.PB量级成为常态,对数据的处理已无法由单台计算机完成,而只能由多台机器共同承担计算任务.而在分布式环境中进行大数据处理,除了与存储系统打交道外,还涉及计算任务的分工,计算负荷的分配,计算机之间的数据迁移等工作,并且要考虑计算机或网络发生故障时的数据安全,情况要复杂得多. 举一个简单的例子,假设我们要从销售记录中

【独家】一文读懂大数据计算框架与平台

1. 前言 计算机的基本工作就是处理数据,包括磁盘文件中的数据,通过网络传输的数据流或数据包,数据库中的结构化数据等.随着互联网.物联网等技术得到越来越广泛的应用,数据规模不断增加,TB.PB量级成为常态,对数据的处理已无法由单台计算机完成,而只能由多台机器共同承担计算任务.而在分布式环境中进行大数据处理,除了与存储系统打交道外,还涉及计算任务的分工,计算负荷的分配,计算机之间的数据迁移等工作,并且要考虑计算机或网络发生故障时的数据安全,情况要复杂得多. 举一个简单的例子,假设我们要从销售记录中

【2017最佳机器学习论文】AlphaGo Zero最赏心悦目(一文读懂大咖论文)

前几天与杨静老师和刘江老师,讨论 2017 年人工智能进展时,没来得及说 2017 年最值得读的论文. "什么是最值得读的论文",这个话题,仁者见仁智者见智. 下面,说说我个人觉得今年收获最大的论文: 最赏心悦目:Mastering the Game of Go without Human Knowledge 最有实践价值:Attention Is All You Need 和 One Model To Learn Them All  最有研究潜力:Superhuman AI for

【一文读懂Hinton最新Capsules论文】CNN 未来向何处去

Hinton 上周发表的一篇论文 Dynamic Routing Between Capsules 提出用 Capsule 这个概念代替反向传播,引起广泛关注,大数医达创始人,CMU计算机学院暨机器人研究所博士邓侃用浅显的语言梳理解读了论文.邓侃认为,capsule 作为视觉数学表征,很可能是为了把视觉,听觉.阅读的原本相互独立的数学向量,统一起来,完成多模态机器学习的终极目标. CNN 未来向何处去? 做领袖不容易,要不断地指明方向.所谓正确的方向,不仅前途要辉煌,而且道路要尽可能顺畅. G

独家 | 一文读懂Hadoop(四):YARN

随着全球经济的不断发展,大数据时代早已悄悄到来,而Hadoop又是大数据环境的基础,想入门大数据行业首先需要了解Hadoop的知识.2017年年初apache发行了Hadoop3.0,也意味着一直有一群人在对Hadoop不断的做优化,不仅如此,各个Hadoop的商业版本也有好多公司正在使用,这也印证了它的商业价值. 读者可以通过阅读"一文读懂Hadoop"系列文章,对Hadoop技术有个全面的了解,它涵盖了Hadoop官网的所有知识点,并且通俗易懂,英文不好的读者完全可以通过阅读此篇文