《Unity 3D人工智能编程》——2.7　本章小结

第2章 大数据存储与运算利器-Hadoop 本章主要介绍了Hadoop框架的概念.架构.组件.生态系统以及Hadoop相关编程,特别是针对Hadoop组件HDFS.MapReduce.YARN,Hadoop MapReduce编程做了较详细的介绍.在介绍各个知识点的同时,结合动手实践章节,帮助读者理解对应的内容. 2.1 Hadoop概述 2.1.1 Hadoop简介 随着现代社会的发展,各种信息数据存量与增量都非常大,很多情况下需要我们能够对TB级,甚至PB级数据集进行存储和快速分析,然而单机

1.3 本章小结 通过本章的介绍,相信大家对大数据有了一个比较感性的认识,那接下来学习什么呢? 接下来的内容就是大数据技术涉及的相关技术.在本书中,大数据技术仅指软件层面,比如使用Hadoop生态圈软件等,而非硬件平台.这里的硬件平台主要指的是把所有硬件资源整合,使其虚拟化一个资源池的概念,涉及的技术有OpenStack.亚马逊云平台.阿里云平台等. 在后面的章节中,主要介绍Hadoop生态圈的相关技术,如HDFS.YARN.MapReduce.HBase.Hive.Pig.Spark.Oozi

2.7 本章小结 本章首先介绍了Hadoop的基本概念.原理以及Hadoop生态系统各个框架.接着,介绍了Hadoop的安装配置以及开发环境IDE配置.在此基础上介绍了Hadoop常用的集群命令.Hadoop MapReduce编程开发原理,针对MapReduce编程开发,详细介绍了Map-Reduce原理.单词计数源码分析,结合源码分析了MapReduce原理.在本章的最后两个小节,分别介绍了数据挖掘中的经典算法:K-Means算法.TF-IDF算法,并针对其Hadoop MapReduce实

2.7 本章小结 本章首先介绍了Hadoop的基本概念.原理以及Hadoop生态系统各个框架.接着,介绍了Hadoop的安装配置以及开发环境IDE配置.在此基础上介绍了Hadoop常用的集群命令.Hadoop MapReduce编程开发原理,针对MapReduce编程开发,详细介绍了Map-Reduce原理.单词计数源码分析,结合源码分析了MapReduce原理.在本章的最后两个小节,分别介绍了数据挖掘中的经典算法:K-Means算法.TF-IDF算法,并针对其Hadoop MapReduce实

1.3 本章小结 通过本章的介绍,相信大家对大数据有了一个比较感性的认识,那接下来学习什么呢? 接下来的内容就是大数据技术涉及的相关技术.在本书中,大数据技术仅指软件层面,比如使用Hadoop生态圈软件等,而非硬件平台.这里的硬件平台主要指的是把所有硬件资源整合,使其虚拟化一个资源池的概念,涉及的技术有OpenStack.亚马逊云平台.阿里云平台等. 在后面的章节中,主要介绍Hadoop生态圈的相关技术,如HDFS.YARN.MapReduce.HBase.Hive.Pig.Spark.Oozi

前 言 为什么要写这本书 最早提出"大数据"时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:"数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素.人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来." 早在2012年,大数据(big data)一词已经被广泛提起,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新.那时就有人预计,从2013年至2020年,全球数据规模将增长10倍,每年产生的数据量将由当

1.2 大数据平台 大数据平台有哪些呢? 一般认为大数据平台分为两个方面,硬件平台和软件平台.硬件平台一般如Open-Stack.Amazon云平台.阿里云计算等,类似这样的平台其实做的是虚拟化,即把多台机器或一台机器虚拟化成一个资源池,然后给成千上万人用,各自租用相应的资源服务等.而软件平台则是大家经常听到的,如Hadoop.MapReduce.Spark等,也可以狭义理解为Hadoop生态圈,即把多个节点资源(可以是虚拟节点资源)进行整合,作为一个集群对外提供存储和运算分析服务. Hadoo

1.2 大数据平台 大数据平台有哪些呢? 一般认为大数据平台分为两个方面,硬件平台和软件平台.硬件平台一般如Open-Stack.Amazon云平台.阿里云计算等,类似这样的平台其实做的是虚拟化,即把多台机器或一台机器虚拟化成一个资源池,然后给成千上万人用,各自租用相应的资源服务等.而软件平台则是大家经常听到的,如Hadoop.MapReduce.Spark等,也可以狭义理解为Hadoop生态圈,即把多个节点资源(可以是虚拟节点资源)进行整合,作为一个集群对外提供存储和运算分析服务. Hadoo

第2章 大数据存储与运算利器-Hadoop 本章主要介绍了Hadoop框架的概念.架构.组件.生态系统以及Hadoop相关编程,特别是针对Hadoop组件HDFS.MapReduce.YARN,Hadoop MapReduce编程做了较详细的介绍.在介绍各个知识点的同时,结合动手实践章节,帮助读者理解对应的内容.

第一篇 基 础 篇 第1章 浅谈大数据 当你早上起床,拿起牙刷刷牙,你是否会想到从拿起牙刷到刷完牙的整个过程中有多少细胞参与其中?这些细胞在参与的过程中会结合周围环境(可能是宏观的天气.温度.气压等,可能是微观的分子.空气中的微生物等),由你的意识控制而产生不同的反映.如果我说结合这些所有的信息,可以预测你接下来的0.000 000 01秒的动作,那么,你肯定说,这我也可以预测呀.比如正常情况下,你脚抬起来走路,那么抬起来后,肯定是要落下去的,这算哪门子预测呢?那如果我说可以预测你接下来一个小时