hadoop教程(十一) 性能分析实验初步

【试验目的】

本试验目的是为了总结hadoop相关参数优化对性能的影响。

【试验环境】

硬件环境

本次试验用机4台，配置一致：

CPU：Intel(R) Xeon(R) CPU  E5620  @ 2.40GHz* 16

内存：MemTotal:       32867608 kB64bit

linux版本CentOS release 6.2 (Final)

内核版本2.6.32-220.el6.x86_64

硬盘Model: IBM ServeRAID M5015 (scsi)

Disk /dev/sda: 2997GB

Sector size (logical/physical): 512B/512B

软件环境：

JDK：jdk1.6.0_45

Hadoop：hadoop-1.2.1

【试验数据和程序】

试验所用程序为WordCount计数程序（统计每个字母出现的次数），数据源是“ABCDEABC…”的循环

【试验结果统计和总结】

总结相同的配置，此次试验hadoop中备份数均为1份

导入hdfs的数据分析

性能测试">

可以看出在数据导入环节，系能基本呈现线性。

参数优化结果（所使用数据均为10G）

遗留的问题和今后研究的方向

1.本次试验由于机器有限，所以在大量加入机器后性能提升是否线性有待验证。

2.本次试验的数据混乱度不高，有待加入真实数据进行验证

3.本次试验实在hadoop1.0的环境中做的，有待在2.0中试验。

试验结果总结

对hadoop性能优化性能提高的因素排列如下（按照优化幅度从高到低）：

1.加入combiner

2.增大map和reduce的槽数

3.加大dateNode上jvm参数

4.加机器

5.改变堆的大小

6.IntWriteAble改成VIntWriteAble

7.SecondeNameNode与NameNode分离

8.关闭noatime

查看本栏目更多精彩内容：http://www.bianceng.cnhttp://www.bianceng.cn/webkf/tools/

时间： 2024-08-30 20:57:49

hadoop教程(十一) 性能分析实验初步的相关文章

PHP 性能分析与实验——性能的宏观分析(1)

[编者按]此前,阅读过了很多关于 PHP 性能分析的文章,不过写的都是一条一条的规则,而且,这些规则并没有上下文,也没有明确的实验来体现出这些规则的优势,同时讨论的也侧重于一些语法要点.本文就改变 PHP 性能分析的角度,并通过实例来分析出 PHP 的性能方面需要注意和改进的点. 对 PHP 性能的分析,我们从两个层面着手,把这篇文章也分成了两个部分,一个是宏观层面,所谓宏观层面,就是 PHP 语言本身和环境层面,一个是应用层面,就是语法和使用规则的层面,不过不仅探讨规则,更辅助以示例的分析.

PHP性能分析工具XHProf安装使用教程

  这篇文章主要介绍了PHP性能分析工具XHProf安装使用教程,本文给出详细安装步骤和配置方法以及使用实例,需要的朋友可以参考下 HProf是facebook开源出来的一个php轻量级的性能分析工具,跟Xdebug类似,但性能开销更低,还可以用在生产环境中,也可以由程序开关来控制是否进行profile.基于浏览 器的性能分析用户界面能更容易查看,或是与同行们分享成果.也能绘制调用关系图.在数据收集阶段,它记录调用次数的追踪和包容性的指标弧在动态callgraph的一个程序. 它独有的数据计算的

PHP 性能分析与实验：性能的宏观分析

[编者按]此前,阅读过了很多关于 PHP 性能分析的文章,不过写的都是一条一条的规则,而且,这些规则并没有上下文,也没有明确的实验来体现出这些规则的优势,同时讨论的也侧重于一些语法要点.本文就改变 PHP 性能分析的角度,并通过实例来分析出 PHP 的性能方面需要注意和改进的点. 对 PHP 性能的分析,我们从两个层面着手,把这篇文章也分成了两个部分,一个是宏观层面,所谓宏观层面,就是 PHP 语言本身和环境层面,一个是应用层面,就是语法和使用规则的层面,不过不仅探讨规则,更辅助以示例的分析.

PHP 性能分析与实验：性能的微观分析

在上一篇文章中,我们从 PHP 是解释性语言.动态语言和底层实现等三个方面,探讨了 PHP 性能的问题.本文就深入到 PHP 的微观层面,我们来了解 PHP 在使用和编写代码过程中,性能方面,可能需要注意和提升的地方. 在开始分析之前,我们得掌握一些与性能分析相关的函数.这些函数让我们对程序性能有更好的分析和评测. 一.性能分析相关的函数与命令 1.1.时间度量函数 平时我们常用 time() 函数,但是返回的是秒数,对于某段代码的内部性能分析,到秒的精度是不够的.于是要用 microtime

PHP性能分析工具XHProf安装使用教程_php技巧

HProf是facebook开源出来的一个php轻量级的性能分析工具,跟Xdebug类似,但性能开销更低,还可以用在生产环境中,也可以由程序开关来控制是否进行profile.基于浏览 器的性能分析用户界面能更容易查看,或是与同行们分享成果.也能绘制调用关系图.在数据收集阶段,它记录调用次数的追踪和包容性的指标弧在动态callgraph的一个程序. 它独有的数据计算的报告/后处理阶段.在数据收集时,XHProfd通过检测循环来处理递归的函数调用,并通过给递归调用中每个深度的调用一个有用的命名来避开

php性能分析工具XHProf安装配置使用教程

XHProf是facebook 开发的一个测试php性能的扩展. 安装Xhprof扩展 $ wget http://pecl.php.net/get/xhprof-0.9.4.tgz $ tar -zxvf xhprof-0.9.4.tgz $ cd xhprof-0.9.4 $ cd extension/ $ phpize $ ./configure $ make $ sudo make install 修改php.ini [xhprof] extension=xhprof.so xhprof

Hadoop虚拟化的性能对比和调优经验

虚拟化为Hadoop注入了前所未有的活力,从IT生产管理的角度,表现为以下几点: ·Hadoop和其他消耗不同类型资源的应用一起部署共享数据中心可以提高总体资源利用率: ·灵活的虚拟机操作使得用户可以动态的根据数据中心资源创建.扩展自己的Hadoop集群,也可以缩小当前集群.释放资源支持其他应用如果需要: ·通过与虚拟化架构提供的HA.FT集成,避免了传统Hadoop集群中的单点失败,再加之Hadoop本身的数据可靠性,为企业大数据应用提供了可靠保证. 基于这些原因,vSphere Big Da

用Chrome开发者工具做JavaScript性能分析

你的网站正常运转.现在我们来让它运转的更快.网站的性能由页面载入速度和代码执行效率决定.一些服务可以让你的网站载入更快,比如压缩和CDN,但是让代码执行的更快你要做的事情. 代码中很小的改动都可能对性能造成巨大的影响.快速灵活的网站和可怕的"无响应脚本"对话框可能只有几行代码的差别.这篇文章告诉你如何通过用Chrome开发者工具(Chrome Developer Tools)找到这几行关键的代码. 设置一个基线 我们来看一个简单的"颜色排序器"应用,这个应用展示了一

SQL Server-聚焦INNER JOIN AND IN性能分析（十四）

原文:SQL Server-聚焦INNER JOIN AND IN性能分析(十四) 前言 本节我们来讲讲联接综合知识,我们在大多教程或理论书上都在讲用哪好,哪个性能不如哪个的性能,但是真正讲到问题的实质却不是太多,所以才有了本系列每一篇的篇幅不是太多,但是肯定是我用心去查找许多资料而写出,简短的内容,深入的理解,Always to review the basics. 初次探讨INNER JOIN和IN性能分析 接下来我们看第一篇联接综合知识讲解INNER JOIN和IN的比较分析,我们通过创建