Hbase 学习(六) 配置文件调优

这部分的内容,网上多了去了,都大同小异的,仅作为备忘录,省得需要的时候又要到处查。

1.zookeeper.session.timeout

默认3分钟,zookeeper和hbase通信的超时时间,设置为1分钟或者更少。

2.hbase.regionserver.handler.count

默认为10,很明显不够,在读多,写少的情况下设置为用户的最大数比较安全,但是在写操作比较多的情况下,可能会发生OutOfMemoryError的错误。

3.perf.hfile.block.cache.size

默认是0.2,内存大的可以建议增加。

4.hbase.hregion.memstore.block.multiplier

默认是2,建议增加,is a safety latch that blocks any further updates from clients when the memstores exceed the multiplier* flush size limit.。

5.hbase.regionserver.maxlogs

默认是32,建议减少,这样就会强制region server提高把数据写入硬盘的频率,随后日志就会被删除了。

6.hbase.regionserver.global.memstore.upperLimit /hbase.regionserver.global.memstore.lowerLimit

这两个参数的默认值分别是0.4/0.35,它们是和hbase.hstore.blockingStoreFiles(默认7)相关联的,怎么调整需要看具体情况,书上没说,这点比较恶心。

时间: 2024-09-30 00:27:23

Hbase 学习(六) 配置文件调优的相关文章

Spark学习之Spark调优与调试(7)

Spark学习之Spark调优与调试(7) 1. 对Spark进行调优与调试通常需要修改Spark应用运行时配置的选项. 当创建一个SparkContext时就会创建一个SparkConf实例. 2. Spark特定的优先级顺序来选择实际配置: 优先级最高的是在用户代码中显示调用set()方法设置选项: 其次是通过spark-submit传递的参数: 再次是写在配置文件里的值: 最后是系统的默认值. 3.查看应用进度信息和性能指标有两种方式:网页用户界面.驱动器和执行器进程生成的日志文件. 4.

memcached(六)调优经验

一 监控 查看memcahe服务器的状态,通常我们使用2个命令 1)telnet 127.0.0.1 11211 查看全局 stats 查看slab stats slabs 查看item stats items 2)vmstat 1 -S M 二 调优 根据笔者个人经验,memcached调优需要注意一下几点. 1)节点过热 如果memcached有个别节点容量耗光,同时并发很大.那么需要重新分配一致性hash的服务器分布.或者增加虚拟节点 2)节点预热 如果线上压力非常大,memcache集群

《Java程序性能优化》学习笔记 JVM调优

第五章 JVM调优5.1 Java虚拟机内存模型 1.JVM虚拟机将其内存数据分为程序计数器.虚拟机栈,本地方法栈,Java堆,和方法去等部分. 2.Java虚拟机栈,在Java 虚拟机规范中,定义了两种异常与占空间相关,即StackOverError和OutOfMemoryError.如果线程在计算过程中,请求的栈深度大于最大可用的栈深度,则抛出SOE,如果Java栈可以动态扩展,而在扩展栈的过程中,没有足够的内存空间来支持栈的扩展,则抛出OutOfMemoryError. 栈的大小直接决定了

优酷土豆资深工程师:GC 调优实战

前情概要 对于线上高并发.高吞吐的Java web服务来说,长时间的GC暂停(也叫 stop- the-world)会严重影响系统吞吐.稳定性和用户体验.下文是我们的一个真实线上web系统针对GC调优过程的一个总结.这个系统在调优前,经常会反映有超秒的GC暂停问题,这种GC问题可能会导致调用方(可能是上层服务调用方.负载均衡层或客户端)阻塞.超时.甚至雪崩的情况.我们在系统资源不变的情况下,经过多轮调优,大幅降低了GC的频率和暂停时间. 前期准备 1.统计应用数据(峰值TPS.平均TPS,每秒平

jvm系列(七):jvm调优-工具篇

16年的时候花了一些时间整理了一些关于jvm的介绍文章,到现在回顾起来还是一些还没有补充全面,其中就包括如何利用工具来监控调优前后的性能变化.工具做为图形化界面来展示更能直观的发现问题,另一方面一些耗费性能的分析(dump文件分析)一般也不会在生产直接分析,往往dump下来的文件达1G左右,人工分析效率较低,因此利用工具来分析jvm相关问题,长长可以到达事半功倍的效果来. jvm监控分析工具一般分为两类,一种是jdk自带的工具,一种是第三方的分析工具.jdk自带工具一般在jdk bin目录下面,

Hbase 学习(五) 调优

1.垃圾回收器调优 当我们往hbase写入数据,它首先写入memstore当中,当menstore的值大于hbase.hregion.memstore.flush.size参数中设置的值后,就会写入硬盘. 在hbase-env.sh文件中,我们可以设置HBASE_OPTS或者HBASE_REGIONSERVER_OPTS,后者只影响region server进程. export HBASE_REGIONSERVER_OPTS="-Xmx8g -Xms8g -Xmn128m -XX:+UsePar

HBase性能调优

因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果.所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正. 配置优化 zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Zookeeper间的连接超时时间.当超时时间到后,ReigonServer会被Zookeeper从RS集群清单中移除,HMaster收到移除通知后,会对这台server负责的region

数据有限时怎样调优深度学习模型

迁移学习 所谓迁移学习,就是将一个问题上训练好的模型通过简单的调整,使其适用一个新的问题,可以认为是一种模型调优的"取巧"方法.可以类比人的举一反三能力. 迁移学习的特点 1. 需求数据量少 假设有两个领域,一个领域已经有很多的数据,能成功地建一个模型,有一个领域数据不多,但是和前面那个领域是关联的,就可以把那个模型给迁移过来.比如,我们想做一个化妆品推荐模型,但数据量较少,可以先用一个成型的较为稳定的饰品推荐模型进行调优.跨领域的在学术界也有尝试哦,比如网络搜索可以迁移到推荐,图象识

JVM学习笔记(四)------内存调优

首先需要注意的是在对JVM内存调优的时候不能只看操作系统级别Java进程所占用的内存,这个数值不能准确的反应堆内存的真实占用情况,因为GC过后这个值是不会变化的,因此内存调优的时候要更多地使用JDK提供的内存查看工具,比如JConsole和Java VisualVM. 对JVM内存的系统级的调优主要的目的是减少GC的频率和Full GC的次数,过多的GC和Full GC是会占用很多的系统资源(主要是CPU),影响系统的吞吐量.特别要关注Full GC,因为它会对整个堆进行整理,导致Full GC