Hadoop中pid文件存储

  我的hadoop集群部署在自己电脑虚拟机上,有时候我是挂起虚拟机,第二天再打开发现有些线程就挂了,比如namenode,好奇怪,当时看了一些帖子说是和pid存储有关,找到log看到找不到pid。因为基于java开发的程序,想要停止程序,必须通过进程pid来确定,而hadoop和hbase默认的情况下,会把pid文件存储在Linux上的/tmp目录的某个目录,进程名命令规则一般是框架名-用户名-角色名.pid,而默认情况下,linux的tmp里面的东西,一天会删除一次。

  其实每次不用的时候挂壁,用的时候开启就行,只不过很麻烦,我写了脚本没成功,才挂机,一般不要挂起。

一、Hadoop配置

  (1)修改hadoop-env.sh 
  修改如下,如果没有下面的设置,可以直接添加: 

export HADOOP_PID_DIR=/ROOT/server/pids_hadoop_hbase
export HADOOP_SECURE_DN_PID_DIR=/ROOT/server/pids_hadoop_hbase 

  上述配置,影响 
  NameNode 
  DataNode 
  SecondaryNameNode 
  进程pid存储 

  (2)修改mapred-env.sh 

export HADOOP_MAPRED_PID_DIR=/ROOT/server/pids_hadoop_hbase 

  上述配置,影响 
  JobHistoryServer 
  进程pid存储 

  (3)修改yarn-env.sh 
  修改或者添加(不存在此项配置时),这里面我没有找到pid的环境设置变量,所以就直接添加了 

export YARN_PID_DIR=/ROOT/server/pids_hadoop_hbase 

  上述配置,影响 
  NodeManager 
  ResourceManager 
  进程pid存储

二、Hbase的配置 

 

  修改hbase-env.sh 

export HBASE_PID_DIR=/ROOT/server/pids_hadoop_hbase 

  上述配置,影响 
  HMaster 
  HRegionServer 
  进程pid存储 

时间: 2024-09-26 20:20:46

Hadoop中pid文件存储的相关文章

Hadoop上小文件存储处理

Hadoop–小文件存储处理 本篇文章项目是Cloudera论坛中无意中看到的,虽然原文写于2009年,但是当前开来Hadoop的小文件存储方案并没有很好的解决方案,所以感觉作者写的很好,也很详细,于是就抽空翻译了.本次翻译主要针对对Hadoop感兴趣和工作中使用到Hadoop的开发人员提供有价值的中文资料,希望能够对大家的工作和学习有所帮助. 由于我英语水平有限,部分翻译虽能了解其大意,但是却没法很好的表达出来,所以有些地方翻译的不是很好.同时也由于能力见识有限,翻译过程中难免出现个人的主观或

数据库-mac中mysql文件存储在哪里的

问题描述 mac中mysql文件存储在哪里的 小白刚接触数据库,自己在慢慢琢磨. 请问在mac下 自己创建的数据库和表都是默认存在mac的什么路径下的 谢谢 解决方案 用find -name查一下数据库名,不带后缀试试 解决方案二: 嗯-如果你输入 您将看到类似 + - - - - - - - - - - - - - - + - - - - - - - - - - - - - - - + | | Variable_name |值 + - - - - - - - - - - - - - - + -

网站开发中的文件存储目录结构的探讨_相关技巧

对于少量用户写信息,大量用户都是在看信息的网站:例如CMS系统,编辑发咨询,用户看,例如中小企业产品发布网站. 对于这类需求我们可以把文件专门放到一个目录下,例如放到网站根目录的upload目录下,然后按天建文件夹,将每天的文件放到一个目录下,文件名可采用数字生成.例如:upload/20100612/1224455.jpg:通常的情况下这种目录结构就可以保证每个目录下不会有太多的文件. 对于博客,论坛应用,需要对每个用户分配文件存储空间,如果有需求的话还要限制用户的存储空间,对于一般规模的网站

Hadoop中基于文件的数据格式(1)SequenceFile

1 概述 1 SequenceFile是Hadoop为例存储二进制的<k,v>而设计的一种平面文件. 2 SequenceFile的key和value是writable或者writable子类. 3 SequenceFile的存储不按照key排序,内部类Writer提供了append方法. 4 SequenceFile作为一个容器,可以将小文件打包到SequenceFile,高效对小文件进行存储和处理. 2 压缩类型 根据CompressionType的不同,有如下压缩类型 NONE:不压缩.

基于Hadoop的海量小文件存储方法的研究

基于Hadoop的海量小文件存储方法的研究 时倩 方睿 岳亮 彭榆峰 随着科学技术的发展,各行业及领域需要处理的数据呈爆炸式增长.Hadoop是大文件存储处理的理想平台,但Hadoop在处理海量小文件时的表现并不令人满意.本文首先对HDFS的系统架构作了简要介绍,进而分析了HDFS处理海量小文件时存在的问题,最后介绍了目前国内外对该问题提出的优化方案. 基于Hadoop的海量小文件存储方法的研究

【文件存储NAS】NAS正式支持经典网络挂载啦!

功能和特点 自今年3月31日正式公测以来,文件存储NAS已经成为了阿里云家族中非常受大家欢迎的产品之一,非常感谢各位用户的鼓励.支持和包容! 阿里云始终将用户的数据安全作为一切工作的核心,因此为了充分打磨和测试经典网络环境中,文件存储的安全能力,保障用户的数据安全,我们没有在公测第一时间就推出经典网络的支持.经过一段时间的验证和测试,即日起 文件存储NAS正式开放支持经典网络ECS虚拟机挂载! 文件存储在经典网络中具备以下功能特点: 易用: 可以为任意文件系统实例创建经典网络挂载点,挂载方式与V

(转载)Kafka文件存储机制那些事

        转自<Kafka文件存储机制那些事>,by美团点评技术团队,地址:http://tech.meituan.com/kafka-fs-design-theory.html         分析的很不错,转载下来!          Kafka是什么 Kafka是最初由Linkedin公司开发,是一个分布式.分区的.多副本的.多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志.访问日志,消息服务等等,Linkedin于20

使用E-MapReduce服务处理阿里云文件存储(NAS)的数据

简介 文件存储是阿里云今年新推出的存储服务,因为它提供标准的文件访问协议,用户无需对现有应用做任何修改,即可使用具备无限容量及性能扩展.单一命名空间.多共享.高可靠和高可用等特性的分布式文件系统.E-MapReduce服务是阿里云上的开源大数据解决方案,可以帮用户构建基于Hadoop等开源组件的大数据平台. 今天我给大家介绍一个使用场景,可以将E-MapReduce的Hadoop作业和文件存储(NAS)结合在一起,发挥分布式存储和分布式计算在一起的威力. 环境准备 第一步:按照官方文档在文件存储

Kafka文件存储机制那些事

Kafka是什么 Kafka是最初由Linkedin公司开发,是一个分布式.分区的.多副本的.多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志.访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目. 1.前言 一个商业化消息队列的性能好坏,其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一. 下面将从Kafka文件存储机制和物理结构角度,分析Kafka是如何实现高效文件存储,及