AIX 6.1 Oracle11g 11.2.0.4 RAC 安装心得

在RAC安装过程中涉及多个用户，多种工具，这里列出常见命令提示符：

# 
UNIX的SHELL提示符，表示root用户的登录

$ 
UNIX的SHELL提示符，表示oracl用户或grid用户的登录

安装RAC是一个比较耗时，并且容易出错的过程。最重要的阶段是安装前的准备，准备工作越充分，安装就会越顺利。在这个阶段对硬件、软件进行一系列的配置，如配置存储、网络、参数、权限等步骤繁多，环环相扣，一样都不能马虎。在项目实施期间，数据库工程师往往是后出场的角色，前面有系统工程师安装好操作系统，安装所需的包，调通网络。存储工程师划分好磁盘柜，安装多路径软件，接下来才能开始安装Oracle数据库。有些必要的包最好在安装前和其他工程师沟通好，按照版本要求安装，以免在安装Oracle数据库时发现缺东少西的十分麻烦。

AIX的操作系统无法再虚拟机下安装，没接触过AIX操作系统的同学会感觉陌生。其实和Linux相比安装方法是大同小异，或者说没有差异，只是在前期的配置有些不同，具体细节在下文中会有所体现。                                                                                                                

系统配置

数据库安装配置
  

安装过程

一、每个节点的硬件要求：

1、内存：至少4GB。此次实施的服务器为IBM780，内存配置为192GB

#/usr/sbin/lsattr –E –l sys0 –a realmem

MemTotal:     201326592 kB

2、交换分区：分配24GB

#/usr/sbin/lsps -a

SwapTotal:   25165824 kB

注意：所有节点的CPU主频、内存大小应该大致相当，这样当在做节点间切换时，两个节点的处理能力不会有较大差异。本次项目项目采用的服务器为IBM780，内存192GB，32颗CPU，配置比较不错。

二、操作系统要求：

1、系统包要求

AIX 6.1 required packages:
bos.adt.base
bos.adt.lib
bos.adt.libm
bos.perf.libperfstat 6.1.2.1 or later
bos.perf.perfstat
bos.perf.proctools
rsct.basic.rte (For RAC configurations only)
rsct.compat.clients.rte (For RAC configurations only)
xlC.aix61.rte:10.1.0.0 or later
gpfs.base 3.2.1.8 or later (Only for RAC)

APARs for AIX 6.1:
IZ41855
IZ51456
IZ52319
IZ97457
IZ89165

注意：为了通过SSH在两个节点间建立对等关系，需要在每个节点上安装以下软件。

.bash

.openssl

.openssh

2、tmp分区

[root@db1 /]# df –k

至少1GB

3、系统版本

[root@db1 /]# oslevel -s

6100-05-11-1140

注意：首选的操作系统版本一定是最稳定的而不一定是最新的。本次操作系统采用了比较保守的6100-05-11-1140

,本次安装系统的IBM工程师经验丰富，推荐我们采用了这个版本。

4、系统内核参数

smitty chgsys

Maximum number of processes available to a single user    [16384]

注意：该参数的默认值偏小，在高并发的生产环境下，session数和process数都比较高，在图形安装页面时如果只是把process调高而相对应的该参数没有及时调整会报出一个警告。

5、建用户和组，配置环境变量

mkgroup -'A' id='1000' adms='root' oinstall

mkgroup -'A' id='1020' adms='root' asmadmin

mkgroup -'A' id='1021' adms='root' asmdba

mkgroup -'A' id='1022' adms='root' asmoper

mkgroup -'A' id='1031' adms='root' dba

mkgroup -'A' id='1032' adms='root' oper

mkuser id='1001' pgrp='oinstall' groups='dba,asmdba,asmadmin,oper'
home='/home/oracle' oracle

mkuser id='1002' pgrp='oinstall'
groups='asmadmin,asmdba,asmoper,oper,dba' home='/home/grid' grid

passwd grid

passwd oracle

分别用grid和oracle用户登陆一次，修改密码。

给grid、oracle用户授权

检查权限

# /usr/bin/lsuser -a capabilities grid

/usr/bin/lsuser -a capabilities oracle

授权命令如下：

/usr/bin/chuser
capabilities=CAP_NUMA_ATTACH,CAP_BYPASS_RAC_VMM,CAP_PROPAGATE grid

/usr/bin/chuser capabilities=CAP_NUMA_ATTACH,CAP_BYPASS_RAC_VMM,CAP_PROPAGATE
oracle

6、Grid用户环境变量设置如下：

节点1

umask 022

TMP=/tmp; export TMP

TMPDIR=$TMP; export TMPDIR

ORACLE_SID=+ASM1; export ORACLE_SID

ORACLE_BASE=/oracle/app/grid; export ORACLE_BASE

ORACLE_HOME=/oracle/app/11.2.0/grid; export
ORACLE_HOME

PATH=$ORACLE_HOME/bin:$PATH; export PATH

节点2

umask 022

TMP=/tmp; export TMP

TMPDIR=$TMP; export TMPDIR

ORACLE_SID=+ASM2; export ORACLE_SID

ORACLE_BASE=/oracle/app/grid; export ORACLE_BASE

ORACLE_HOME=/oracle/grid; export ORACLE_HOME

PATH=$ORACLE_HOME/bin:$PATH; export PATH

7、Oracle用户环境变量设置如下：

节点1

umask 022

TMP=/tmp; export TMP

TMPDIR=$TMP; export TMPDIR

ORACLE_BASE=/oracle/app/oracle; export ORACLE_BASE

ORACLE_HOME=$ORACLE_BASE/11.2.0/db; export
ORACLE_HOME

ORACLE_SID= oradb1; export ORACLE_SID

ORACLE_TERM=xterm; export ORACLE_TERM

PATH=/usr/sbin:$PATH; export PATH

PATH=$ORACLE_HOME/bin:$PATH; export PATH

节点2

umask 022

TMP=/tmp; export TMP

TMPDIR=$TMP; export TMPDIR

ORACLE_BASE=/oracle/app/oracle; export ORACLE_BASE

ORACLE_HOME=$ORACLE_BASE/11.2.0/db; export
ORACLE_HOME

ORACLE_SID= oradb2; export ORACLE_SID

ORACLE_TERM=xterm; export ORACLE_TERM

PATH=/usr/sbin:$PATH; export PATH

PATH=$ORACLE_HOME/bin:$PATH; export PATH

8、设置shell限制

vi /etc/security/limits.conf

文件中加入

default:

       fsize = -1

       core = 2097151

       cpu = -1

       data = -1

       rss = -1

       stack = -1

       nofiles = -1

       stack_hard = -1

grid :

       core = -1

oracle :

       core = -1

注意：针对grid用户和oracle用户，需要分别设置它们在SHELL中对资源的使用情况，如对CPU、内存、数据段等。为了保证数据库能够运行，需要这些资源的限制取消，也就是-1，或者设置为Oracle推荐的值。

9、检查Core File Creation是否启用

用如下命令检查是否enable

lsattr -El sys0 -a fullcore

fullcore false Enable full CORE dump True

1. Set the ulimit setting for core dumps to unlimited:

# ulimit -c unlimited

2. Set the ulimit setting for core files to unlimited:

# ulimit -f unlimited

10、创建相应目录

# mkdir -p /oracle/app/oracle/11.2.0/db

# mkdir -p /oracle/app/grid/

# mkdir -p /oracle/grid

# mkdir -p /oracle/app/oraInventory

# chown -R oracle:oinstall /oracle/app/oracle

# chown -R grid:oinstall /oracle/grid

# chown -R grid:oinstall /oracle/app/grid

# chown -R grid:oinstall /oracle/app/oraInventory

# chmod -R 775 /oracle/

11、删除ntp服务，使用oracle时间同步器

# stopsrc -s xntpd

# mv /etc/ntp.conf /etc/ntp.conf.org

注意：RAC集群在运行的过程中要求各节点的时钟进行同步。常用的同步方法有两种，一种是利用操作系统提供的NTP服务；另一种是用Oracle提供的集群时间同步软件。此次项目采用第二种方式。为了避免冲突，将/etc/ntp.conf文件改名，使其失效。

12、网络参数调整

检查参数

 /usr/sbin/no -a | fgrep
ephemeral

tcp_ephemeral_low = 32768

tcp_ephemeral_high = 65535

udp_ephemeral_low = 32768

udp_ephemeral_high = 65535

修改参数如下

/usr/sbin/no -p -o tcp_ephemeral_low=9000 -o
tcp_ephemeral_high=65500

/usr/sbin/no -p -o udp_ephemeral_low=9000 -o
udp_ephemeral_high=65500

13、其他参数调整

检查系统知否运行在compatibility mode

lsattr -E -l sys0 -a pre520tune

如果返回 pre520tune enable Pre-520 tuning compatibility mode True

则系统运行在compatibility mode

修改参数方法如下：

# no -o parameter_name=value

在/etc/rc.net文件中添加

if [ -f /usr/sbin/no ] ; then

/usr/sbin/no -o udp_sendspace=65536

/usr/sbin/no -o udp_recvspace=655360

/usr/sbin/no -o tcp_sendspace=65536

/usr/sbin/no -o tcp_recvspace=65536

/usr/sbin/no -o rfc1323=1

/usr/sbin/no -o sb_max=4194304

/usr/sbin/no -o ipqmaxlen=512

fi

如果上述命令的执行结果为：

pre520tune disable Pre-520 tuning compatibility mode True,系统未运行在compatibility mode

修改参数方法如下：

/usr/sbin/no -r -o ipqmaxlen=512

/usr/sbin/no -p -o rfc1323=1

/usr/sbin/no -p -o sb_max=4194304

/usr/sbin/no -p -o tcp_recvspace=65536

/usr/sbin/no -p -o tcp_sendspace=65536

/usr/sbin/no -p -o udp_recvspace=655360

/usr/sbin/no -p -o udp_sendspace=65536

三、配置节点间互信关系

1、修改/etc/hosts加入下面内容:

vi /etc/hosts

127.0.0.1              
loopback localhost      # loopback
(lo0) name/address

10.157.140.1      cjscora01

10.157.140.3      cjscora01-vip

192.168.150.1     cjscora01-priv

10.157.140.2      cjscora02

10.157.140.4      cjscora02-vip

192.168.150.2     cjscora02-priv

10.157.140.5      cjscora-scan

2、配置用户等效性

这部分操作是传统的做法，在oracle11g R2版本后我们可以省去这部分手工操作，在图形化安装集群软件的过程中配置，只需点点鼠标就可完成所有的工作。

配置grid用户等效性

在节点一执行下命令：

$ mkdir ~/.ssh

$ chmod 700 ~/.ssh

$ /usr/bin/ssh-keygen -t rsa

$ /usr/bin/ssh-keygen -t dsa

$ touch ~/.ssh/authorized_keys

$ ssh cjscora01 cat /home/grid/.ssh/id_rsa.pub >>
authorized_keys

$ ssh cjscora01 cat /home/grid/.ssh/id_dsa.pub >>
authorized_keys

$ ssh cjscora02 cat /home/grid/.ssh/id_rsa.pub >>
authorized_keys

$ ssh cjscora02 cat /home/grid/.ssh/id_dsa.pub >>
authorized_keys

$chmod 600 ~/.ssh/authorized_keys

$ exec /usr/bin/ssh-agent $SHELL

$ /usr/bin/ssh-add

$ scp authorized_keys cjscora02:/home/grid/.ssh     --将grid密钥拷贝到节点二

$ ssh cjscora01 date

$ ssh cjscora02 date

$ ssh cjscora01-priv date

$ ssh cjscora02-priv date

 配置oracle用户等效性

在节点一执行下面命令创建oracle密钥：

$
mkdir ~/.ssh

$
chmod 700 ~/.ssh

$
/usr/bin/ssh-keygen -t rsa

$
/usr/bin/ssh-keygen -t dsa

$
touch ~/.ssh/authorized_keys

$
ssh cjscora01 cat /home/oracle/.ssh/id_rsa.pub >> authorized_keys

$
ssh cjscora01 cat /home/oracle/.ssh/id_dsa.pub >> authorized_keys

$
ssh cjscora02 cat /home/oracle/.ssh/id_rsa.pub >> authorized_keys

$
ssh cjscora02 cat /home/oracle/.ssh/id_dsa.pub >> authorized_keys

$chmod
600 ~/.ssh/authorized_keys

$
exec /usr/bin/ssh-agent $SHELL

$
/usr/bin/ssh-add

$
scp authorized_keys cjscora02:/home/oracle/.ssh      --将oracle密钥拷贝到节点二

$
ssh cjscora01 date

$
ssh cjscora02 date

$ ssh cjscora01-priv date

$ ssh cjscora02-priv date

四、配置ASM磁盘         

--须通过下面的步骤确认磁盘可用且一致，两节点都执行

1、检查磁盘数量

/usr/sbin/lspv
| grep -i none

hdisk4          none                                None                                

hdisk5          none                                None                               

hdisk6          none                                None                               

hdisk7          none                                None                                

……

hdisk315        none                                None

2、给磁盘分配pv id

外部存储设备中的同一块硬盘在不同节点上的名称可能会不同。同一个硬盘在节点一中的名称可能是hdisk4，在节点二中的名称可能是hdisk5.虽然ASM实例能正确识别这样的硬盘，但对于管理员来说可能会产生歧义。不管怎样，这块硬盘有一个不变的属性是PVID，无论在节点一还是节点二下都是一样的。通过下面的命令可以产生硬盘的PVID

chdev
-l hdisk4  -a pv=yes 

chdev
-l hdisk5  -a pv=yes 

chdev
-l hdisk6  -a pv=yes 

chdev
-l hdisk7  -a pv=yes 

……

chdev
-l hdisk100 -a pv=yes

3、检查pv id是否在两个节点间一一对应

cjscora01#lspv

hdisk4          00f76fa9f361157b                    None                                

hdisk5          00f76fa9f36116a5                    None                               

hdisk6          00f76fa9f36117d0                    None                               

hdisk7          00f76fa9f3611901                    None                                

……

hdisk315         00f76fb4f3612dce                    None 

cjscora02# lspv

hdisk4          00f76fa9f361157b                    None                               

hdisk5          00f76fa9f36116a5                    None                                

hdisk6          00f76fa9f36117d0                    None                               

hdisk7          00f76fa9f3611901                    None                               

……

Hdisk315        00f76fb4f3612dce                    None 

4、修改磁盘权限

本项目使用ASM，需要指定ASM磁盘中所要包含的磁盘，并保证grid用户有对这些磁盘的写权限

#
chown grid:asmadmin /dev/rhdiskn       --修改磁盘属组命令示例

chown
grid:asmadmin /dev/rhdisk4        

chown
grid:asmadmin /dev/rhdisk5        

chown
grid:asmadmin /dev/rhdisk6        

chown
grid:asmadmin /dev/rhdisk7        

……

chown
grid:asmadmin /dev/rhdisk315 

#
chmod 660 /dev/rhdiskn                 
--修改磁盘权限命令示例

chmod
660 /dev/rhdisk4

chmod
660 /dev/rhdisk5

chmod
660 /dev/rhdisk6

chmod
660 /dev/rhdisk7

……

chmod
660 /dev/rhdisk315

5、检查磁盘属性

有些型号的存储设别具有reserve_lock或者reserve_policy属性，这两个属性的存在会阻止多个节点对存储设备进行并行读写，所以在安装集群软件之前应该对其属性进行修改。

lsattr
-E -l hdisk4  |grep reserve_

lsattr
-E -l hdisk5  |grep reserve_

lsattr
-E -l hdisk6  |grep reserve_

lsattr
-E -l hdisk7  |grep reserve_

……

lsattr
-E -l hdisk315 |grep reserve_

6、设置磁盘属性为reserve_lock=no或reserve_policy=no_reserve

chdev
-l hdiskn -a [ reserve_lock=no | reserve_policy=no_reserve ]

chdev
-l hdisk4 –a reserve_policy=no_reserve

chdev
-l hdisk5 –a reserve_policy=no_reserve

chdev
-l hdisk6 –a reserve_policy=no_reserve

chdev
-l hdisk7 –a reserve_policy=no_reserve

……

chdev
-l hdisk100–a reserve_policy=no_reserve

7、清除磁盘pvid

通过PVID可以在不同节点中对比、确认同一块硬盘，但是在安装集群软件之前应该在每个节点上将PVID清除掉，否则在安装过程中可能会出现错误。

chdev
-l hdisk4  -a pv=clear