今天处理了一起因异步IO没有开启导致Oracle的SQL*Plus不可用的故障。记录在此，供参考。
1.故障场景
情况是这样的，系统是使用IBM的HACMP做的两节点HA，在第一个节点部署完Oracle（11.1.0.6）并在挂载的存储上创建完数据库后，使用tar方法将第一个节点上的Oracle软件解tar到第二个节点上完成软件安装。但当在第二节点上运行SQL*Plus时抛出如下的错误：
$ sqlplus / as sysdba
exec(): 0509-036 Cannot load program sqlplus because of the following errors:
0509-130 Symbol resolution failed for /usr/lib/libc.a[aio_64.o] because:
0509-136 Symbol kaio_rdwr64 (number 0) is not exported from
dependent module /unix.
0509-136 Symbol listio64 (number 1) is not exported from
dependent module /unix.
0509-136 Symbol acancel64 (number 2) is not exported from
dependent module /unix.
0509-136 Symbol iosuspend64 (number 3) is not exported from
dependent module /unix.
0509-136 Symbol aio_nwait (number 4) is not exported from
dependent module /unix.
0509-150 Dependent module libc.a(aio_64.o) could not be loaded.
0509-026 System error: Cannot run a file that does not have a valid format.
0509-192 Examine .loader section symbols with the
'dump -Tv' command.
2.故障原因
从报错信息中很容易发现到处都充斥的“aio”关键字，AIO = Asynchronous I/O 顾名思意“异步I/O”是也。
根本原因是AIX操作系统的异步I/O没有开启。
3.故障处理
既然定位了问题，处理就简单了，这里给出两种异步I/O的开启方法。
1）使用操作系统命令开启异步I/O
（1）确认所需的bos.rte.aio是否安装妥当
# lslpp -l bos.rte.aio
Fileset Level State Description
----------------------------------------------------------------------------
Path: /usr/lib/objrepos
bos.rte.aio 5.3.0.62 COMMITTED Asynchronous I/O Extension
（2）使用如下命令开启AIX操作系统的异步I/O
# mkdev -l aio0
aio0 Available
# chdev -P -l aio0 -a autoconfig='available'
aio0 changed
2）使用rootpre.sh脚本开启异步I/O
如果您能找到rootpre.sh，直接执行这个脚本便可达到开启异步I/O的目的。
可气的是在64-bit IBM RS 6000 AIX 5L版本的Oracle 11.1.0.6.0的安装介质里面根本无法找到这个rootpre.sh脚本，在安装开始时也不会像以前一样提示进行这样的check。这是Oracle的一个internal bug。竟然被遗忘了，这一点在MOS中有详细记载，ML号是468472.1，文章名字是：The "rootpre.sh" Script. And "rootpre" Directory Are Missing From The Oracle11g Release 1 (11.1.0.6) Media。文中给出了三种处理方法：
第一种方法：从OTN上下载被遗漏的rootpre.sh脚本；
下载地址是：http://download.oracle.com/otn/aix/oracle11g/rootpre_aix.zip
第二种方法：使用10.2.0.1安装介质中的rootpre.sh亦可；
第三种方法：下载patch 6613550，执行其中提供的rootpre.sh脚本。
最后摘录一下rootpre.sh脚本中有关异步I/O设置的内容，方便大家参考。
#====================================================================================
#======================= configure Asynchronous I/O =================================
#====================================================================================
#--- function to check the autoconfig value on an AIO device
is_autoconfig_available () {
DEVICE=${1}
VALUE=`$LSATTR -E -l ${DEVICE}|${GREP} autoconfig|${AWK} '{print $2}'`
if [ "${VALUE}" = "available" ]; then
return 1
else
return -1
fi
}
#--- In AIX 6.1 and newer AIO is already configured and ioo is used,
#--- not chdev to modify AIO configuration
if [ $OSVER -lt 6 ]; then
log_con "\nConfiguring Asynchronous I/O...."
AIO=`${LSDEV} -C -t aio|${AWK} '{print $2}'`
case ${AIO} in
*Available*) log_con "Asynchronous I/O is already defined"
is_autoconfig_available "aio0"
if [ $? -ne 1 ]; then
log_con "Setting autoconfig to available for aio0"
log_do "${CHDEV} -P -l aio0 -a autoconfig=available"
fi
;;
*Defined*) log_do "${MKDEV} -l aio0"
log_do "${CHDEV} -P -l aio0 -a autoconfig=available"
;;
*) log_con "Asynchronous I/O is not installed on this system."
log_con "You will need to install it, and either configure it yourself using"
log_con "'smit aio' or rerun the Oracle root installation procedure."
;;
esac
#--- configure POSIX AIO if AIX 5.2 or greater, we may want to use it
if [ ${OSVER}${OSREL} -ge 52 ]; then
log_con "\nConfiguring POSIX Asynchronous I/O...."
POSIX_AIO=`${LSDEV} -C -t posix_aio|${AWK} '{print $2}'`
case ${POSIX_AIO} in
*Available*) log_con "Posix Asynchronous I/O is already defined"
is_autoconfig_available "posix_aio0"
if [ $? -ne 1 ]; then
log_con "Setting autoconfig to available for posix_aio0"
log_do "${CHDEV} -P -l posix_aio0 -a autoconfig=available"
fi
;;
*Defined*) log_do "${MKDEV} -l posix_aio0"
log_do "${CHDEV} -P -l posix_aio0 -a autoconfig=available"
;;
*) log_con "Posix Asynchronous I/O is not installed on this system."
log_con "You will need to install it, and either configure it yourself using"
log_con "'smit aio' or rerun the Oracle root installation procedure."
;;
esac
fi
fi
4.小结
这个故障是由于部署过程中不够细心导致的，如若能严格按照既定的操作规范进行部署，一般都可以避免此类问题的发生。
BTW：当遇到大段的报错信息时不要惊慌，对于故障排查来说，报错信息就是提示信息，这是好事。最可怕的不是遇到报错信息，而是出现了故障没有任何的信息作为指引！！
Good luck.
secooler
10.01.22
-- The End --