前几天，我和系统运维的同事处理一个看似诡异的问题,他找到我说应用服务器启动的时候报了DB的Error,但是错误信息有限，他也没法完全定位到错误的原因，所以就希望我来帮忙看看这个问题是怎么回事，怎么解决。
从应用服务启动的日志来看，错误信息是连接池的地方有了问题。
Error: 2017-06-09 10:04:59 init connpool:one or more conn open error.
Error: 2017-06-09 10:12:50 init connpool:one or more conn open error.
带着疑问我根据他提供的基本信息定位到了数据库服务端的端口，查看监听器的日志，发现下面的一段内容：
09-JUN-2017 10:06:46 * <unknown connect data> * 12537
TNS-12537: TNS:connection closed
TNS-12560: TNS:protocol adapter error
TNS-00507: Connection closed
Linux Error: 115: Operation now in progress
09-JUN-2017 10:06:54 * <unknown connect data> * 12537
TNS-12537: TNS:connection closed
TNS-12560: TNS:protocol adapter error
TNS-00507: Connection closed
Linux Error: 115: Operation now in progress
这是一个12c的环境，这个CDB里面有大概8个PDB,所以我得定位到具体的PDB继续测试。
如果说是CDB级别的数据库层面有问题，我可以看到有几个PDB的连接数大概有300多个。而出问题的PDB连接数确实为0，这一点也确实有些怪异。
是这个PDB有问题吗，我看PDB的状态是READ WRITE,连接没有任何限制，而且我使用已有的一个用户名和密码做连接测试是没有问题的。况且在这位同事范酷IDE那个时间点，我们也没有做什么操作，这样想来就很奇怪了。
而问题的分析一下子陷入了僵局，系统运维的同学找不到更多的信息，而我也得不到很多明确的信息。当然问题既然反馈，还是可能存在的，于是我开始逐个梳理这些信息，当查到这个关联用户的状态时，我感觉应该是哪里出了问题。SQL> SELECT USERNAME,ACCOUNT_STATUS FROM CDB_USERS WHERE USERNAME LIKE 'SH_USER';
USERNAME ACCOUNT_STATUS
SH_USER EXPIRED(GRACE)
这个用户的状态竟然是expired(grace),这样一个状态该怎么理解呢。这个用户为什么会失效呢，如果这样想来，这个问题就有了一个基本的思路。
为什么会失效，默认11g的数据库中的profile为DEFAULT时，其中一个属性PASSWORD_LIFE_TIME 是 180，也就是半年的样子，密码就会失效。
那么问题来了，这个业务是个长连接的场景，哪怕失效了，在当前的会话里面还是能够保持连接的，这个问题我就可以回答了，因为前一天晚上碰到了一个PGA的报警，我做了重启，而应用层面有了重连机制，所以大部分的会话连接都没有问题，而这个PDB的profile设置保持了默认值，在断开连接之后重连就会碰到账户失效的问题。
这样一来解决方法就相对简单，因为应用端是加密的密码，我也无从得知原来的明文密码，所以我们就可以重置密码，有个小技巧。
SQL> select name,password from user$ where name='USER_SH';
NAME PASSWORD
------------------------------ ---------------------------
USER_SH E2E9010EA87D283F
然后直接重置即可。
alter user USER_SH identified by values 'E2E9010EA87D283F';
这样密码没有改变，账户的状态就为open了，这样一来问题就引刃而解了。