最近接到一个运维开发任务，需要开发一个帐号管理系统，对手头三千多台Linux服务器的root帐号进行批量系统的管理，实现定期修改root为随机密码并加密存储，并向运维管理WEB前台提供密码查询解密接口等功能。
刚开始，我基于php+ssh2_exec开发了一套雏形。基本功能都实现了，结果老大说这里的运维就我稍微会点php，后面可不好维护。本来也被我说服了，因为写都写好了，难道要重构？
后面线上测试发现，公司有部分系系统接入了ldap鉴权，php的ssh2_exec就无法工作了，返回登陆失败的错误。
不得已，最后苦逼的用python将这个系统重构了一遍，并实现了多线程模式，因为不太会python的cgi框架，就用php搭的api接口，到此为止，基本全部搞定了。
在线上测试了几天后，发现总是有一台服务器要卡半天，登陆校验日志倒是成功的，但总是卡在修改密码那一步。
于是，print一下过程，发现chpasswd改密码这一步报错了！导致expect卡住了。
看了下错误信息是：
chpasswd: PAM authentication failed
实际登陆这台机器，执行chpasswd，发现也是报这个错误。
试着执行passwd，也报错了：
passwd: pam_start() failed, error 26
搜了半天，也看了半天的洋文案例，都没找到一个贴切的解决办法。最终，我看到有一篇类似的案例，他是通过检查 /var/log/secure 日志文件找到的错误。
于是，我也试着碰碰运气，发现还真有记录！
在 /var/log/secure 中，发现我在执行chpasswd命令是会提示找不到/etc/pam.conf文件。于是到其他系统上去看有没有这个文件，发现也没有的。
最终，我无奈之下，对比了2个系统的/etc目录，让我发现了猫腻！不知道哪个无聊的人把这个系统的/etc/pam.d给重命名为pam.d_bak了！！我去你XXX，浪费我半天时间。
直接 mv pam.d_bak pam.d，然后就能够执行 echo 'root:newpassword'|chpasswd 来修改密码了。
这种奇葩的原因并不多见，所以出了问题不一定能在搜索引擎得到答案。
不过，我写这篇文章的时候，特意把pam.d再一次重命名，chpasswd还是报一样的错，但是passwd报错却变成了：
passwd: Permission denied
罗里吧嗦说了半天，主要分享一下这个奇葩的案例和解决过程。当搜索引擎都找不到的时候，那么恭喜你成为了第一个吃螃蟹的人，有了造福互联网的机会，赶紧解决问题再分享吧。。。
目前我开发的帐号管理系统运行良好，后续有时间再整理分享一下，也许有人需要，敬请期待！
原文来自:http://zhangge.net/5077.html