前言
前几天，在一淘网，腾讯网媒和微博商业技术联合组织的技术分享大会上，我分享了《在线PHP问题排查思路与实践》。此博文除了对PPT提供下载外，还会对ppt做简单的注释说明。主题分为三部分，常见问题，解决思路和案例分析。
常见问题
不同用户看到的错误可能不一样。一般用户看到的错误都是表层的现象。如，裸奔的错误页面：
<img src="//pic.ikafan.com/imgp/L3Byb3h5L2h0dHAvd3d3LmJvNTYuY29tL3dwLWNvbnRlbnQvdXBsb2Fkcy8yMDE1LzA5L2x1b2Jlbi5wbmc=.jpg" alt="luoben" width="693" height="522" class="alignnone size-full wp-image-829" /></a></p>
这种裸奔的错误页面，经常被用户成为乱码，太丑太暴漏。甚至把一些不应该暴漏的敏感信息都暴漏了。如，nginx版本号，文件路径等。为了解决这些问题，设计师们又做了有情调的错误页。但是，错误五花八门，并不是一个错误页能掩盖的。
对于工程师，咱们看问题可能会更深入些。能看到问题背后的问题。如，看到502错误，他们会想到可能是后端PHP-FPM进程出现问题。如后端的PHP-FPM进程已经死掉，nginx无法连接到PHP-FPM进程。
处理思路
<img src="//pic.ikafan.com/imgp/L3Byb3h5L2h0dHAvd3d3LmJvNTYuY29tL3dwLWNvbnRlbnQvdXBsb2Fkcy8yMDE1LzA5L2ppZWp1ZXNpbHUucG5n.jpg" alt="jiejuesilu" width="702" height="525" class="alignnone size-full wp-image-831" /></a></p>
虽然问题五发八门，但是有一套解决思路可以整体处理这些问题。解决思路大概分为如下几个部分：恢复服务，保留现场，排查问题和验证。下面对这几部分分别加以说明。
恢复服务
<img src="//pic.ikafan.com/imgp/L3Byb3h5L2h0dHAvd3d3LmJvNTYuY29tL3dwLWNvbnRlbnQvdXBsb2Fkcy8yMDE1LzA5L2h1aWZ1ZnV3dS5wbmc=.jpg" alt="huifufuwu" width="701" height="525" class="alignnone size-full wp-image-834" /></a></p>
恢复服务，顾名思义。就是赶紧让用户感受不到错误的存在。为什么这样做呢？原因有如下两个。第一，如果不这样做，用户看到的是错误页面，用户体验不好。可能还会对公司带来直接的经济损失。 第二，如果不这样做，年底你的奖金就飞了。那如何恢复服务呢？下面说下不同场景下的几种操作方式。
摘机：所谓摘机就是摘除有问题的机器。这种操作的应用场景是，当提供服务的多台机器中，有部分机器出现问题时，可以这样操作。这就要求我们，对于线上运行的服务，必须保障有多台机器运行相同的服务，多台机器间没有依赖关系。其中一台或者几台被摘除不会影响到其他机器。
回滚：所谓回滚就是恢复到操作之前的状态。这种操作的应用场景是，当进行了上线或者软件配置修改后，出现了问题。
重启：当你的服务运行一段时间，突然出现了异常。如进程占用了cpu 100%。你可以通过重启的方式来解决。重启的过程就是一个资源释放和重新分配的过程。
降级：当你的网站的访问量超出了你服务器的负载时，网站就会出现问题。这个时候，就需要保证主要功能可用。把损失降到最低。
当然，网站出现问题时，并不是教条的套用，做单一的操作来恢复服务。而是根据情况进行相应的操作。遇到问题时，可能需要进行多个恢复服务的操作。但是，所有的这些操作的原则就是，把损失降到最低。
保留现场
<img src="//pic.ikafan.com/imgp/L3Byb3h5L2h0dHAvd3d3LmJvNTYuY29tL3dwLWNvbnRlbnQvdXBsb2Fkcy8yMDE1LzA5L2Jhb2xpdXhpYW5jaGFuZy5wbmc=.jpg" alt="baoliuxianchang" width="701" height="525" class="alignnone size-full wp-image-836" /></a></p>
其实问题排查和警察破案过程是一样的。想想警察是如何保留现场的？商场内安装摄像头。不方便安装摄像头的场所（洗头房），就在场所外的大街上安装摄像头。虽然有监控，但是还有会有案件发生。案件出现后，他们会保护案发现场。其实我们对现场的保留，也是从这几方面入手。
系统内部日志：这就好比在商场内安装摄像头。如果有良好的日志记录，那就可以记录系统运行过程中出现的一些异常。良好的日志系统，也是我们在选择开源软件时的重要标准。
系统外部监控：这个就好比洗头房外大街上的监控。在系统中，总有一些地方是你不方便或者没权增加日志记录的。如，咱们在调用第三方服务的时候，肯定你也不方便在第三方服务中添加日志。这个时候，我们就需要增加对第三方服务的监控和日志记录。能时刻知道第三方服务是否可用。
保留运行状态：这个就是案发现场的保留。比如，你发现一个进程占用cpu 100%。你为了解决问题，贸然的重启进程，就是破坏了现场。
保留现场和恢复服务并没有一个明确的先后关系。他们共同是问题排查的基础。恢复了服务，你才可用安心的进行问题排查。保留了现场，你才有问题排查的数据来源。有时候，保留现场和恢复服务会有冲突。如，你就一台机器提供服务，这台机器上出现了问题，这个时候要如何处理呢？这个时候建议最短的时间备份现场，然后尽快的恢复服务。如，一个进程占用cpu 100%，那你就可以用 gcore 把进程生成core文件，然后重启进程。
对于PHP开发的系统，为了实现更健壮的日志系统，我这里有个小tip。可以使用register_shutdown_function 和 error_get_last。具体的可以查看。博文地址
所有的这些保留现场的操作，就是为之后的问题排查提供数据。
排查问题
排查问题的过程才是展现你福尔摩斯风采的时候。问题排查的过程就是用你掌握的知识和工具去分析数据的过程。现在，数据已经有了。知识和工具都需要掌握哪些呢？
知识
知识的海洋是浩瀚的。这里我只能做个大概的分类。
语言：PHP语言方面，除了了解基本语法以外，还要对PHP的内核有所了解。对PHP内核有所了解后，你就大概了解了php的执行流程。出现问题，你就可以大概推测是那个环节出现了问题。发现问题后，你可以根据掌握的知识分析出大概那里出现了问题。比如，当一个PHP进程占用cpu 100%。你就可以通过掌握的PHP内核的数据结构找出是大概那里的代码出现了问题。
网络：咱们毕竟是搞网络通信编程的。对网络通信方面的知识有所了解，是必须的。尤其是对一些协议要有大概的了解。通信协议的重要性，并不仅仅局限于面试时撑撑场面，更重要的是用来解决问题。软件：对搭建系统所使用软件要有所了解。如对memcached的内存管理策略有所了解的话，可以让你更好的对其调优，充分的利用内存，减少内存浪费。
系统：避免咱们搭建的系统运行在操作系统上。那就需要对操作系统所有了解。如，权限，系统日志位置，oom等。
工具
工欲善其事必先利其器。网络上有一张图总结的很好，把常用的工具总结的很全。
<img src="http://www.bo56.com/wp-content/uploads/2015/09/屏幕快照-2015-09-02-上午9.09.27.png" alt="屏幕快照 2015-09-02 上午9.09.27" width="694" height="517" class="alignnone size-full wp-image-845" /></a></p>
如果你把所有的工具都能很好的掌握，你就是神啦。