我们都知道监控对确保网站和应用的平稳运行是多么重要，但这只是一个方面。一旦发现错误，监控软件发出了告警消息你该怎么做？如何决定下一步采取什么措施？
一个合理的告警流程可以帮助你优先处理最重要的问题，并且避免让问题打扰到不在职责范围内的无关人员。更广泛地说，它使得每个人都清楚地知道自己应该解决什么问题。
怎样创建合适的告警处理流程？
创建一个合适的告警处理流程可能会比较棘手，这个过程需要自己去摸索。适合你的规则可能不适合另一个团队——即使是相同规模的团队或者处于同一行业的团队。
如何创建合适的处理流程，取决于你的团队，项目类别、项目的基础架构，团队的组织架构和使用的工具。那么你应该从哪里开始呢？
根据经验，创建升级过程需要考虑以下3件事情:
- 严重程度等级结构
- 团队的组织结构
- 阈值及其相应的通知渠道
显然，具有较高严重性的错误自然需要更可靠的通知渠道。例如，你可能会选择使用 OneAlert 为高严重性错误发送短信或者打电话，而被认为低严重性的错误则不会触发告警，以减少噪声。作为替代，你可以为其选择邮件、微信通知。
1. 严重性等级结构
设置严重性等级结构的最简单方法是根据商业价值来确定网站或应用的最关键部分。
例如，一家网店的的最关键部分就是它的产品目录和结账功能。这些功能如果停止工作将会导致网店业务受到严重影响。因此，这些问题应排在其他问题之前优先考虑。
下面是笔者发现的创建严重性等级结构的好方法：
- 分析告警历史，找出任何可能应该定级为非常规严重等级的常见问题（比如，假超时可能应标记为低严重性，尽管在其他更高的层级中，超时应归类为高严重性）
- 决定衡量的级别（例如，低、中、高）。你可以添加更多的级别，这取决于项目和团队的规模。
- 一旦完成分析步骤，估计每个功能或的内容对象的严重性程度，以及在告警历史中发现的任何经常性错误。
诚然，并没有所谓的正确或错误的方式来判定严重性等级。要知道，重要的是了解团队如何划分具体的事件，并确保每个人都达成共识。OneAlert 的告警分析功能，能够针对一段时间内的告警进行不同维度的分析，帮助运维团队快速做出最佳决策。
2. 团队结构
接下来，你应该了解自己的团队结构。
清晰地认识团队结构并使问题传达自动化，将帮助你定义更高效的通信流。例如，负责生产环境的一线团队成员应立即得到问题通知，如果一线成员在设定时间内没解决告警问题，就会升级到二线成员，升级事件的严重性。在这个过程中，可以将重要的告警同时分派给正确的人，比如：项目经理只需知道关键问题，以便了解潜在的大问题。
明确团队的组织结构，对问题处理的平均时间是非常关键的。
你必须考虑下面三点：
- 告警流程需要涉及哪些人？
- 修复问题时，每个人的责任是什么？
- 警报要求在哪一点上将这个角色带入到通信回路中？
3. 通信结构
如果你不知道告警在团队结构内应该如何流通，建立通信结构将是创建严重性等级过程中最为困难的一环。
你可以这样考虑：
- 严重性等级结构：这个问题有多严重？
- 团队结构：这是谁的责任？
- 通信结构：如果问题发生，如何以及何时联系团队成员？
严重性等级的主要目的是确保合适的人员能够知道问题，并按照严重程度处理问题。创建通信结构能将不同级别的严重性等级与团队中的不同角色联系起来，并根据时间紧迫度与错误频率添加更明确的操作。这样，可以确保通过恰当的渠道联系到合适的人员，且符合当前的情况。如果一个响应者不在线上，可通过告警升级机制确保团队中的其他成员得到通知。
根据团队结构，选择合适的通知渠道与阈值配置，意味着问题解决更加高效，且不会牵涉到无关人员。
例如，网站发生了紧急事件，网站管理员会马上接到电话，与此同时，负责该功能的开发人员也将收到短信通知。如果问题没有在10分钟内得到解决，团队经理也会接到电话通知。
与之形成对比的是，简单的警告只能保证给团队管理者及相关开发人员发送邮件或者微信。
在 OneAlert 中，你可以通过告警分析功能辅助你来判断告警级别的严重性，然后将不同级别的告警，发给对应的成员，并选择合理方式进行通知。也可以通过不同的主机组进行告警的分派，让正确的成员处理正确的告警问题。希望这篇文章对你有所帮助！也欢迎你分享自己使用的严重性告警流程。
OneAlert 是北京蓝海讯通科技有限公司旗下产品，中国首个 SaaS 模式的云告警平台，集成国内外主流监控/支撑系统，实现一个平台上集中处理所有IT事件，提升IT可靠性。想了解更多信息，请访问 OneAlert 官网 。
本文转自 OneAPM 官方博客