灾难恢复事件响应:不冲动行事的原则
警告出现,服务停止响应,工单开始堆积,有人喊道:“我们得做点什么!”这种立即启动恢复工作的本能是可以理解的,因为在事件发生时,采取行动会让人感觉高效,而等待则会让人觉得不负责任。在这种压力下,做任何事都比什么都不做要好。
然而,一些最具破坏性的决定灾后恢复之所以会产生误会,并非因为无人采取行动,而是因为有人在不了解事情真相的情况下就采取了行动。哲学家马可·奥勒留经常论述将事件本身与我们对其形成的判断区分开来的重要性。我们首先会获得对事件的印象,然后我们的思维会迅速形成一种解释。如果我们不停下来审视这种解释以及导致这种情况发生的行为,我们就会开始将一种假设当作事实来对待。
为什么冲动性事件反应会增加风险
例如,假设一台服务器无法访问。我们可能立即得出结论,认为它已经故障,但实际上我们只知道无法与其通信。它可能仍在运行,只是由于网络问题导致我们无法看到它。
这种差异很重要高可用性环境手动将应用程序迁移到另一台服务器或许可以恢复服务,但也可能导致两台服务器都认为自己应该处于活动状态。在高可用性环境中,这种情况通常被称为“服务器冲突”。裂脑情景两个系统各自表现得好像拥有同一个应用程序或资源。旨在提高最终用户可用性的响应措施可能会给应用程序或其数据带来风险。
在对非关键组件进行常规故障排除时,我们也会观察到同样的问题。重启服务或许能暂时解决问题,但同时也改变了我们试图了解的情况。重启完成后,关于原始问题的有用信息可能就消失了。我们可能在未了解问题根源或是否可能再次发生的情况下,就恢复了服务。
观察与假设的区别
这并不意味着团队在系统故障期间应该按兵不动,因为奥雷利乌斯并没有提倡犹豫不决,而克制也不应成为拖延或不作为的借口。关键在于根据我们已知的信息采取行动,而不是基于我们对可能发生情况的担忧。我认为,当事件变得令人焦虑时,这种区分很容易被忽略。人们渴望了解最新进展,警报不断出现,电话会议中的沉默时间也会感觉比实际更漫长。有人可能会建议重启系统,因为上次遇到类似重大事件时重启确实奏效了。
因此,即使当前问题的原因可能不同,但症状却与之前的问题相似,这个建议听起来也像是可行的方案。经验固然有用,但也可能导致我们思维上的捷径。识别熟悉的症状固然重要,但想当然地认为它一定与上次事件的原因相同则不然。相似的症状可能源于截然不同的问题。
更规范的应对方式是只陈述已确认的信息。与其说“服务器宕机了”,不如说“服务器在此位置没有响应”。这种措辞看似微不足道,但却能避免团队将结论误认为观察结果。同时,也为其他人报告服务器在其他地方可以访问留下了余地。
为什么在系统故障期间进行规范的故障排除至关重要
这时,事件响应就不仅仅是技术知识的问题了。它要求我们克制住急于解决问题的冲动,不要在真正理解问题之前就急于求成。有时候,仅仅多做一项检查就足以改变调查方向和后续步骤。
第二个监控位置可能会显示应用程序在内部仍然可用,而本地控制台可能会确认看似故障的服务器实际上运行正常且已被隔离。这些信息可以避免不必要的恢复操作,并帮助团队找到真正的问题所在。
自动化在灾难恢复中的作用
设计良好的自动化流程遵循类似的原则。自动化流程的价值在于它可以持续响应,无需等待管理员起床或加入通话。然而,速度本身并不能保证自动化响应的正确性。
当恢复条件明确时,自动化系统应立即采取行动。当可用信息不完整或相互矛盾时,更稳妥的做法可能是停止操作并寻找更多证据。高可用性系统通过多种方式考虑到了这一点。独立的通信路径有助于区分……一个连接出现故障避免整个服务器瘫痪。当系统之间无法再相互通信时,仲裁机制或见证机制可以提供另一种视角。这些控制措施至关重要,因为系统对环境的感知可能准确,但并不完整。
SIOS LifeKeeper 如何支持更明智的康复决策
生命守护者可以通过资源监控、定义的依赖关系和恢复策略来支持这种决策。该技术有助于执行已制定的恢复计划但它无法决定特定企业可接受的风险水平。这种判断必须由相关人员在环境稳定时做出,而不是在事故发生后临时做出。
构建更完善的灾难恢复事件运行手册
清晰的流程有助于控制局面。一份完善的事件处理手册应帮助团队在做出重大变更之前明确已知信息。它应说明如何确认应用程序是否已在其他地方激活,并确定谁有权启动恢复程序。
我们的目标并非消除人的判断,而是在时间有限的情况下,为这种判断提供一个可靠的基础。我们无法消除技术带来的不确定性:硬件会发生故障,网络会运行不稳定,应用程序偶尔也会让最了解它们的人感到意外。我们所能做的,是做好准备,去识别事件本身与我们最初对事件的解释之间的差异。
灾后恢复中的纪律
奥勒留重提此观点,是因为它最适用于困境。当一切皆有可能时,清晰的判断自然易行。但当压力迫使人们选择最快的答案时,清晰的判断就显得尤为重要。在突发事件中,房间里最冷静的人未必无所事事。他们可能正在确保下一步行动能够真正解决当前的问题。在事件响应中,纪律并非不作为,而是拒绝让压力左右你的行动。
利用专为复杂 IT 环境构建的高可用性和灾难恢复解决方案,保护关键应用程序。申请演示了解 SIOS LifeKeeper 如何帮助您的团队减少停机时间并充满信心地恢复运行。
作者:艾丹·麦克伦(助理产品支持专员)
经许可转载SIOS








