专业书籍精读 · SRE · 合辑 02

组织与协作:目标是让需要 SRE 的地方变少

Site Reliability Engineering · Part IV · Ch 28–32 · Google · 2016

EN →

这几章讲什么?

前面那些章讲机器:怎么监控、怎么发布、怎么救火。这五章讲人——那一小撮「出事就得找他们」的工程师,怎么带出来、怎么护住、怎么派出去,以及那个更狠的问题:怎么让需要他们的地方越来越少。

先说个怪事

一支队伍被活儿压垮了,加两个人进去——更慢了。反倒是只派进去一个人,而且这人明说「我不帮你们干活」:他旁听会议、翻旧记录,不停问「这条警报响的时候,你们其实做了什么?」两个月后队伍自己缓过来了。加手的没用,加问题的有用。

旧世界为什么难

三个老毛病。新人来了没人教,被扔去回工单——一年后他很会回工单,仍然不懂系统怎么转,遇到没见过的故障就傻眼。老人被打断打死:一天被叫走七八次,正事一行推不动。最难搞的服务全靠一小撮人的记性撑着,而这小撮人不会变多——招人比服务变多慢得多。

核心机制:四件事

① 带人要像师门带徒弟,不是像流水线冲料。按顺序学、每步垫在上一步上面;先跟着老师傅看,同时偷偷写「我会怎么做」、事后对答案;再反过来让他看你上手;最后过一张清单才出师。要练的不是背命令,是拆东西的能力。

② 设一个门神,别全员半开着门。一个班里只让一个人接所有打断,其余人彻底不被打扰。原因很实在:爬回专注很贵,两人各被切碎一半,加起来不如一个人整整一天。

③ 队伍已经陷在泥里了,派教练不派壮丁。借进来的人不替你回工单:他先搞明白上下文,示范一次「好的复盘长什么样」,然后用问题把队伍拽出来——「这条警报如果不响,用户会发现吗?」问到他们自己受不了,就会动手删。

④ 最根本的一步:别再一个个服务地救。与其等服务盖好了再派人审一遍、挑出五十条要改的,不如把好做法做成地基和预制件——新服务盖在上面,天生自带监控、限流、可回滚。审查那步就省了。

带来了什么 / 该怎么选

顺序有讲究:着火时先做 ②,不挡住打断什么都推不动;然后 ③;喘上气再做 ①;等三五个服务重复同样的苦,才轮到 ④——太早做地基,你不知道该预制哪几件。代价也说清楚:这四件事全靠人的判断和信任,任何一条一旦写成必须签字的硬表格,都会退化成橡皮图章。

一句话记住

救一支被运维压垮的队伍,顺序是:先挡住打断,再请个只问问题的教练,然后认真带人,最后把好做法做成地基。衡量成功的不是「我们接了多少服务」,而是「有多少服务已经不需要我们了」。

想看五章各自的机制、判据、具体数字和示意图? → 切到精读版