研究方法篇：这本书凭什么可信

一句话

Part II 不再讲「什么做法有效」，而是回答一个更要命的问题：凭什么信。你以为 Part I 的结论强在样本大（四年两万三千份），其实它强在先给自己的话划了边界：把「组织文化」「持续交付成熟度」「倦怠」这类不可直接观测的东西做成潜变量（latent construct），用心理测量学的三道关证明没测歪；讲清为什么用问卷而不是系统遥测；交代样本是滚雪球来的、因此哪类结论能下、哪类要打折；最后明说全书停在推断预测这一层——说 A 预测 B，不说 A 导致 B。读懂这四章，你再读 Part I 每一句话都会自动带上一个置信度。

Glossary · 术语表

坐标

这是 Accelerate 的 Part II（Ch12–15），夹在 Part I（Ch1–11，研究发现）与 Part III（Ch16，ING 转型案例）之间。把四章合成一页的理由：它们各自都撑不起一整篇——Ch12 讲研究设计、Ch13 是心理测量学入门、Ch14 回答「为什么用问卷」、Ch15 交代数据本身——可四章说的是同一件事：一条从「想问的问题」到「能下的结论」的证据链，缺任何一环，Part I 的结论都会软下来。对应现实里两个问题：你要给自己团队搭度量体系，以及你要判断一份「业界报告」值不值得照做。

这几章要解决什么

软件工程里关于「什么做法有效」的讨论，长期由三种声音主导：个案、资历、供应商白皮书。三者有同一个毛病——不可反驳，也不可累积。要把它变成能累积的知识，得过三道关：

• 你真正关心的变量大多不可直接观测：「文化」「交付成熟度」「倦怠」没有传感器。
• 系统数据跨组织不可比，而且根本不记录「痛不痛」这类关键变量。
• 能拿到的样本不是随机的：没人能强制两千家公司填问卷，只能靠社区滚雪球。

不解决会怎样？结论退化成布道：任何人举一个反例就能否掉它，而它答不上工程师最想问的那句「我下一步改哪一项最值」。这四章的任务，就是把三道关分别处理掉，并且诚实说明每一关只处理到了什么程度。

核心内容，讲透

Ch12 研究设计 · 先说清这句话有多硬

本章先扫掉两个误解。第一个：一手还是二手——本书是一手研究（primary research），数据自己收，不是把别人的报告拼起来。第二个更常见：问卷不等于定性研究。定量（quantitative）指能用数值表达并做统计，李克特量表打出的 1–7 分是标准的定量数据；定性（qualitative）指访谈记录、开放文本这类需要人工编码解读的材料。很多人一听「问卷」就判它主观，第一步就错了。

真正关键的是分析层级。本章引用 Leek 与 Peng 在 Science（2015）给出的分类，把数据分析按「能下多硬的结论」排成六层：描述性 → 探索性 → 推断预测 → 预测 → 因果 → 机制。本书明确自己停在第三层：做了描述性与探索性分析，主体结论属于推断预测（inferential predictive）——所以书里通篇是「预测（predicts）」「驱动」「相关」，几乎不出现「导致（causes）」。

为什么不能更硬？因为这是观察性横截面研究：你没法把两千家公司随机分成两组、强制一组做持续交付、另一组不做，两年后再看业绩——这种干预性实验在组织层面几乎不可能。作者的补偿办法有两个。一是先立假设模型、再拿数据验证，而不是在两万多份回应里捞相关（题项一多，两两组合成千上万，捞出来的「显著」多半是巧合）。二是用偏最小二乘结构方程模型（PLS-SEM），同时估计「题项怎么测出潜变量」和「潜变量之间的路径」，这类方法对数据分布要求宽松、适合带潜变量的假设模型。此外，Part I 里的「高 / 中 / 低效能组」不是作者拍脑袋切的，而是聚类分析按四大指标找出的自然簇。

带走一条判据：下次看到「X 让 Y 提升 N 倍」，先问三句——这是哪一层分析？假设是先立的还是事后从数据里捞的？是观察还是干预？三句问完，多数「研究表明」会自己降一档。

Ch13 心理测量学 · 不可直接观测的东西怎么测

核心思路一句话：一个概念别指望一道题。你要测「组织里的信息流动是否顺畅」，只问一道题，答案里混着一堆噪声——有人理解偏了、有人赶时间随手点、有人这一刻心情不好。测量误差是随机的：从不同侧面多问几道，噪声大体互相抵消，剩下那部分一起变动的信号就是要测的潜变量。这是把「文化」这种词变成可计算对象的唯一正经办法。

但多问几道题不等于测对了。本章给出必须过的三道关：

• 收敛效度（convergent validity）：号称测同一构念的几道题，答案要彼此高度相关——不相关说明它们其实不在测一件事。
• 区分效度（discriminant validity）：这几道题跟别的构念的题要分得开。若「文化」的题与「倦怠」的题相关得比各自内部还高，那你手上只有一个构念、却报了两个。
• 信度（reliability）：内部一致性够不够稳，惯例门槛 Cronbach's α ≥ 0.70——它衡量「这组题是否稳定地在测同一件东西」，但不保证测的是你以为的那件（那是效度的活）。

三关有一关不过，这个构念直接不报。这就是为什么书里出现的构念数量远少于问卷题量。

带走一条判据：你自己团队做的调研，「一题一指标」基本不可信；一个概念至少 3–4 题，并且发布前算一次内部一致性。再加一条反向检查：若你两个「不同」的指标彼此相关得比各自内部一致性还高，它们其实是同一个指标。

Ch14 为什么用问卷 · 而不是从系统里拉数据

「从 CI/CD 系统直接拉数据不是更客观吗」——本章正面回答。理由不是「问卷更好」，而是问卷能做到系统数据做不到的四件事：

• 快。跨组织接入遥测要谈权限、对口径、写采集，动辄几个月；问卷几周就能拿到几千份跨行业数据。
• 可比。每家工具链不同，连「算一次部署」的口径都不一样：有的把流水线跑一次算一次，有的只算变更真正进生产。两家都说「每天 10 次」，实际可能差一个数量级。问卷统一了题面，跨组织才有可比性。
• 能测系统里没有的栏目。文化、部署前的痛感、倦怠、团队自主权——日志里没有这些字段，而 Part I 恰恰证明它们是关键变量。
• 匿名换真话。「上线要熬到凌晨三点」「审批只是橡皮图章」，署名的内部系统里不会留下这种记录。

反过来，本章也拆掉「系统数据天然客观」这个假设：遥测的口径同样由人来定，埋点漏记、定义漂移、跨团队不一致都会污染数据；更要紧的是，一个数一旦拿来考核就会被优化——部署频率可以靠把一次发布拆成十次来刷。系统数据只是把主观判断从「答题的人」搬到了「定义指标的人」身上。

诚实的代价这章也写了：自评数据有共同方法偏差（common method bias，同一份问卷里所有变量都用同一种方式测，相关容易被抬高）与社会赞许偏差（想把自己答得好看些）。作者的对策是匿名、加注意力检查题、把不同构念分开测量，并把结果与独立得到的已知结论对照——能对上，才敢往下走。

带走一条判据：评估任何一个度量数字，先问两句——这个口径是谁定的？能不能被当事人刷？能被刷的数可以用来看趋势，不能用来排名考核。

Ch15 数据从哪来 · 四年两万三千份，和它的天花板

目标人群是做软件开发与交付的技术从业者：工程师、SRE、团队负责人到高管。招募方式是滚雪球抽样——通过 DevOps 社区、邮件列表、社交媒体、会议一圈圈扩散，并请受访者转给同行。四年（2014–2017）累计两万三千余份回应、两千多家组织，覆盖从初创到数万人的企业、多个行业与地区。数据不是照单全收：有筛选题剔掉非目标人群，也会清掉重复提交与明显敷衍的作答。

作者自己把局限摆了出来：滚雪球不是随机抽样，样本天然偏向「与 DevOps 社区有连接的人」。但这里有一个多数人忽略的关键区分：

• 受抽样方式影响大的是描述性结论——「行业里百分之多少的团队做了持续交付」，从一个非随机样本里推不出来。
• 受影响小得多的是关系型结论——「持续交付实践与交付效能正相关、并能预测它」这类变量之间的关系，在一个足够多样的样本里通常稳健。

Part I 的结论几乎全是后一类，这就是作者敢下结论的依据；也正因如此，把这本书当「行业普查」来引用是误用。

带走一条判据：读任何行业报告，先分清你要引的是「百分比」还是「关系」。引百分比，先看抽样是否随机；引关系，看样本是否足够多样、以及分析停在哪一层。

关键权衡与选型

四种度量手段的取舍——没有哪种「更客观」，只有「适合测什么」。

你的结论能说到哪一层——句式决定你需要什么研究设计。

为什么重要 / 落到真实系统

一，它是你评估任何「业界报告」的检查单。拿到一份白皮书，四个问题：构念怎么测的（几道题、有没有报效度与信度）？分析停在哪一层？样本怎么来的？措辞是「相关 / 预测」还是「导致」？四问下来，多数报告会自己掉一档——这也是架构评审里对抗「业界最佳实践压人」最实用的武器。

二，它是你给团队搭度量体系的模板。别指望单一指标；像「交付痛感」「团队健康」这类关键变量用多题构念定期测；并且把「用来看趋势的数」和「用来考核的数」分开——后者迟早会被优化。

易错点与争议

• 把 predicts 读成 causes：书自己划了线（停在推断预测层），但二手传播里「持续交付导致业绩更好」满天飞。原书的措辞值得学：它说的是这些实践预测效能。
• 把两万三千份当行业普查：滚雪球样本不支持「行业里百分之多少」这类描述性推论。引关系可以，引百分比要小心。
• 横截面数据谈不了时间先后：同一时点测到的相关，谁先谁后靠理论假设撑。作者的做法是先立模型再验，但这不等于时间证据——反向因果（业绩好的公司更买得起好实践）无法从数据里排除。
• 统计显著 ≠ 值得做：样本上万，很弱的关系也会显著，该看效应量（关系到底有多强）与实践意义；同理别只盯均值与中位数，组间差异常藏在分布尾部。
• 指标当 KPI 会坏掉：四大指标是为研究设计的，不是为考核设计的。拿它给团队排名，Goodhart 效应就会把它变成可刷的数——这正是 Ch14 自己点出的机制。
• 时代局限：数据止于 2017。平台工程、托管云服务、AI 辅助编码进来之后，有些构念（比如「部署痛感」的来源）需要重新测量，不能假设 2017 年的系数今天照用。

要点