只看成功案例,會漏掉什麼?
返航飛機上的彈孔,標出的是中彈後還能活著回來的部位;真正致命的傷,留在沒回來的飛機上。
1943 年,亞伯拉罕・瓦德(Abraham Wald)研究一個戰時難題:如何從返航飛機的損傷,估計中彈後無法返航的風險?看得見的是回來的飛機,最致命的損傷卻可能隨沒回來的飛機一起消失。
一、軍方只能檢查回到基地的飛機
二戰期間,哥倫比亞大學的統計研究小組(Statistical Research Group)為美國國防研究委員會工作,其中一個任務是回答:轟炸機的裝甲應該加在哪裡?加裝裝甲就會增加重量,犧牲航程與載彈量,不可能整架飛機都包起來,只能挑部位加強。軍方手上的資料,是返航飛機的彈痕分佈:機翼與機身上密密麻麻的彈孔。
這份資料少了一部分:它全部來自活著回來的飛機,被擊落的飛機無法降落在基地接受檢查。要從返航損傷推估風險,得先處理這道篩選。
二、如何從返航飛機,估計中彈的風險?
1984 年的技術回顧,用引擎、機身、燃油系統與其餘部位四類假想資料,示範這套估計方法。這套估計把各部位受擊的機會,與中彈後仍能返航的機率分開處理。返航機上的彈痕,是反推易損性留下的線索[2]。
這套方法記錄在八份備忘錄中,用於二戰,美國海軍與空軍在韓戰與越戰繼續沿用。今天廣為流傳的說法「把裝甲加在沒有彈孔的地方」,其實是後人的簡化;備忘錄本身是一套處理「消失的資料」的統計估計方法,1980 年由海軍分析中心重新印行,重印說明指出,這套方法對國防分析仍然有其價值[1]。
三、基金與成功企業,也會留下被篩選過的資料
金融學者 Elton、Gruber 與 Blake 追蹤了 1976 年底存在的所有美國共同基金。消失的基金,大多因為績效不佳,許多是以合併的方式退場;因此,只研究存活下來的基金,會高估投資人實際拿到的報酬。他們將基金合併的條件納入計算,估計只看存活基金會高估多少報酬[3]。
管理暢銷書《從 A 到 A+》(Good to Great)從 1,435 家公司中挑出 11 家過去股東報酬長期卓越的公司,再歸納它們的共同特質,寫成五項成功原則。學者 Niendorf 與 Beck 重新檢驗後指出兩個方法問題:先按結果選出贏家、再回頭找共同點,無法證明這些特質就是卓越的原因;他們用原研究選樣期之後的股價表現作統計檢定,這 11 家公司大多未顯著超越比較基準[4]。
四、資料缺了,能不能補回來?
若問題是五年存活者後續的健康,只研究這群人,對象與問題便能對齊;若要據此回答治療對所有病人有多大效果,消失的資料就再次成了關鍵。
要校正篩選造成的偏差,也得知道篩選如何發生。基金合併留下紀錄、公司名單可以逐年重建,學者因而有辦法把消失的個案納入。但失敗的創業很少留下完整帳本,被擊落的飛機不會落地接受測量;資料不完整時,仍可能像瓦德那樣,在特定假設下作統計估計,但必須交代假設與限制,不能假裝資料完整。
五、聽成功建議時,也問問沒成功的人
這個方法也能用在日常生活中:看到任何「成功者的共同點」,先問兩個問題。這份名單是怎麼被篩出來的?沒通過篩子的人,是不是也有同樣的共同點?求職建議、投資心法、瘦身成功談,都適用這個檢查。
不過,各種資料缺口並不相同:飛機面對的篩子是炮火,基金面對的篩子是績效門檻,而人生建議的篩子往往更隱形,因為失敗者很少登台演講,也很少出書。篩選過程越難看見,就越需要主動尋找不符合成功說法的證據;瓦德的方法也從資料的缺口出發,追問返航機上的彈痕,究竟留下了什麼、又少了什麼。
查證資料來源4 項
實際支持文中事實主張的來源,逐條標註支持的內容;文內如有 [數字] 標記,對應此處編號。
- A Reprint of 'A Method of Estimating Plane Vulnerability Based on Damage of Survivors'(美國國防技術資訊中心 DTIC 館藏頁,編號 ADA091073) ↗
- Mangel & Samaniego, "Abraham Wald's Work on Aircraft Survivability"(Journal of the American Statistical Association 79(386), 1984, pp. 259-267;作者於加州大學網站公開的全文 PDF) ↗
- Elton, Gruber & Blake, "Survivorship Bias and Mutual Fund Performance"(Review of Financial Studies 9(4), 1996, pp. 1097-1120;SSRN 摘要頁) ↗
- Niendorf & Beck, "Good to Great, or Just Good?"(Academy of Management Perspectives 22(4), 2008;此連結為 hmr 雜誌刊載的荷蘭文譯本) ↗
延伸探討
把故事帶回自己的思考
回想一個你最近聽進去的成功建議:給建議的人跨過了哪一道篩子?如果改去問沒跨過那道篩子的人,同樣的建議還會剩下多少?