《大數據的傲慢與偏見：一個「圈內數學家」對演算法霸權的警告與揭發》Weapons of Math Destruction:How Big Data Increases Inequality and Threatens Democracy



大數據不缺推崇者，但我不是。

甚至，我要稱它是這個時代的「數學毀滅性武器」。



一名前華爾街量化分析師提出警告：現代生活中無所不在的的數學模型可能撕裂社會！



紐約時報非文學暢銷書

亞馬遜書店「商業統計」暢銷書

《紐約時報》書評2016年最值得注意的書

《波士頓環球報》2016年最佳書籍

《連線》（Wired）2016年必讀的選擇之一

《財星》雜誌2016年選書

《MIT科技評論》2016年編輯選書

《科克斯》書評A Kirkus 2016年最佳書籍

芝加哥公共圖書館2016年最佳書籍

《自然》期刊官網（Nature.com）2016年最佳書籍

《紐約時報》2016年度編輯選書



這是個演算法包圍現代公民的時代！演算法在幕後影響著我們生活的各種決定，包括我們上什麼學校、能否借到汽車貸款，以及醫療保險必須支付多少保費，愈來愈多判斷是由數學模型，而非某些人所做出。這一切看似公平：因為所有人是根據相同的規則評斷，不受偏見影響。



對熱情的「問題解決者」來說，大數據像仙境，它蒐集資訊、再運用數學模型，使我們得以更有效地調配資源、篩選最優的人事物、並做出最好的決定，這些熱情的宣揚者更是四處宣傳大數據應用的威力。



但是，曾在典型數據分析圈內工作的凱西．歐尼爾不是上述這種人。



她在本書指出，事實與我們想的恰恰相反！這些數學模型不透明、不受管制，即便出錯，受害者往往無法申訴。最令人不安的是，這些模型會「強化歧視」，例如，貧窮學生在申請學貸時，可能因自家的郵遞區號，被審核貸款的數學模型視為還款高風險者，因而無法獲得貸款......。這類問題會形成惡性循環--獎勵幸運兒、懲罰遭踐踏的人，創造出危害民主的「有毒雞尾酒」。



歡迎認清大數據的黑暗面



歐尼爾在本書中揭開對我們人生各階段有巨大影響的各種黑箱數學模型，不管我們願不願意，演算法系統都已經為我們打上「分數」。



當前許多數學模型已經失控濫用、還自作主張地替教師和學生評鑑、篩選履歷表、審核貸款、評估員工績效、鎖定目標選民、決定假釋名單，以及監測我們的健康狀態，決定我們個人及社會的未來。



歐尼爾呼籲：在這個人人都被迫擁有自己在某種演算系統中持有「e化評分」的時代，那些建立模型的人應該為他們所創造出來的演算法負起更多責任，而政策制定者更應該負起監督管理的責任。這本重要著作使我們得以提出關鍵問題、揭露這些「數學毀滅性武器」的真相和要求變革。

強力推薦



......這些源自人性黑暗面的大數據與人工智能，如果不受監管，有可能撕裂社會，甚至讓人類文明崩潰。但監管的標準該如何制定？誰來負責監管？如果監管者跟不上時代，甚至不可信賴，人類又該如何在AI專政的虛擬實境中維持人性尊嚴？－胡一天（源鉑資本創辦人暨執行長，源鉑情報總編輯，《風傳媒》專欄作家）



生活在現代的社會裡，完全不被數學模型監控幾乎是不可能，這是一種最安靜的恐怖主義。然而，數學模型真的是我們生存世界的絕對真理？當我們盲目地將自己交付給它並且據此生存，是否有可能我們所擁抱的真理，只是讓我們的世界變得更加荒謬扭曲......－陳智凱（國立台北教育大學文化創意產業經營學系所教授）



大數據浪潮下必讀的一本書。當用數據模型替每個人打分數時，舉凡信用、教育、健康等方面，帶來了潛在的黑箱、歧視、道德危機。不論是數據從業人員或一般大眾，都應閱讀本書，建立正確的風險認知。－楊立偉（意藍科技股份有限公司董事總經理、創辦人，台灣大學工商管理學系兼任助理教授）



進行假設檢定與決策時，偽正（型1錯誤）率和偽負（型2錯誤）率常會存在。本書提醒我們必須檢驗數據的正確性，降低二種錯誤率，並考慮錯誤所造成的影響，進行回饋的模型校正，才能應用大數據的分析，作出合適的決策。－盧鴻興（國立交通大學統計所教授暨大數據研究中心主任）



大數據、演算法、人工智慧，這些躲在數學背後的當紅名詞，正悄悄改變世界。作者批評它們變成一種神祇，隱形，至高無上，權力無限，且不受監督，她的警語，正可作為社群網路時代的急迫功課。－黃哲斌（新聞工作者）



當手上只有榔頭，看什麼都像是釘子。現在的「大數據」就像一把神奇的榔頭，不管是為其著迷還是焦慮，人們以為可以拿大數據來解決各種問題，但事實並非如此。如果你想真正了解大數據，受益而不受害，這本書便是必讀。－鄭國威（PanSci泛科學總編輯）



凱西．歐尼爾是大數據的內行人，她看到的情況並不美好。本書揭露那些假裝成中性數學工具，但剝削弱勢、扭曲真相的演算法。本書睿智、犀利，是我們迫切需要的著作。－艾倫伯格（Jordan Ellenberg）、威斯康辛大學麥迪遜校區教授、《數學教你不犯錯》（How Not To Be Wrong）作者



本書利用令人不安的真實案例和生動的敘事，難能可貴地說明政府和大企業如何利用無形的演算法和複雜的數學模型，損害平等並增強私人權力。本書以明晰治黑箱、以理解治混淆，有助我們在為時已晚之前扭轉局面。－泰勒（Astra Taylor）、《人民平台》（The People's Platform）作者



在這本傑作中，凱西．歐尼爾利用她的數學專長和對社會正義的熱情，戳破大數據美好無瑕的假象。她有力地說明了數學正如何被用來壓榨弱勢和擴大不平等。她的分析精湛、文筆迷人，她的發現則令人不安。－博伊德（danah boyd）、數據與社會研究所創始人、《鍵盤參與時代來了！》（It's Complicated）作者



雖然我是職業數學家，我在閱讀這本書之前，對大數據可以如何暗中為害毫無概念。本書內容令人害怕，但讀起來意外有趣：歐尼爾描述的由演算法主導的世界不乏黑色幽默和憤怒，就像當代的《奇愛博士》（Dr. Strangelove）或《第22條軍規》（Catch-22）。這是一本非常重要的著作，令人大開眼界又深感不安。－斯托蓋茨（Steven Strogatz）、康乃爾大學教授、《X的奇幻旅程》（The Joy of x）作者



這本傑作直白地呼籲大家有所行動。它承認數學模型不會消失：模型用來找出需要幫助的人，可以產生神奇的作用，但如果用來懲罰人和剝奪某些人的權利，則可以成為非常恐怖的工具。凱西．歐尼爾這本書之所以重要，恰恰是因為她相信數據科學的效用。本書有如一個關鍵的速成課程，說明了我們為何必須審視周遭的系統並要求改善。－達克特羅（Cory Doctorow）、《小老弟》（Little Brother）作者、波音波音網站（Boing Boing）編輯



許多演算法受制於權力不平等和偏見。如果你不想受這種演算法支配，請看凱西．歐尼爾的這本書，以便解構傲慢的體制日趨嚴重的最新暴行。－納德（Ralph Nader）、《任何速度都不安全》（Unsafe at Any Speed）作者



下次碰到有人毫無保留地讚美大數據的奇蹟，你可以向他出示本書。這是有益之舉。－薩蒙（Felix Salmon）、Fusion電視頻道



從找工作到找配偶，預測型演算法正悄悄地塑造和控制我們的命運。凱西．歐尼爾帶我們走過一段令人憤慨和驚奇的旅程，其文字就像是與讀者交談。這是一本重要著作。我們必須處理科技產生的問題。－提拉多（Linda Tirado）、《當收入只夠填飽肚子》（Hand to Mouth: Living in Bootstrap America）作者

• 
  
  

  作者介紹

  
  
  
  
  
  
  凱西．歐尼爾（Cathy O'Neil）
  
  
  
  數據科學家，部落格mathbabe.org網主。自哈佛大學取得數學哲學博士學位，曾任教於巴納德學院，隨後投身金融業，任職於對沖基金公司德劭（D.E. Shaw）。離開金融業後曾於多家新創企業擔任數據科學家，負責建立預測人紫貓眼石們購買和點擊行為的模型。哥倫比亞大學數據新聞學萊德計畫（Lede Program in Data Journalism）發起人，著有《數據科學實踐》（Doing Data Science）。每週參與播客節目Slate Money。
  
  





• 
  
  

  譯者介紹

  
  
  
  
  許瑞宋
  
  
  
  香港科技大學會計系畢業，曾任路透中文新聞部編譯、培訓編輯和責任編輯，亦曾從事審計與證券研究工作。2011年獲第一屆林語堂文學翻譯獎。譯有《紅隊測試》、《數位麵包屑裡的各種好主意》和《大鴻溝》等數十本書。（victranslates.blogspot.tw/）
  
  
  
  

大數據的傲慢與偏見：一個「圈內數學家」對演算法霸權的警告與揭發－目錄導覽說明

• 
  
  引言
  
  第1章 數學炸彈元件：什麼是模型？
  
  第2章 金融業震撼：一個量化分析師的幻滅之旅
  
  第3章 軍備競賽：大學入學問題
  
  第4章 宣傳機器：網路廣告
  
  第5章 殃及池魚：大數據時代的執法問題
  
  第6章 資格不符的第一關：艱難的求職者
  
  第7章 隱形焦慮：恐慌的工作者
  
  第8章 連帶傷害：當個人信用出了問題
  
  第9章 沒有安全區：你想買保險嗎？
  
  第10章 被瞄準的公民：現代人的科技生活
  
  結語
  
  致謝
  
  

中文版推薦書評一



偏見的結構與人工智能專政



對關注人工智能進展的人士而言，卡夫卡筆下的絕望困境，象徵著一種反烏托邦式的惡夢。在卡夫卡的經典小說《審判》中有一則寓言《法律之前》（Before the Law），講述一名鄉巴佬試圖上法院尋求救濟，到了門口卻被警衛阻擋的故事。警衛說：「法律的大門為人人敞開，不是不給進，但不是現在。」鄉巴佬只好坐在警衛給的小板凳上，既不憤怒，也不打算傷害警衛，而是繼續在門前等待，到死為止。在他嚥氣前，鄉巴佬問警衛：「人人都想在法律之前討個公道，為什麼這麼多年來我一個影子都沒見到？」警衛說：「你眼前這扇門，是特別為你準備的，而我現在要將它永遠關上。」



《審判》的男主角「K」在聽完這則寓言後，認為整件事就是一場用謊言羅織而成的體制化騙局。卡夫卡式法庭不在乎客觀世界中的真實，而僅在乎維持體系的持續運作。法律的大門理論上向社會敞開，但在卡夫卡的世界裡，人人有機會，個個沒把握。整個體系不是在追求真理正義，而是在為維護體制的充分與必要條件服務。當偏見已經根深柢固，只要身在其中，就被推定有罪，取證、詰問、辯論等程序，只是過場套路。恪忠職守的各級官僚不用為受害者負責，更無需內疚自責。因為他們都像那位低階警衛一樣，只是盡看門的本分而已。藏在森嚴大門之後的法官，是至高無上的絕對權威。整個法律體系彷彿一只神秘的黑盒子，沒人敢質疑這套威權體制的運作邏輯，也無法明白黑箱作業的各種技巧。人類知道自己身處黑箱之中，卻不知道黑箱的邊界，只能戰戰兢兢苟活。一但違規，只能逆來順受，服從安排。



在此，請各位想像這個黑箱不是由卡夫卡式的法官、律師與警衛把持，而是由各種人工智能及大數據演算法操縱。這些用機器語言寫成的軟體程式碼，與用人類語言寫成的法律條文一樣，都不可避免地受到創造者的主觀願望與價值取向影響──一種偏見的結構。偏見會隨時間沖刷被體制化，逐漸取得了可被稱為「習慣」、「法律」、「民情」等「正統」地位。這個自然演進的過程，在前互聯網時代，可能是漸變。在互聯網席捲全球、快速迭代的世界，就是不斷生滅的劇變。



隨著社會經濟生活演化愈趨複雜多樣，「法律」作為一種規範的上位概念，其內涵與核心價值也必須與時俱進。當掌控資源的新貴們愈發信奉數理邏輯，而非義理人情，有能力利用人類與機器語言「造法」的行為體，若不受制衡，又無法自我警惕，比卡夫卡世界更冷酷無情的人工智能專政就可能隨時降臨，所有捍衛自由、民主與人權的努力，在鋪天蓋地的技術進逼之下，將毫無招架之力。制度殺人，莫此為甚。



「被AI專政」的世界是否已經降臨？曾在紐約對沖基金德劭集團（D. E. Shaw Group）任職的數據科學家、知名部落格「mathbabe」博主，亦是本書作者凱西．歐尼爾（Cathy O'Neil）認為，非常可能。



在哈佛大學主修代數數論並取得數學博士學位的凱西，自幼熱愛數學，在獲得紐約哥倫比亞大學巴納德學院的教職之後，卻毅然決定到德劭擔任量化分析師，透過研究各種數理統計模型與數據分析，在全球資本市場中找尋可持續獲利的交易與投資策略。她與同事所做的工作成果，可以驅動數以兆計的資金在全球市場快速流動，創造鉅額財富。2008年全球金融海嘯，讓她頓覺幻滅：非關道德的數理模型成為華爾街鍊金術士口中的神奇公式，由資產證券化工廠製造出來的金融衍生商品，催生了龐大的房地產信貸泡沫，將金融體系中的槓桿推升到難以為繼的程度，加劇了金融危機的連鎖反應，甚至差一點摧毀全球經濟。



更讓她驚訝的是，金融危機爆發後，新的數據分析技術被應用至更多領域。透過日夜不停地爬梳蒐集自社群媒體、電子商務網站及各類互聯網平台的海量數據，原本用來套利套匯套差價的演算法被用以研究人類的七情六慾、預測消費口味及監控信用風險，計算個人是否值得受高等教育、獲得工作面試、購買醫療保險、甚至戀愛與犯罪的機率。系統工程師們或許出於好意，企圖客觀地找出更有效率的方式解決問題。但很多模型仍然將偏見、誤解和私心納入了演算法，而人類的生活愈來愈受這些系統管控。在數理邏輯至上的世界中，數學定律有絕對權威，數學家、電腦科學家與系統工程師彷彿神壇祭司，透過不透明的卡夫卡式黑箱，對芸芸眾生的未來作出神意的裁決。其決定即使是錯誤或有害，也不容質疑或申訴。



但這類數理模型之所以有商業價值，是因為它們一開始都是被設計用來自動化批量處理信息的特定程式。很多模型源自於數學、化學與物理學等無機領域，而非生物學、心理學、政治經濟社會學等有機領域。在應用與詮釋上一旦出現偏差，將加劇社會兩極分化，讓富者愈富、貧者愈貧，歧視與偏見在演算法的回饋路徑中被保存、複製、放大，可能出現反人性的嚴重後果。民營企業若將這類程式視為商業機密，不公開揭露演算法內部細節與誘因機制，往往讓數學公式成為卸責與擴權的藉口，並利用資訊科技創造出問題正在被解決的幻象，收割政治與商業利益。



在最極端的情境下，我們完全可以想像這些程式成為用數學構建的「袋鼠法庭」（kangaroo court），透過各類物聯網監控技術與不透明的演算法「優化」資源分配，甚至可能在分子生物學的層次對人類進行分類、排序與缺席審判。這些源自人性黑暗面的大數據與人工智能，如果不受監管，有可能撕裂社會，甚至讓人類文明崩潰。但監管的標準該如何制定？誰來負責監管？如果監管者跟不上時代，甚至不可信賴，人類又該如何在AI專政的虛擬實境中維持人性尊嚴？



如果「程式即法律」（Code is Law），那麼「法律也是一種計算」（Law is Computation）；諸如倫理、道德、義理人情等難以量化的概念，其實是環境的一部分。針對「智能行為體」的規範，不論該行為體是程式、個人或企業，都必須充分考慮行為體之間的博弈、競爭、演化，以及所有基於人性的行為體必然會出現的認知謬誤與系統內稟的統計偏差，並設計出對應的救濟與爭端解決機制。這份工作，人類責無旁貸。



更深一層看，何謂智能？笛卡兒曾說：「我思，故我在」，但抽象思維是否為證明高等智能存在的充份且必要條件？如何為智能分等級？用智能方法自動做出的選擇是否應該具有最終的法律效力？若把整個互聯網科技的發展視為人類加速己身演化的努力成果，那麼利用智能技術來鑑別、篩選、拔擢人才的嘗試，是否意味著類似於智人演化出大腦新皮質之後，將尼安德塔人拋棄在演化的歷史斷裂點，將在互聯網的下一階段發生，定義出新舊人類之間不可跨越的鴻溝？



因為互聯網科技跨境的特質，這類議題本質上是全球性的，需要全球範圍的溝通、協調與合作。本書的原文版書名取名自Weapons of Mass Destruction（大規模毀滅性武器）諧音的Weapons of Math Destruction（數學毀滅性武器），是否也需要一份「核不擴散條約」？面對益發混亂的國際局勢與現實主義地緣政治的回歸，霸權級資訊大國與互聯網巨頭競逐全球市場的鬥爭，讓透過全球網絡的「人工智能治理」（AI governance）成為一場不斷進行中的革命，構成對人類巨大的挑戰。



日本中央銀行總裁黑田東彥曾在一場人工智能與金融前沿研討會上說，面對新科技對社會經濟所造成的深層變革，政策制定者不應該過度憂心新科技的負面作用，而不去關注其正面效益。人類與AI應該互補，不能也不該對抗。人類的判斷往往受既有典範影響，有時對變化覺察不足，而這正是AI的強項，可以透過客觀地調整那些因為主觀偏見所忽視的數據關連性與新趨勢。另一方面，直覺、常識與想像力，是目前人工智能最大的弱點。人類真正應該擔憂被AI取代的時候，是人類放棄獨立正面思考的時候。



正如在17世紀創造計算機的法國哲學家巴斯卡（Blaise Pascal）在《沉思錄》中所言：面對強大有力的宇宙，人是一根會思考的蘆葦。即使柔弱如蘆葦，仍可秉持高貴。希望難以量化，前途不可限量。命運沒有基因，夢想沒有極限。



在經典科幻電影《2001太空漫遊》中的「HAL」（該片中一台具有個性與思考能力 、甚至會「失控」的超級電腦）出現前，也許人類應該少擔心些數據，讓夢想與命運驅使我們繼續航向未知的遠方。

胡一天（源鉑資本創辦人暨執行長，源鉑情報總編輯，《風傳媒》專欄作家）

第3章 軍備競賽：大學入學問題（節錄）

故事始於1983年。在這一年，處境艱難的新聞雜誌《美國新聞與世界報導》（U.S. News & World Report）決定展開一項雄心勃勃的計畫：它將評估美國1,800家學院和大學，替它們排出優劣次序。如果這項計畫成功了，由此產生的大學排名將成為有用的工具，有助數以百萬計的年輕人做他們人生中的首個重大決定。對許多年輕人來說，上什麼大學決定了他們未來的職業路向，也決定了他們將結交哪些終身的朋友（很可能包括他們的配偶）。這家雜誌社也希望大學排名那一期可以創造銷售奇跡，使《美國新聞》至少有一週可以追上主要對手如《時代》和《新聞週刊》。

……

《美國新聞》的人員要衡量的是「教育卓越程度」，這比玉米的成本或一粒玉米有多少微克的蛋白質模糊得多。他們沒有直接的方法可以量化四年的大學教育對一名學生的影響，遑論對數千萬名學生的影響。他們無法測量學生四年大學生活的各方面，例如學到多少東西、有多快樂、對個人信心有何影響，以及在友誼上有多大的收獲。他們的模型並不反映詹森總統的高等教育理想──「加深個人成就、提升個人生產力和增加個人報酬的一種方式。」

他們因此仰賴一些看似與教育成就有關的替代指標，例如學生的SAT分數、師生比率，以及錄取率。他們分析新生升至二年級的百分比，也分析畢業率。他們計算在生的校友捐錢給母校的百分比，假定校友願意捐錢，代表他們很可能滿意自己所接受的教育之品質。大學排名有四分之三由一個演算法根據這些替代指標計算出來；這個演算法代表一種判斷，以電腦程式的形式存在。排名的另外四分之一，是以全美各大學管理層的主觀看法為根據。

《美國新聞》第一份仰賴數據的大學排名1988年公佈，結果看來合情合理。但是，隨著這種排名變成一種國家標準，它產生了惡劣的回饋環路。問題在於排名會自我強化。一家大學在《美國新聞》的排名上表現不濟，聲譽會受損，各種情況會惡化。頂尖學生和頂尖教授都會避開它，校友會很不滿意，減少捐款。結果排名將進一步下跌。簡而言之，這種排名決定了大學的命運。

大學管理層以前可以利用各種方式評估自身的表現，而這往往仰賴個別證據。例如某些教授可能得到學生的熱烈好評，有些學生畢業之後成為傑出的外交人員或企業家，有些成為得獎的小說家。這一切都可以帶來好口碑，對學校的聲譽有幫助。但麥卡萊斯特學院（Macalester College）好過里德學院（Reed College）嗎？愛荷華大學好過伊利諾大學嗎？這很難說。大學有如不同類型的音樂，或不同的飲食方式，本應容得下不同的見解，而且各方都可以提出很好的理由。但是，有了「全美標準」的大學排名之後，原本容得下許多不同見解的大學評價系統，如今變成獨尊一組數字。