對衡量指標的反思(上)
對衡量指標的反思(上)
資料來源:《為什麼數據會說謊》,彼得·施萊弗斯著,
張 羿譯,中信出版集團,2023
前面討論了衡量指標是如何被使用、濫用和誤解的,我們需要謹慎的思考正在使用的衡量指標和原因,避免錯誤的衡量指標模糊、破壞和扭曲系統。讓我們再來全面的回顧一下:
- 複雜性
當涉及複雜性時,衡量指標可以幫助我們將一個多元化的系統,提煉成一個簡化的模型,使我們更容易做決策,並且理解系統不同方面的關係。但是當衡量指標過度的減化系統時,反而會失去很多東西,正如只讀簡介不去讀全書,會妨礙你的理解。
例如:把公司高管薪酬與業績掛鈎,就是把高管複雜的動機濃縮為一個目標 --- 利潤最大化。後果就是短期收益得到優化,長期盈利能力卻被犧牲。再如,使用食物到達盤子的距離作為可持續性指標,也體現了簡化複雜系統的弊端,因為運輸的碳排放其實只占總排放的1/20。有人吃著在溫室裡種植的當地食物,認為自己是在為地球做善事,而事實上恰恰相反。在公共教育系統中,學生要在學校學習很多東西,除了學術知識,還要學習生活技能,如:合作、專注、社交、動機、創造力、好奇心和志願服務、終身學習……等,然而在評估學校、老師和學生時,都全部歸結為學生的考試成績,合適嗎?
追求簡單有二個缺點。首先,將整個系統分解成組件,會導致我們對每個組件是如何工作,以及和各組件是如何相互關聯的,在理解上產生缺失。其次,如果只是關注系統的一個方面,就會忽視其他方面,就稱為「維度損失」。例如,如果我們只根據研究績效,也就是他的文章發表和被引用來評價教師,就會忽略教學、服務方面的貢獻。這就是說,當你只讓一個系統的一部分變得更強大時,就會破壞了系統的其他部分。
- 客觀性
衡量指標在評估中提供了中立、公正和客觀,這些非常受歡迎的價值。數字當然不會說謊、數字也沒有偏見,但是,只要數字是準確的就有意義嗎?我們希望決䇿看起來客觀公正,對於質疑,最常見的說法就是:「數字說明了一切」、「這又不是我的決定,我只是在報告測量的結果。」然而,在現實社會中,盲目的追求客觀性,也會產生可怕的後果。一個研究人員發表了多少篇論文和發表的論文被引用的次數,這當然是客觀沒有爭議的,因為這個數字不會因為你問的人而改變,因此科學研究就被簡化為這個指標,最終,反而傷害了科學!
當政府發布年度經濟報告時,當然不會報告關於人民生活質量的主觀調查結果,而是GDP。生活質量是一個見仁見智的問題,每個人重視的事情是不一樣的,人民幸不幸福當然是主觀的,所以每個國家都採用客觀的GDP來衡量經濟總量。然而,對人們來說,他們關心的是:在生活中是否安全、健康是否有保障、有沒有能力購買足夠的生活必需品;他們關心不會受到壓迫和暴力侵害,不管這些是來自哪裡;他們想要成就感和歸屬感,然而這些都很難衡量。
教育系統也一樣,老師可以教導學生很多方面,除了知識傳遞以外,還可激發學生的創造力和好奇心、相互合作、如何與不同的人交往、學會妥協、為學生樹立榜樣…,然而這些都不容易衡量。
執著於使用客觀衡量指標的第一個問題是,它忽視了一切本質上是主觀的東西。另一個問題是,客觀性本身的表象,似乎是意味個人的觀點、偏頗的判斷都被去除,只剩下客觀的數字。可是,許多人沒有認識到的是,選擇測量什麼本身就是一種主觀選擇,因此所謂的客觀也只是一種假象。以學生的考試為例,要考什麼、配分比例、題目的措詞、如何評價學生的答案……等等都是主觀的選擇。從真正的意義上來說,我們對任何評估方法的選擇或不選擇,最終都是在對我們所重視東西的選擇,儘管測量方法看起來是客觀的、數據是定量的、統計上是合理的、是以中立的方式搜集的,但衡量指標的選擇卻是主觀的。
所以,主觀性是不可能完全避免的。衡量指標的支持者經常會用「客觀性」作為我們需要衡量某樣東西的理由,並用來駁斥任何反對的意見。可是,我們必須認真思考我們所選擇的衡量指標,並為我們使用這些指標的原因去辯白,不能只說「數據就是這麼說的」,或者說「我們需要一個客觀的指標,否則就變成見仁見智的問題」。真正的問題是「什麼才是重要的以及如何評價它」,而「客觀性」就是一種逃避,不去討論它。
- 確定性
我們希望對我們的行動和決定有把握,而我們做到這一點唯一的方法就是用數據來支持,人們相信數字才是真實的。在現代文化中,確定性往往意味著量化。追求確定性可能是有用的,它可以讓我們更好地理解一些我們以前不太了解的事情,對情況了解得更多,會讓我們做出更好的決定。但是,不去衡量某件事,可能比接受一個模糊的衡量指標,帶來更大的錯誤。
紐約警察局對犯罪率和執法行動的迷戀,不僅意味著員警可以為了提高這些數字,而採取不道德的行為,任何無法量化東西反而都被忽略了 --- 沒有任何數字可以說明警察制止了7件竊盜案!不是嗎?以患者為中心的醫療模式,主旨在提高效率、減輕患者的負擔、注重人們的長期健康,但其模式卻是建立在醫生做得更少醫療工作的基礎上。體育運動的指標,重點放在球員的得分數、投籃命中率、安打率、全壘打數……,但是如何衡量球員在不持球時做了什麼?難道不重要嗎?體育分析太過關注他們能計算的東西,忽略了他們不能計算的一切!教育中的「考試文化」,使得任何可以提高考試成績的方法,無論多麼違反道德都會被容忍或縱容,而任何對成績沒有貢獻的東西都會被貶低。其結果就是,一切使教學和教育變得更有價值的東西就會被慢慢弱化。例如,一個具有幽默感、對學科熱愛、關心學生個人興趣……的老師得不到鼓勵和尊重,因為這些品質是不可衡量的!
將世界簡化成易於收集和計算的數字,並將我們生活的複雜、模糊和波動的系統,簡化為我們可以輸入電子表格並得出數字的東西。這種「具體化」使人們開始相信測量是真實的,而不是所測量的東西是真實的,然而這並不是世界運行的方式。自由不是數字、目的不是方程式、創造力不能通過搜集數據來培養,它也不能處理人際互動。我們越是傾向通過衡量指標來量化和管理,就越會遠離那些不容易測量的軟貢獻。
- 信任
信任或缺乏信任,幾乎是我們在與人打交道時,所有會去使用測量的根本原因。每一項績效標準、生產力報告、活動要求和工作評估都是建立在一個信念上:我們之間缺乏信任。如果事情都是來自你信任的人或物,那為什麼要測量?公司根本不相信員工會有效利用時間,所以才用時間來衡量員工。我們寧願讓醫生開處方或做檢查,也不願讓醫生告訴病人,不必吃藥病情也是會好轉的。同樣的,缺乏信任,促使病人要求醫生進行不必要的開藥和檢查。
然而信任無法測量,它需要幾年的時間建立,但幾秒鐘的時間就能打破,因此,信任一旦失去,就很難再挽回。警察的工作有賴民眾的合作,他們需要民眾提供訊息、舉報犯罪;民眾則必須相信,當他們提供警方訊息時,警察會保護他們。所以信任會使警務工作更為有效,是是警察部門最重要的資產。
人們無法理解的是,績效指標可能會破壞信任,而一旦信任缺失,就會導致一種「自我保護」文化。醫生花更多時間記錄自己的活動,花更少的時間在病人身上;警察花更多時間去開罰單、準備案件資料,真正打擊犯罪的時間更少;學生花更多時間準備考試,花更少時間學習。大家都朝向防禦性工作、防禦性管理、防禦性治理的方向發展。信任是雙向的,當我們以缺乏信任為由,來衡量員工業績時,無意中破壞了相互的信任,員工也不再會相信組織。
心得分享:
「信任,是我們在與人打交道時,所有會去使用測量的根本原因」這句託真是說到骨子裡去了。就以家庭內部的關係來說,夫妻之間、父母與子女之間的關係也逃不了,老實說,如果「信任」存在,還需要查帳嗎?
建立信任需要很長的時間,失去卻很容易,而且一旦失去,就很難再挽回!
