算法歧視的綜合治理初探

發布時間：2020-02-10所屬分類：計算機職稱論文瀏覽：1次

摘 要： 摘要：算法歧視與自動決策系統相伴而生，并散布于很多領域。現有法律不能有效規制算法歧視，相關法律部門為此分別進行立法修法的成本又過高。本文認為我國應利用第十三屆全國人大擬制定個人信息保護法的契機，采用個人信息保護法與合理算法標準相結合的綜合

　　摘要：算法歧視與自動決策系統相伴而生，并散布于很多領域�，F有法律不能有效規制算法歧視，相關法律部門為此分別進行立法修法的成本又過高。本文認為我國應利用第十三屆全國人大擬制定個人信息保護法的契機，采用個人信息保護法與合理算法標準相結合的綜合治理路徑，禁止算法歧視，保護數據主體獲得平等對待的權利。

　　關鍵詞：算法歧視，大數據，自動決策，價格歧視，就業歧視，信用歧視

　　隨著云計算、大數據技術的發展，以算法決策為用、以個人數據為體、以機器學習為魂的自動決策系統已經悄無聲息地進入我們的生活[1]。這種系統通過收集、分析和評估個人信息和行為數據，預測數據主體的工作表現、發展潛力、償還能力、需求偏好等特征，并據此畫像(profiling)做出各種決定。自動決策系統已廣泛應用于人力資源管理、信用評價、產品定價、保險核保等方面，對數據主體做出打分、評價和推薦等決定。不可否認，自動決策有助于提高決策效率，避免人類決策者的偏見。但同樣不能忽視的是，數據和算法本身都不具有天然的中立性，數據可能有各式各樣的缺陷，算法亦可作為逐利的工具，甚至對求職者、雇員、消費者進行差別對待，造成歧視性后果。這種歧視可被稱為算法歧視或大數據歧視。據《北京青年報》今年三月的報道，一位旅客經常通過旅行網站預定某酒店房間，每晚價格通常在380–400元左右。淡季的某日，該旅客通過自己的賬號查到該酒店價格仍為380元，但通過其朋友的賬號查詢，顯示價格僅為300元。這就是所謂的“大數據殺熟”①[2]。該網站涉嫌利用算法實施價格歧視。事件發生伊始，公眾口誅筆伐，學界建言獻策。然而，算法歧視在法律上具有什么性質，該如何治理，尚未引起學術界足夠的關注。本文嘗試進行初步探究。第一部分探析算法歧視的產生原因，第二部分具體考察三種主要的算法歧視，并揭示其治理難題，第三部分初步勾畫出我國對算法歧視的綜合治理路徑，最后提出結論和展望。

　　一、問題溯源：算法歧視何以產生

　　所謂歧視，是指根據種族、民族、性別、宗教信仰等特征，對條件相同的人實施差別待遇。為實現法律追求公平、平等之目標，歧視為各國法律所禁止。自動決策算法一般都會過濾掉以上顯性特征，以避免明目張膽的歧視。但是，基于以下原因，算法歧視仍然存在：

　　1.數據不必然具有中立性

　　認為算法決策能克服人類決策偏見的一個理由是作為算法分析對象的數據是中立、客觀的。但實際上，數據主體的某些個人數據可能是偶然產生的，不具有代表性，例如一位頗有償還能力的人忘記按時償還信用卡賬單之記錄。個人數據還難免存在錯誤，例如身份信息被盜用形成的貸款逾期記錄，還有張冠李戴所產生的無中生有的犯罪記錄②[3]�？梢�，數據既有真實的，也有虛假的，而且真實的也不等于是客觀的，即數據并不天然具有中立性。這些偶然、甚至錯誤的數據從源頭改正本就很難，通過大數據分享、加工、提供等方式傳播出去之后再想徹底改正更是難上加難。算法基于不精確、偏見性或非代表性的數據做出決策，剝奪數據主體的某種機會，就會構成無意性歧視。數據產生歧視性風險的另一個原因是，算法模型需要通過訓練數據來學習、演化。如果訓練模型所用的數據本身存在可導致歧視后果的缺陷，算法模型也就不會產生公平的結果。這種歧視的矯正更加困難。

　　2.算法易受人為操控

　　有人套用技術中立原則，主張算法具有中立性�；�于下述理由，筆者認為算法中立乃是偽命題。

　　(1)算法目標變量的選擇和賦值易受人為影響

　　算法決策總是需要用到一些目標變量或指標，或者對分析對象進行某種分類。而指標的選取、賦值以及分類方法都是人為設定的。如果這一過程受歧視性觀念影響，算法決策產生系統性的歧視后果就不足為奇了。

　　(2)算法可以規避禁止歧視的法律規定

　　由于受法律約束，算法一般都會篩選掉法律明文禁止的種族、民族、性別等歧視，但是算法可以通過數據畫像技術，從行為數據中識別出分析對象的某些類型特征從而做出對其不利的評價。例如，一個算法模型通過對數以萬計樣本的分析，發現特定郵政編碼區域的居民在特定工作上的表現很差勁，而這個居民區經常與某個種族聯系在一起。如果算法模型在做出雇用決策時篩選掉這個少數族群，勢必會造成對該區域居民或族群的系統性歧視和傷害，因而缺乏正當性。另外，算法還會從一些數據中識別出基因、殘疾、懷孕等特征并據此對數據主體做出負面評價，從而將歧視掩蓋起來。

　　(3)算法會混淆關聯關系和因果關系

　　不同目標變量之間的關聯關系，可能是因果關系，也可能是偶然的，但是算法對此并不解釋和區分。只要算法認為關聯性足夠強，就會用來對分析對象進行分類和預測。例如，如果算法發現那些喜歡Facebook上某種內容的人智商較高，就會在這種內容和智商之間建立關聯，預測喜歡這種內容的人的智力都比較高，也更有發展潛力①[4]，從而做出錄用或晉升的決定。算法還可能基于錯誤的關聯性判斷做出決策，例如在美國，使用雙姓氏的多為西班牙裔，改變姓氏的多為女性，算法就將雙姓氏者歸為西班牙裔，將改變姓氏者歸為女性。如果據此做出剝奪這類群體就業機會的決策，就會構成歧視。

　　(4)算法可加重統計性歧視

　　根據EdmundS.Phelps提出、DennisJ.Aigner等學者所發展的理論，在勞動能力信息不完全的前提下，雇主依據群體的統計性特征來做出工資和雇傭決策，從而對處于不利群體中的勞動者造成工資或就業歧視①[5]。例如，兩個應聘者在教育程度、工作經驗、測試分數等方面完全一樣或相差無幾，其中一人畢業于985大學，另一人畢業于普通大學，雇主根據985大學畢業生的職業表現整體上優于普通大學生的統計規律，做出錄用985大學畢業生的決定，就構成對普通大學畢業生的統計性歧視。當算法模型基于這種統計規律做出決策時，就會對被保護群體產生統計性歧視。在算法的作用下，這種歧視難以因為優秀的個體而改變，因而對于一個群體而言其損害后果更加嚴重。

　　二、治理難題：三種主要算法歧視的考察

　　由于算法決策系統的應用日益廣泛，算法歧視也在多個領域出現。囿于篇幅限制，下文僅對以算法為手段實施的就業歧視、信用歧視和價格歧視②進行具體考察，為發掘算法歧視的治理難題、尋求解決方案奠定基礎。

　　1.算法型價格歧視

　　(1)算法型價格歧視的產生

　　價格歧視是指商品的提供者以不同的價格，向交易條件相同的交易相對人提供相同等級、相同質量的商品。研究價格歧視，離不開消費者剩余這個概念。所謂消費者剩余是指消費者愿意為一種商品支付的最高價格減去其實際支付的價格。企業實施價格歧視的目的無外乎盡量攫取消費者剩余①[6]70。通常認為，成功實施價格歧視需要具備三個要件：其一是企業必須占據市場支配地位，具有較強的定價話語權，否則無法實施價格歧視。在完全競爭條件下，企業完全沒有定價的能力，只能按照市場規律確定的價格銷售商品;其二是企業必須能夠了解不同消費者的支付意愿，從而對他們收取不同的價格;其三是企業必須有能力防止低價購買者通過轉售低價購買的商品進行套利。如果低價購買者能夠套利，企業就不能從具有較高支付能力的消費者那里獲得收益，就達不到價格歧視的目的了②[6]68。

　　相關期刊推薦：《科學與社會》立足科學和技術的近期進展，宣傳科學對社會的影響。評價中國和世界科技的發展及其影響，立足于資源、環境的國家可持續發展;致立于提倡中國科技界的文化品味，當今科學與文化的交融，包括對科技名人、科學史事的評介。曾被中文核心期刊(2004)、中文核心期刊(2000)收錄。有投稿需求的作者，可以咨詢期刊天空在線編輯。

　　實施價格歧視最重要的前提條件是企業知道消費者的最高支付意愿。但是長期以來，企業幾乎不能獲取有關消費者最高支付意愿的信息，因此也就無從實施價格歧視。然而，數據挖掘和分析工具等人工智能技術終于攻克這一障礙。企業利用特殊的算法，對消費者的消費記錄或其他上網記錄等進行跟蹤、分析，繪制出消費者的偏好、習慣、支付能力等畫像，通過個性化定價的嘗試和驗證，獲取消費者的最大支付意愿信息，從而使得對不同消費者收取不同的價格成為可能。這就是所謂“大數據殺熟”得以實施的技術條件。也就是說，在大數據背景下，即使企業不具備市場支配地位，也有能力獲取消費者的最高支付意愿，從而實施價格歧視。

　　(2)算法型價格歧視的救濟

　　經考察現行法律，筆者發現“大數據殺熟”不構成《價格法》中的價格欺詐，也談不上侵犯消費者的自主選擇權和強迫交易權，因此不能使用《價格法》和《消費者權益保護法》去規制;至于《反壟斷法》所禁止的價格歧視，其構成條件之一是經營者須具有市場支配地位，《價格法》禁止的價格歧視只適用于經營者對經營者的歧視，例如批發商在交易條件相同的情況下對不同零售商給予不同的批發價格。顯然，如果實施“大數據殺熟”的企業不具有市場支配地位，并且針對的僅僅是消費者，現有法律對“大數據殺熟”就無可奈何。對于“大數據殺熟”這類價格歧視的法律規制，美國的情況與我國相似，既不能援引旨在保護小零售商的《羅賓遜-帕特曼法》禁止針對消費者的價格歧視，也無法適用《謝爾曼法》認定這種行為違背反托拉斯法①[7]。既然現行法律對算法型價格歧視無能為力，我們必須另辟蹊徑。比較容易想到的一個方案是修改《價格法》，將價格歧視的適用范圍從經營者擴展至消費者。如此一來，如果實施“大數據殺熟”的經營者占有市場支配地位，則可逕行適用《反壟斷法》進行規制，而如果經營者不占市場支配地位，修改后的《價格法》就有用武之地了，從而堵死算法型價格歧視的存在空間。但是，這種修法模式只能在損害發生后提供最基本的事后矯正，最多能填平消費者的損害，而難以有效遏制“大數據殺熟”的發生。

　　2.算法型就業歧視

　　(1)算法型就業歧視的產生

　　就業歧視是指基于種族、膚色、性別、宗教、政治見解、民族血統或社會出身等因素，在錄用、晉升、薪酬等方面實施差別待遇。反對就業歧視已成國際共識。例如，國際勞工組織《1958年消除就業和職業歧視公約》、美國《1964年民權法》、中國《勞動法》《婦女權益保障法》《殘疾人保障法》《就業促進法》等都明文禁止就業歧視。

　　隨著數據挖掘、機器學習等人工智能技術的廣泛應用，基于算法的人力分析系統(workforceanalytics)應運而生，雇主日益依賴算法對招聘面試、雇傭、晉升、解雇等事項做出決定。贊成者認為，這種算法可以提高人力資源管理效率，依據中立的數據做出不偏不倚的決策從而避免人類決策者的偏見，但懷疑者則指出數據并不具有天然的中立性，算法也可能惡化現有的偏見，甚或產生新型的偏見②[4]860。研究表明，算法導致就業歧視絕非危言聳聽。一家公司通過數據分析發現員工家庭住址與工作場所的距離是預測其在職時間長短的重要指標③[4]890。如果人力分析系統依賴這個因素做出雇傭家庭住址距離工作場所更近的求職者的決策，就極可能對家庭住址距離辦公場所較遠的求職者構成歧視。LatanyaSweeney的研究顯示，與搜索白種人相關的姓名相比，在谷歌上搜索非裔美國人相關的姓名，系統就會更多地彈出犯罪背景審查廣告①[8]。這意味著算法可以將姓名與種族關聯起來，并在就業等方面上做出不利于少數種族的決定。AnjaLambrecht等人的研究發現，女性被推送科技、工程、數學相關廣告的比例遠遠少于男性②[9]�？▋然�梅隆大學AmitDatta等學者研究了求職者性別與招聘廣告推送的關系，先用軟件模擬普通用戶去瀏覽求職網站，隨后統計谷歌推送“年薪20萬美元以上職位”的廣告數據，發現男性用戶組收到1852次推送，女性用戶組僅收到318次，可見女性得到“高薪”職位推薦的機會，僅為男性的1/6③[10]。這些研究顯示，算法固然不會依據種族、性別等顯性特征實施公然的就業歧視，但是只要得到雇主的“授意”，歧視總有辦法悄然地進行。

　　(2)算法型就業歧視的救濟

　　如果說對算法型價格歧視的救濟尚可通過對《價格法》的小修來實現，那么對算法型就業歧視的救濟就沒有這么簡單了。我國1994年的《勞動法》禁止因民族、種族、性別、宗教信仰的不同而歧視勞動者，但是沒有對就業歧視提供司法救濟。2007年的《就業促進法》擴大了就業歧視的原因范圍。但是我國勞動者提起就業歧視訴訟，必須證明用人單位直接實施了法律禁止的歧視行為。由于勞動者處于明顯弱勢地位，這一舉證負擔實為其不可承受之重。比較而言，英美國家的法律對就業歧視舉證責任的分配機制就更為合理。只要原告能夠提供初步證據證明存在歧視，被告就要承擔反駁的舉證責任。為了免除承擔歧視責任，被告在直接歧視案件中必須證明其對原告的差別對待是出于真實職業資格的要求，在間接歧視案件中必須證明其做法是實現正當目的的必要行為④[11]。但是，即便美國的反就業歧視法減輕了勞動者在歧視案件中的舉證責任，美國有學者也認為由于算法的復雜性、模糊性，現行法律對算法造成的就業歧視無法提供有效救濟。但也有學者持不同看法⑤[4]。