內容提要：隨著算法在社會經濟中的廣泛應用，算法如何向公眾負責成為一個重要的法律議題。在算法引發的偏見、歧視和支配的討論中，平等保護、正當程序和反不正當競爭機制將發揮重要的作用。作為算法規制的一般化原則，算法透明是實現算法問責的重要機制。我國《個人信息保護法（草案）》明確了算法自動化決策的透明度要求。就具體規制手段而言，算法透明包含著從告知義務、向主管部門報備參數、向社會公開參數、存檔數據和公開源代碼等不同形式，算法解釋權也可以看成是算法透明原則的具體化體現。算法透明的目標在于化解人類對算法決策可能失控的風險的憂慮。算法監管需要將事前監管和事后監管結合起來，在事前監管中建立算法透明原則，監管強度需結合場景和目標，對現有算法引發的消費者保護、中小商戶利益、公眾知情權等問題進行有針對性的回應，基于比例原則，選擇適當的透明化義務，通過多重維度的算法透明機制的構建實現算法問責。
關鍵詞：算法透明；報備參數；影響性評估；算法問責
算法已經廣泛應用于社會的各個場景。平臺利用算法對用戶進行個性化推薦，警察運用算法預測某一地區犯罪的情形以決定警力配置，社會福利部門利用算法決定申請者能否獲得失業補助，人事部門利用自動化程序對申請戶籍的人進行審批，法院利用算法輔助量刑和作出假釋決定。無論是商業運用還是政府決策、輔助司法，算法已經成為市場、政府之外的重要的泛在性技術力量算法是技術理性的象征，它在社會中的廣泛應用帶來了自由意志和正義等具有主體性色彩的價值之間的緊張。
一.算法的運用與規制
算法可能的誤用和濫用引發了規制的呼聲和行動，而算法在政府自動化決策中的系統性失誤直接引發了相關的訴訟。2019年，格蘭特包瑟曼（Grant Bauserman）、卡爾威廉姆斯（ Karl Williams）和泰迪博爾（Teddy Bore）在密歇根法院提起了對該州失業保險局的集團訴訟，他們主張，在利奇施耐德（Rich Snyder）州長任期內，利用密歇根融合數據自動化系統（Michagan Integrated Data Automated System, MIDAS）對申請失業補貼進行審核，由算法決定申請者是否欺詐，并施加處罰。這是一個自動化行政裁決的程序。最后發現，這套系統存在著93%的出錯率，40000人受害 澳大利亞社會保障部的智能催債（Robo-Debt）系統Centrelink發生了幾乎類似的算法裁決錯誤，成千上萬的福利申請者收到了Centrelink系統的郵件，要求他們證明未冒用資格獲得社會福利，該系統存在20%的錯誤率，收件人或者根本沒有獲得過社會福利或者政府求償數額超過當事人應當給付的。這一自動化算法受到了激烈的批評，國會工作小組建議暫停這一系統的使用密歇根融合數據自動化系統以及Centrelink的重大缺陷直接向我們呈現了算法裁決錯誤給民眾社會福利權帶來的系統性侵害。心理學研究表明，人類在面對計算機給出的正確解決方案的時候傾向于無視或不去搜索相反的信息，人類一般不太愿意偏離或者質疑算法形成的結果。這一人機互動形成的對自動化/算法的過度依賴被稱之為自動化偏見，人類對計算機系統有一種過度的信任，在面對自動化形成的解決方案時往往無視那些和其方案相矛盾的信息，一般更不會去搜索和它相反的信息。所以，在這兩套系統最初出現錯誤，民眾對錯誤反饋的時候，算法的運營者對這類信息基本采取無視的態度。除了官僚體制的慣性之外，對自動化決策的過度信賴也難辭其咎。算法決策日益普及，這將會帶來行政程序的結構性調整。現有的法律規制框架應當確保受到算法決策影響的人能夠理解和挑戰這些決定。
在系統性風險之外，算法的應用還會帶來算法歧視、算法支配以及算法黑箱的問題。數據本身反映了社會的現實狀況、人民的心理和社會的偏見。數據驅動的算法/人工智能將會重復、再現乃至強化數據中的偏見。算法所利用的數據中隱含的偏見問題是一個社會事實。偏見進，必然是偏見出。輸入的數據暗含偏見、測度偏差、變量不足以及不適當的標準等原因都有可能導致數據挖掘和算法帶來對特定群體的不利影響。弗吉尼亞尤班克斯（Virginia Eubanks）在《自動化不平等》中指出，當大數據分析和算法應用于窮人和工人階層的時候，數據和算法機制帶來現狀的自然演化，而非革命性變革，它進一步強化和延續了近代的濟貧措施中的道德主義傾向和懲罰性后果。另外，算法也因為受眾群體在性別、年齡、膚色、地域等問題上而產生不同的影響，帶來差異性的后果，乃至直接的歧視；無論社會事實還是差異性后果都可以運用平等保護的原則和理論進行回應。
就算法支配而言，其可以分成兩個層面：公民個體層面，應當以技術性正當法律程序去建構算法救濟機制，用戶在算法規制之外，應當有接近司法/正義的機會。任何一種決策機制，當它對相對人的權利義務造成直接影響的時候，賦予其救濟的權利、聽取其意見和陳述是正當法律程序最基本的要求。我們很難將算法本身界定為正當程序，將算法界定成正當程序是誤會了正當程序本身和正當程序需要規制的對象。監管者執法是市場秩序維護的一種常規手段，或者說在某些行為具有外部性時進行干涉的手段。更為重要的機制，仍然應當放在對消費者/用戶/公民個體行為的激勵上。
在企業層面，如果算法改變了市場結構、損害消費者福利，這將引發反不正當競爭乃至反壟斷的執法。平臺企業利用算法完善定價模型、優化客戶服務以及預測市場發展趨勢。算法合謀成為監管者關注的現象，2017年OECD《算法與合謀：數字時代的競爭政策》報告中指出，因為算法的迅速發展，競爭對手之間可以即時互動、利用代碼作為媒介，達成共同目標。數字經濟環境下，協議的概念應和傳統的協議有所差別。2020年11月10日，國家市場監督管理總局公布的《關于平臺經濟領域的反壟斷指南（征求意見稿）》針對平臺經濟的業務模式特點，細化了橫向壟斷協議和縱向壟斷協議的概念，對濫用數據優勢、算法合謀和軸輻協議進行了直接的規制。平臺規則、數據和算法成為平臺經濟反壟斷的重要考量因素。
算法黑箱這一隱喻對算法監管的影響非常關鍵。黑箱的隱喻表達了由于算法不透明而引發人類失去對決策過程控制這一風險的擔憂。人類將影響自身權利義務的決策賦予了自己無從理解的黑盒子，這似乎意味著算法透明的困難乃至不可能。算法黑箱輸出的結果就成為不可避免的事情，就像自然界的力量一樣，只能被馴服，無法被控制。算法面紗也許是一個比算法黑箱更為合適的隱喻，將自動化決策背后的人類決定和價值判斷披上了一層面紗。面紗的好處是它邀請人類隨時把面紗揭開來，從而露出算法的真實面貌。
目前存在著算法透明的不同立場，有觀點認為，算法透明是一種迷思，是法律人對技術不理解情況下的一種遐想，應當放棄算法透明的追求。反對算法透明，一般不外乎下面三個理由：算法透明不可能，算法透明無意義以及算法透明損害相關的利益。對這三個理由的直接回應就是，不同程度的算法透明具有不同的意涵，從算法運用的告知義務、報備參數、公開參數到公開源代碼，算法透明不僅可能而且可行；算法透明對于用戶/公民的知情權以及其他權利的保障具有實質性意義；算法透明本身就是在公民和企業，以及公民和國家直接對失衡的天平的校正機制，算法透明的程度要求是在比例原則下作出。算法透明是實現算法問責的重要機制。正由于算法無法將環境的整體性作為決定的基礎，而只能“看到”之前人類編程讓它們看到的東西。算法無法將輸入之外的信息作為其決策的依據。所以，算法透明機制顯得愈發重要。
綜合而言，算法透明仍然是法律回應的各種路徑當中最直接、有效和恰當的方式。本文結合我國和歐盟在關于算法方面立法的情形，進行一個類型化的分析，由表及里，并結合這些透明性規則的實施效果，提出有關算法透明性規制進路、實施機制和救濟機制的框架性主張。2020年10月21日全國人大常委會公布的《個人信息保護法（草案）》規定了自動化決策的透明度要求以及處理結果公平合理。這是我國在立法中對算法透明原則的確認，將對算法秩序的形成，數字正義的實現起到基礎規范作用。算法透明包括兩個面向，即對政府披露和向公眾披露。算法透明具體包含著從告知義務、向主管部門報備參數、向社會公開參數、存檔數據和公開源代碼等不同形式，算法解釋權也可以看成是算法透明原則的具體化體現。
二.算法部署的披露義務
在數字經濟背景下，平臺基于信息優勢，借助用戶畫像， 對消費者實行差別化定價，最大程度地獲取消費者剩余，從而可能會由于價格歧視而侵犯消費者權利。我國現行立法對此進行了相應的規制。《中華人民共和國電子商務法》（以下簡稱《電子商務法》）對平臺利用大數據分析和算法技術進行個性化推薦的實踐予以限定，明確電子商務經營者根據消費者的興趣愛好、消費習慣等特征提供商品或者服務的搜索結果，需要同時向該消費者提供不針對其個人特征的選項。我國文化和旅游部2020年7月20日發布的《在線旅游經營服務管理暫行規定》第15條對在線旅游平臺的大數據殺熟行為進行了具體化的規制。該條規定，在線旅游經營者不得濫用大數據分析等技術手段，基于旅游者消費記錄、旅游偏好等設置不公平的交易條件，侵犯旅游者權益。這兩部立法層級各異、調整對象也有差異，但它們都反映了規制者對于算法技術向平臺公司集中帶來的企業濫用技術和數據優勢的擔憂及回應。
電子商務經營者基于消費者的消費行為記錄、移動設備位置信息、計算機類型、擁有或使用過的設備、對相應商品和服務的偏好、用戶信息和消費歷史，將這些信息與物聯網數據進行融合，比如汽車、打印機、健身器材、醫療器械中輸出的信息，對用戶的支付能力和意愿進行建模和預測，進行精準畫像，推送廣告、商品和服務，這是互聯網企業的主要商業模式，但這一基于用戶畫像的商業模式也存在極大的濫用風險。如果平臺基于占有的用戶個人數據，利用雙方高度的信息不對稱，對用戶進行價格歧視，將會損害用戶的權益。研究表明，盡管企業利用大數據和算法實現完美價格歧視有一定困難，比如存在數據的有限性，算法理性和人的非理性以及樣本規模局限，平臺仍然可以采用價格操縱、不完美意志力以及提升產品復雜性等方法采取近乎完美行為歧視。基于此，《電子商務法》對平臺的算法這一技術性對象進行了事先規制，要求提供非個人畫像的選項。從個人信息權的角度看，這個條款體現了用戶在電子商務中免于自動化決策的權利。國家互聯網辦公室2019年12月15日發布的《網絡信息生態內容治理規定》第12條規定，網絡信息內容平臺運用個性化算法推薦技術推送信息的，應當設置符合本規定相關內容要求的推薦模型，建立健全人工干預和用戶自主選擇機制。這一條款和《電子商務法》第18條類似，賦予用戶個性化推薦的退出權，接近免于自動化處理的權利。同時，對人機關系進行了相應的引導，強化人工的介入。
《電子商務法》規定，電商平臺經營者應當根據商品或服務的價格、銷量、信用等多種方式向消費者顯示商品或服務的搜索結果；對于競價排名的商品或服務，應當顯著標明“廣告”；違反標示義務的，依照《廣告法》規定進行處罰。有學者將這一條款的前半部分概括為搜索結果的自然展示義務，價格、銷量具有客觀的色彩，它們似乎是很少受到人為的干預。但是，刷單炒信的普遍存在，實際上使得信用作為參數并不像我們想象的那么客觀。該條款的后半部分則是算法透明的一種最簡單的要求，當商品或服務的排名是競價的結果時，這意味著排名本身已經受到支付能力的影響，更不是自然展示的結果，為保護消費者的權利，立法者從消費者知情權的立場出發，對電商平臺的垂直搜索課加了一種公開的義務。這是一種最低程度的透明度要求。這一義務和證券法上的信息披露義務相類似。法律設定這一義務的目的在于打破算法決策的秘密性，使得消費者知道其獲取的信息是由算法形成的。
《電子商務法》大數據殺熟和搜索結果自然展示義務這兩個條款在制定的時候具有一定的前瞻性，對算法進行了初步的回應。但這一事先規制只是披露了算法自動化決策的存在，并沒有披露算法模型運行本身。這些條款并沒有明確算法學習和決策過程中的監管方式，特別是在機器學習算法的規制上具有相當的局限性。但直接介入技術內部的監管進路在當前階段稍顯激進，在監管強度和密度上需要考慮數字經濟的發展、算法技術的創新以及現有的監管能力。歐盟要求互聯網平臺披露參數實質性，這一做法提高了透明化的水平，相較于目前電商法的監管模式更具實際意義。與深入算法技術內部的監管相比，對企業而言，更少侵入性，則更具可行性。此外，《個人信息保護法（草案）》明確規定，在公共場所安裝圖像采集、個人身份識別設備，需要滿足三個要件：為了維護公共安全這一公共利益所必須，符合正當法律程序，同時要進行顯著標示。顯著標識的義務可以看成是人臉識別和算法部署的具有一般化效果的透明度要求，對于人臉識別技術的濫用有一定的防范作用。
三.參數規制和算法解釋權
目前的立法已經就參數規制形成了兩種模式：向行政機關報備和向社會公眾披露。相比于向社會公眾披露，向行政機關報備的模式能夠兼顧商業利益與公眾保護之間的平衡，競爭性的利益相對而言可以獲得更好的保護。機器算法在金融、醫療衛生、食品藥品等事關經濟秩序、民眾健康和社會穩定的行業得到越來越多的運用，在這些領域向主管機關報備參數不失為提升算法透明度的舉措。
（一）向行政主管部門報備參數
2018年3月28日，中國人民銀行、中國銀行保險監督管理委員會、中國證券監督管理委員會、國家外匯管理局聯合發布了《關于規范金融機構資產管理業務的指導意見》（以下簡稱《資管新規》）。該指導意見對人工智能在金融領域的應用進行了規制，從勝任性要求、投資者適當性以及透明披露等方面對智能投顧中的算法進行穿透式監管。
《資管新規》明確規定，運用人工智能技術開展投資顧問業務應當取得投資顧問資質。金融機構運用人工智能技術開展資產管理業務除了要遵守投資者適當性、信息披露、風險隔離等一般性規定外，金融機構還應當向金融監督管理部門報備人工智能模型的主要參數以及資產配置的主要邏輯。報備智能投顧模型的主要參數意味著算法黑箱的打開，算法透明得到了一定程度的貫徹。《資管新規》還要求在智能模型缺陷或者羊群效應的背景下，金融機構必須進行人工介入。無論《資管新規》還是《網絡信息生態內容治理規定》關于人機關系的規定體現了一個重要的立法思路，即在特定情形下，人工對于算法/人工智能的介入/接管成為處理人機關系的一個重要準則。
自動化決策并不意味著算法替代了人，它只是改變了人工作的方式。設計者和工程師需要充分意識到，自動化決策不僅是一個技術問題，同時也是具有社會、倫理和法律后果的行為。這意味著自動化決策需要有倫理面向的考量。設計者在設計系統的時候必須要考慮自動化的程度，以及何時需要人工介入。對于封閉狀態下無需靈活性的任務，系統性失靈的可能性較小時，可以實行完全的自動化，而對于動態環境下外在條件和約束明顯，高度自動化可能就不是那么明智。在自動化程度這一因素之外，為實現價值導向，設計者需要將設計階段的價值判斷以可以理解的方式記錄下來并方便后來的審查。算法規制應當隨算法技術的迭代而升級，算法的設計、部署和運行都應當要貫徹透明原則的要求；應當將透明原則引入算法的設計和訓練階段，因為算法最初的價值設定對于算法結果有決定性的影響。
（二）向社會公眾披露參數并說明理由
《電子商務法》規定不得利用技術優勢排除或限制競爭，對二選一的行為進行了明確的禁止。在每年雙十一大促銷的時候，都會爆出很多企業強制二選一，平臺可以利用技術優勢對商家采取搜索降序、直接屏蔽等措施。商家在很大程度上依賴電商平臺。對此，大部分的商家無法和平臺進行平等對話，只能默默忍受這樣不太合理的交易條件。由于商戶在舉證上的困難以及與該條款相對應的責任條款無法對違法者的行為形成有效的威懾，該條款在實施中并沒有達到立法者預期的效果。就法律關系的調整而言，電子商務法的重心一方面在平臺和消費者之間的關系，另一方面在平臺和平臺內商戶的關系的透明化，并且，以透明化促進公平性也是算法規制的重要目標。歐盟2019年6月19日通過的《平臺和商戶間公平性和透明度法》第5條的規定和我國《電子商務法》第35條的規定非常接近。就其規定的形式而言，是通過規制搜索算法的參數，要求向公眾披露參數來實現對平臺權力的有效規制。
《平臺和商戶間公平性和透明度法》第5條規定：“線上中介服務提供商應在其條款中列出決定排名的主要參數以及這些主要參數相對于其他參數的相對重要的理由。（1）在線搜索引擎的提供商應在其在線搜索引擎上列出并說明主要參數，這些參數在排名方面具有決定性并且相較其他參數具有相對重要性。說明應當是通俗易懂的，易于獲得的，并時刻保持更新。（2）主要參數包括對商業用戶或企業網站用戶向各自提供商支付的直接或間接報酬可能對排名產生的影響，該提供商還應根據第1和第2款的要求，說明報酬對排名的影響。（3）如果一個在線搜索引擎提供商在特定情況下改變了排名，或者在第三方通知后將某個網站下架，企業網站用戶應該有權能夠查看該通知的內容。”電子商務領域之外，瑪麗×楊（Mary L. Young）和阿爾弗雷德×赫米達（Alfred Hermida）在新聞算法領域提出了類似的主張。他們認為新聞應當完整地向公眾公布在信息處理過程中涉及的參數、機器學習的規則和邏輯推理過程。在新聞算法中，研究者更擔心這一技術帶來的信息繭房效應。
（三）算法解釋權
算法解釋權也可以看成是算法透明原則的具體化體現。相對于形式化的算法部署告知，算法解釋權更是一種實質性的算法透明度的實現方式。算法解釋權在2018年5月25日生效的歐盟《通用數據保護條例》中被明確下來，成為了一項實證化的權利。這一權利在歐盟范圍內得到了廣泛認可，并在各國通過政策標準予以具體化。2020年5月20日，英國信息專員辦公室與阿蘭×圖靈研究所共同發布了《人工智能決策說明指南》，為算法解釋提供了指引。我國《個人信息保護法（草案）》規定，個人認為自動化決策對其權益造成重大影響的，有權要求個人信息處理者予以說明。這一條款采用的是對個人權利的重要影響標準，相對于歐盟《通用數據保護條例》中將算法可解釋權限定在影響公民權利義務的自動化決策，顯得還要廣泛些。這一解釋權同時也是實現《個人信息保護法（草案）》所要求的自動化決策結果公平合理的權利機制。
由于法學研究對權利話語的路徑依賴，尤其是在歐盟《通用數據保護條例》中明確了算法解釋權條款后，相當的研究文獻將算法規制和算法解釋權聯系起來，并期待通過可解釋指向算法問責。用戶對算法的解釋權成為算法法學研究的核心命題之一。算法解釋權領域積累有了大量的研究文獻。算法解釋最后的形態仍然是對算法決定的結果或者算法內在的邏輯作出具體的、合理的描述。對算法結果的解釋和對算法相關的邏輯的解釋是算法解釋的一個重要分類。GDPR的算法解釋權如要落實，數據處理者就需要承擔算法邏輯解釋的義務。另有學者提出了“具體決策”的解釋和“系統功能”的解釋，這對應于前述劃分，具有類似的效果。算法可解釋性存在明顯的限度，問題不在于算法的復雜性，而在于算法建立的數據可能是沒有辦法解釋的。此外，在機器學習算法中，對于監督學習，我們能夠知道輸出和輸入之間的關聯；但非監督學習中，我們并不知道輸入轉化成輸出的時候應用了哪些特征值和哪些相關的信息。盡管算法解釋權面臨技術上的困難，為了建立數據主體和數據控制者之間的信任，建構恰當的算法解釋權體系仍然有助于幫助數據主體理解決策是如何作出的，如何獲得對該決策的救濟，以及如何通過改變自己的行為從而獲得自己期待的結果。
算法決策和其他類型的決策存在的不同特征導致需要算法解釋，算法存在難以理解（inscrutability）和非直覺性(non-intuitive)兩大特點。歐盟《通用數據保護條例》第13條至第15條所要求的數據主體應當能夠獲得自動化決策邏輯相關的有意義的信息。美國《公平信用報告法》(FCＲA)和《信用機會平等法》(ECOA)都規定了“不利行動告知”（adverse action notice）條款，要求貸方就不利的算法評分向金融消費者進行解釋，包括拒絕提供信貸、拒絕錄用或提供保險服務等其他信用評估輸出結果的具體原因，這兩部法律同時還建立了賦予金融消費者就信息的不準確或不充分獲得相應救濟的權利。
無論是美國《公平信用報告法》、《信用機會平等法》，還是歐盟《通用數據保護條例》，它們主要的都是在回應算法的難以理解。上述立法沒有解決無監督學習下的輸入和輸出之間的非因果性，沒有能夠對算法的非直覺性進行回應。在很多情形下，直覺是對規范進行描述性陳述的橋梁。由于機器學習的價值恰恰在于它發掘的是有違直覺的統計學關系，而非因果關系。在特定情形中，哪一些統計學的關系是決策的基礎是很明顯的，但為什么存在這樣的統計學關系猶如謎團。要理解算法決策為什么是它們所呈現的樣子，現有的立法要求解釋模型本身仍有不足。如果算法是可評估的，算法模型在輸入和輸出之間的非因果關系或者說非直覺性問題不能被忽視。
四.公開源代碼的可能與限度
算法透明的最激進的主張，莫過于公開源代碼。源代碼是程序員所寫的人類可讀的指令。在復雜系統中，源代碼由成千上萬行代碼組成。對于政府規制代碼的爭議一直存在。在互聯網時代的早期，互聯網基于端對端的交互，并沒有規制的空間，那些為互聯網的搭建作出巨大貢獻的代碼作者在觀念上會對政府規制代碼的行為加以抵制，為政府規制代碼設置重重障礙，但是，當代碼的編寫日益商業化并且開始越來越集中于少數大公司的時候，它就能夠而且應該被規制，因為商業機構能夠被規制。政府將通過直接規制代碼以間接規制行為，利用對代碼/架構的規制達成具體的目的。商業機構在設計正在到來的社會架構時，政府在商業利益之外確保公共利益和公共價值能夠被納入到架構之中，這應當是政府的職責所在。代碼是價值觀念的數字化。代碼作者已經成為網絡空間的立法者，他們決定互聯網世界的默認規則是什么，匿名是否可能，隱私保護的程度。他們在一定程度上決定了互聯網的面貌。代碼已經成為網絡空間的規制者，它在塑造著網絡空間，決定了網民的自由的程度和范圍，對于代碼的規制是網絡時代正義實踐的主題。
2016年，紐約市嘗試通過立法強制政府機構披露源代碼。來自布魯克斯東區紐約市議會的成員詹姆斯×瓦卡（James Vacca），提出算法立法議案要求，市政府機構運用自動化決策系統分配福利、維護治安和進行處罰的時候，必須公布源代碼。這一立法動議直接監管到算法技術的核心——源代碼——的披露而顯示出其激進性。惟需注意的是，它規制的是政府自動化決策行為，而并非對市場主體算法的規制。立法背后的擔憂仍然是政府公權力和技術性權力的結合而帶來的對個人權利的侵犯和控制。
這一立法議案引發了多方的批評。企業認為這不僅損害了企業的經營自主權，也會傷害到企業的核心商業秘密。算法在知識產權法體系下受到的保護非常有限，但可能會收到商業秘密法的保護。有學者在研究法國關于算法法律保護的路徑后指出，根據法國商業秘密保護法的規定，任何同時符合以下三個條件的信息，可以作為商業秘密而獲得保護：（1）信息不為同一產業部門普遍認識；（2）由于信息的秘密性從而具有現實或潛在的商業價值；（3）信息受到合理措施的保護。如果一種算法符合上述標準，并輔以相關措施保護其秘密性，該算法就可以被認定為是受法國商業秘密法所要保護的商業秘密。強制要求企業披露源代碼，從激勵角度來說將導致企業猶豫簽訂為政府提供公共服務的合約。還有企業主張，它們對于算法擁有財產性權利 (proprietary-information argument)。這種財產性權利或者是基于數據產品而生，或者是因為商業秘密所具有的財產價值而產生。一些企業組織了游說公司在紐約展開活動，以改變草案的內容。另外，一些網絡安全專家也指出，如果這些源代碼被不法分子利用，則將會產生難以預料的后果，對公共安全造成難以修復的損害。紐約市最后通過的立法要求成立工作小組就自動化決策的下列相關問題提交建議：（1）公民對算法的可解釋權；（2）公民是否遭受算法歧視；（3）對遭受歧視者提供救濟；（4）存檔算法和數據可行性。
紐約市的算法立法從動議到最終通過，對于算法的規制從一種實質性的約束成為一種政策倡導型的主張，突出表現了商業利益和公共利益之間的緊張。當越來越多的公共服務基礎設施采購市場主體的軟件商品和服務的時候，商業秘密的主張和政府決策的民主性透明性之間的沖突也愈發凸顯。該法案通過之后，引起了法學界和輿論界的普遍關注和批評。一些批評者認為立法已經被企業的利益所扭曲。茱莉亞×鮑威爾（Julia Powles）在紐約客發表的文章認為，紐約市規制算法的立法嘗試是大膽的，但充滿了遺憾和錯誤。 弗蘭克×帕斯奎爾（Frank Pasquale）認為，商業秘密對于效率和創新有一定的激勵作用，但政府的合法性和公共利益擁有壓倒性考量。重要的公共決定如果由黑箱作出，這是政府的失職。凱西×奧尼爾（Cathy O’Neil）在《算法霸權：數字性殺傷武器的威脅》中強調，算法世界是一個丑陋的蟲洞世界。算法應當接受公眾的審視；否則，算法的霸權將成為人們生活的宰制者。
在公布源代碼之外，還有反向工程學（reverse engineering/output testing）的方法可以打開黑箱。反向工程學是實現算法透明的重要技術手段。反向工程學在算法新聞領域有比較充分的討論。法國工程師紀堯姆×沙洛（Guillaume Chaslot）曾為谷歌工作三年，他認為YouTube讓人們看到的事實是扭曲的，而且其算法是以增加用戶黏性為導向，他建議公司改進未果，后被公司辭退。2018年他創辦了算法透明網站(algotransparency.org)，向社會公開了他運用反向工程學的方法解碼YouTube的算法偏見，將平臺如何扭曲事實的技術公之于眾。反向工程學根據輸出結果逆向測試、推演算法的運行邏輯，目的在于解決算法在輸入數據和輸出結果之間的統計學關系，而非因果關系，回應算法的非直覺性特征的挑戰。反向工程學是算法透明的一種技術手段，但這一技術手段必須要考慮各國具體法律的限制。反向工程學存在著很多法律上的挑戰。盡管美國在《數字千年版權法》之外，沒有法律直接禁止和限制反向工程學，甚至《數字千年版權法》也有例外。但是，軟件供應商在終端用戶許可協議中都會有專門的禁止反向工程學的條款，實施反向工程學行為可能會面臨違約的問題；但更大的法律障礙是在《計算機欺詐和濫用法》。我國刑法中的非法侵入計算機信息系統罪，以及個人信息的刑法保護都會對實施反向工程學行為進行直接的規制。
五.算法影響性評估
影響性評估廣泛地運用于個人信息保護、數據安全以及算法的設計、運用和部署中。影響性評估是對數據項目的數據風險進行分析、辨識和最小化的制度。它不可能根除所有的危險，但是會有助于決定在特定環境下風險的水平是否可接受。影響性評估使得風險在很早的時候就可以被發現，因此成為風險社會中被廣泛采用的一種風險防范機制。一般認為，持續的影響性評估會有助于提升數據處理者隱私和數據保護的意識。另外的效果就是，影響性評估使得設計階段就參與進來的人員在開始設計項目的時候就會考慮到隱私，并有助于采取設計隱私的進路。根據歐盟GDPR的要求，數據控制者必須對那些對自然人的權利和自由造成高風險的操作采取數據保護影響評估。當數據處理是基于自動化系統作出的，或者是在大規模地處理特殊類別的數據，以及大規模系統地監控公開區域時，應當要進行數據影響評估。影響性評估制度作為風險防控方式，相當于給數據處理加了一把安全鎖，是一種比較常見的個人信息和數據安全的保護機制。
在技術中立的背景下，算法往往由于價值缺失、設計缺陷或信任危機而產生嚴重的算法風險。作為計算機程序，價值目標的混亂或者扭曲輕則引發算法侵擾，重則帶來系統性的權利侵犯。深度偽造對于人臉識別的濫用、機器生產新聞對于言論市場的扭曲、大數據殺熟對消費者剩余價值的獲取，所有這些不過是算法價值目標喪失帶來的諸多負面效應之一。此外，因軟件設計模塊的缺陷而產生的算法系統性安全風險，因數據殘缺或數據偏見而帶來的內生性的算法偏見，因算法結果歧視而引發的信任危機，等等，這些都是算法風險的具體表現。為了回應這些風險，算法影響性評估成為算法問責的一個重要的制度設計。建立算法影響評估制度和建立健全算法問責方案成為機器學習算法有效規制的途徑。美國算法立法就將影響性評估作為最重要的算法規制手段。2019年4月10日，美國參議院科瑞×庫克（Cory Cooker）和羅恩×韋登（Ron Wyden）提出了《算法問責法（草案）》，要求對算法進行系統和數據保護的影響性評估。違反該法的行為將會被認定為不公平商業行為或實踐，引發競爭法的規制。《算法問責法（草案）》認為，算法指的是基于機器學習、統計學、其他數據處理或人工智能技術的計算過程作出的決定或輔助人工決定。該法的管轄對象包括：（1）連續三年營業額達到500萬美元；（2）處理或控制的個人信息超過100萬人次或100萬臺終端設備；（3）收集、歸集、持有非其用戶的個人信息作為主營業務的數據中間商或商業實體。以其管轄對象的具體內容來說，《算法問責法（草案）》的覆蓋范圍是非常廣泛的，幾乎所有的互聯網企業都會成為該法適用的目標。
高風險算法在該法案中引發了特別的關注，《算法問責法（草案）》基于算法的特點、應用的領域、處理數據信息的內容而將以下算法認定為高風險算法：（1）由于算法的新穎性以及性質、范圍、內容和目的，對消費者個人信息隱私和安全帶來高風險的算法；（2）帶來歧視性后果的算法；（3）基于個人的工作表現、經濟狀況、健康、個人偏好、地理位置和行為軌跡而作出的影響個人權利的算法；（4）涉及相當數量消費者的種族、膚色、政治觀點、宗教、工會身份、生物數據、健康、性別、性傾向、犯罪記錄、逮捕記錄的算法；（5）系統性監控大型公共場所的算法。
《算法問責法（草案）》中的算法影響性評估的內容包括：（1）算法的詳細描述，包括設計、訓練、數據及其目標。（2）數據最小化的要求、個人信息及決策結果存儲的時間。（3）消費者對決策結果的獲取權、修改權。（4）評估算法對個人信息隱私和安全影響，以及歧視性后果方面的風險。（5）算法主體采取的降低風險的措施。
就算法影響性評估機制的構成而言，其最重要的面向仍然在于算法的透明化要求，這一透明化兼顧數據和算法本身，可以看作穿透式監管在算法領域的一個運用。算法影響性評估可以運用在新聞算法、搜索算法、自動化行政等不同場景當中，作為算法規制的一個共同進路，應當結合具體領域的安全敏感性并考慮技術特點，將算法劃分成自由使用、限制使用和禁止使用等不同等級。在影響性評估機制的設計中，算法透明是其中的重要要求，猶如美國《算法問責法（草案）》所明確的那樣，但就透明化的程度仍應結合算法的具體運用場景考慮透明度的具體形式。
六.結語
社會經濟活動和關鍵基礎設施基于算法的自動化運用日益普遍。自動駕駛汽車依賴機器學習算法作出決定和“看到”路上的障礙物。機器學習算法被用于精準醫療/個體化醫療（personalizing medicine）、輔助手術和優化電網系統。作為回應，政府行政規則制定和決策的自動化程度也將更為深入。在監管主體方面，算法監管需要政府統一規制、專家判斷、事先監管，因此可以模仿FDA模式建立專門的算法規制機構。為了更好地促進數據驅動的算法數字經濟，政府需要發展出以算法透明為目標的自動化的規制體系。
算法黑箱是一個常見的隱喻。這個隱喻會誤導人們的認識，遮蔽民眾的認知。黑箱似乎是無從打開，打開了也是沒有意義的。這一對算法黑箱的隱喻實際在強調算法系統的復雜性以及這種復雜性讓外行人無法理解。有效的學習算法模型包含海量的數據和大量的代碼，根據輸入的數據，動態調整內在的決策模式并更新代碼內容，代碼一直處于迭代的過程中，這時候設計者和運營者很難說明算法的決策過程。反對者將算法透明等同于打開黑箱，披露源代碼，從而反對算法透明的主張。這是將算法透明原則的最嚴格情形普遍化，從而反對作為一般性原則的算法透明，實際上并不能成立。在算法問責的工具箱中，從法律角度而言，算法透明仍然是最為恰切的手段之一。就人類立法的經驗而言，對于主體、行為和后果進行調整仍然是最為普遍的立法模式。算法作為一種技術，算法開發者、利用者、部署者的責任，算法帶來的歧視性后果以及算法可能引發的壟斷問題都可以作為法律規制的對象。
透明度是算法規制可欲的目標，目前已為我國《個人信息保護法（草案）》所接受和采納。算法透明作為一種信息監管機制，是數字社會化和社會數字化趨勢下的必然選擇，它有助于打消公眾對決策自主性喪失的憂慮。這種透明度并不等同于打開黑箱，公布源代碼。就目前世界各國的立法實踐而言，并不存在公布源代碼的立法例。從標示義務到向監管部門報備參數，一直到向社會公開參數都是算法透明的重要方式。《個人信息保護法（草案）》為決策自動化設定了透明度的要求，透明成為個人信息處理、決策自動化的原則要求。在不同的場景和商業模式中，對于算法透明度的要求存在著披露程度上的差異，從一般人能夠理解的算法解釋決策的結果或者解釋算法決策的內在邏輯，從技術人員可以理解的參數再到公布源代碼都可以成為算法透明的具體化實踐。算法透明是算法規制的重要原則，法律應基于不同的場景對算法設定差別化的透明度要求。
【作者】汪慶華（北京師范大學法學院教授、法學博士)