摘要:智能算法升级迭代,使得自动化决策技术广泛应用于公、私法两大领域,它在方便经济生活和社会管理的同时,也因对个人自决权应用界域的侵蚀而导致各种担忧。自动化决策算法本质上是一种数理智能程序运算,辩明算法决策的法律属性,厘清人工智能作为“人格性工具”的面相,揭示算法决策与法律行为的实质区别,有利于科学地认识算法决策的法律效果。尽管决策算法的运行逻辑结构在形式上是数据的输入和决策结果的输出,但算法逻辑是二者相关关系的判断,因此,涉及道德和伦理等价值评价的决策,人类不应该“放权”于算法。在算法决策应用中有必要界分人工决策和算法决策的合理场域,构建二者区分标准并协调和优化决策机制。应基于决策二分法,立足规制风险目标,阐述算法决策风险的产生机理,分清算法决策风险类型,从而构建“立法+监督+协同”的算法自动化决策治理体系。
乌尔里希·贝克(Ulric Beck)的社会风险理论指出,技术是推动人类步入风险社会的动因,也是风险社会的主要表征。算法本身作为一种新兴科技,在赋能人类社会的同时,也使这个世界变得更为复杂。梳理文献发现,国内外学界围绕算法决策应用的研究成果颇多,研究揭示算法决策在追求智能高效应用目标的同时,其决策的“负面效应”也相伴而生。有学者担忧,“算法决策”会异化为“算法支配”,算法决策对现实规则的“技术俘获”,易导致决策者深度依赖算法,产生被算法“驯服”的认知风险,尤其是“机器治人”现象会改写人类决策程序中“人本主义”的逻辑遵循。算法自动化决策可能绕开程序正义等权益屏障,在强大的算力支持下依据算法决策逻辑瞬间产生决策结果,挤压掉决策本身的程序价值,这些隐忧都显示出对算法自动化决策风险治理规制的现实需求。
一、问题的提出:人类决策转向机器决策的担忧
决策是人类的一种专属行为。自古以来,人类是决策的唯一主体。决策行为带有确定的目的性,它是运用决策者的智能、见识、经验以及理性判断等能力,在权衡利弊要素后作出最优行动方案选择的过程。然而,在数字时代,智能算法介入并重新定义传统的决策方式、呈现形态和运行逻辑,决策者的有限理性和经验由于算法技术的定量分析介入趋于高度智能化,当算法自动化在决策过程中出现算法权利化倾向时,会产生难以预料的破坏性效果。
(一)行政决策疏漏
传统的决策是人与人之间各种关系的协调过程,在算法介入公共领域辅助公权力决策时,譬如行政审批、智能交通执法、信用评估和税务稽查等,算法有一套自我决策的程序,区别于传统的决策主体、行为过程和规则选择,通过程序代码简化为“数据输入—数据运行—数据输出”的自动化范式,人与人的关系被异化为算法自动化行为。这便会使人产生疑问,算法自动化决策程序能反映出程序正当性吗?程式化、机械化决策过程如何保障个人合法权益?行政行为的主体是自动化决策的机器还是行政管理机构?这些质疑都难以回避。
(二)司法裁判盲点
智慧司法已经广泛应用于司法领域,算法辅助裁判需要对诉讼参与人各类信息进行标签化,譬如社会信息、经济能力和诉讼记录等,数据化标签对诉讼当事人进行数字画像,有的裁决结果就会参照辅助系统的风险评估画像报告,事实上,这种黑箱式的决策算法有可能侵犯了诉讼当事人的知情权和抗辩权。况且,数据的真实性、数据标签产生的算法偏见预防都存在很大的挑战,大数据算法进入司法后会改变原有的审判模式,甚至对于部分学者期盼的强人工智能阶段,有人质疑算法会不会逐步替代法官的思考,司法机器人能否做到公正判案。
(三)数据决策陷阱
决策算法借助智能和精准优势,可以简化社会经济运行中一些复杂的决策过程,提升经济效率,但受到主体利益最大化原则影响,存在资本利益裹挟算法决策的个别现象。算法模块的决策者以精准预测、定向推送的方式固化和塑造个人偏好,美国学者研究发现,在金融信贷领域,决策算法根据个人数据信息画像来定夺贷款的额度,存在相同条件下针对特定个体带有明显歧视的现象,对比黑人和其他肤色人种贷款的决策评价结论显示,二者授信机会的差别较大。现实生活中“大数据杀熟”“歧视性定价”和“平台算法陷阱”对从业人员的算法黑箱垄断等行为也屡见不鲜。
综上所述,算法决策已经深刻影响个人生活和公共管理,我们在探究自动化决策算法带来担忧的同时,更重要的任务是认清决策算法的法律属性,并依据决策二分法,科学判断算法决策应用的合理场域和界定原由,以及在合理应用场域下如何防控算法风险。
二、算法自动化决策的法律属性
算法决策是一种基于机器算法技术的自主性决策系统。由于算法决策并非基于可识别或可解释的规则,而是算法要从大数据中自我发现规律与新知,且算法自动化决策在语言和思维层面会愈来愈接近人类的行为,使得人类面临客体化的危险,也印证了人们对算法自动化决策产生的种种担忧。因此,正本清源,厘清算法自动化决策在法律本源上的应然属性,才能揭开算法自动化决策的“庐山真面目”。
(一)算法自动化决策不具有法律行为属性
算法决策是智能模块对既有大数据进行自动化判断的过程。算法本身虽具备一定的逻辑关系延展能力,但该种能力不是认知层面的学习,且一般的算法关系可以用逻辑与和逻辑非的形式来表示,其中,逻辑与可以定义为函数f(x),它会给任何输入值x得出一个输出值y,譬如,在人脸识别中将图像分为“人脸”和“非人脸”。这种算法函数的逻辑本质是输入数据与输出结果的关联性,并非在逻辑上判断是否存在因果关系。而逻辑非是依靠数据分析模块运算,未经设计者事先的预设来确定会发生什么或不会发生什么。很显然,这种决策的运行过程是一种线性的逻辑表达,是基于数据样本和编码程序逻辑结构实现的。比较法律行为的构造,在德国民法文献中,法律行为通常被定义为“旨在发生当事人所欲之法律效果的行为”,我国《民法典》第133条将民事法律行为定义为民事主体通过意思表示设立、变更、终止民事法律关系的行为。其根本特征在于法律效果由意思表示的内容决定,核心是意思表示创设了法律行为,法律行为创设了通过私法自治的法律效果。对比而言,二者在架构、决策的质量和决策能力等方面都有不同。算法决策行为的构造是技术逻辑的数学架构,是算法系统做出的意思表示;法律行为有着严格的法律主体要求和内在意思要素的构建,其外在行为有身体的运动,内在包含意思和意识,是精神的一种属性、状态或活动形式。在理论上,显然不能把算法自动化决策等同于民法上构造的法律行为。
(二)算法自动化决策是一种交互程序
算法是数字化、智能化的技术手段,并非自然人意思自治的延伸,算法自动化决策方式从形式上切断了“行为—责任”逻辑链条,要还原算法自动化决策的本来面目,可以回归到法律关系的架构中去验证。
1.算法自动化决策责任主体是人而非机器。纵观民事主体发展从“人可非人”到“非人可人”的历史脉络,它阐释了法律主体只是为满足需要的法律形式,从古罗马法到现代民法,主体范围在不断扩大,但不应该无序地扩大。算法自动化决策较之人类的自决权有其先天优势,譬如准确、理性、程序化、高效便捷等。但是,获得准确决策的权力并不等同于当然地取得决策者的权力。换言之,算法自动化决策的身份地位不是靠算法技术本身与人类的竞争而获取的,它需要法律意义上赋权认可,现行法律对民事主体的分类仅包含自然人、法人和非法人组织,算法自动化决策显然不属于任何一种类型,它只是人类为提高管理效能,引入社会管理决策的辅助性工具而已。
2.自动化决策算法是“人格性工具”。算法自动化决策与人的关系并非完全分离,这是由算法的技术特点决定的。自动化决策算法既非人也非物,是人机交互的行为,其本质是一种“人格性工具”,原因有三。一是算法自动化决策的依据是设计者和代码编译者创设的,是决策者意思自治的物理性手段延伸,不存在完全内生、自主思维和自主学习的算法。二是算法自动化决策过程需要人类的全程参与、密切关注和评估结果。算法决策依赖于大量初始训练数据,训练数据和算法决策结果是相互成就的,训练数据影响算法决策结果的质量,反过来算法决策的结果反馈能引导决策者对训练数据的调适和改进。三是算法自动化决策离不开持续的管理和维护。算法决策是辅助性手段,其行为与后果都由人来承担,因此,人们有义务对算法决策的偏差和错误进行全过程的防控。
3.自动化决策算法易背离“人本主义”。人的主体地位和尊严是宪法价值的延伸,源自于哲学道德要求向法律规则的转变,是宪法给予人的终极认可与推崇,但机器是冰冷且没有理性思想的,算法自动化决策不加区分合理应用场域的后果,便是人的主体地位受到算法的不断蚕食,让人们在智能算法背景下不得不重新定位人的尊严和价值,并在价值指引之下,把“人本主义”价值被动地带入算法应用的正当性论证之中,显然“人本主义”价值遵循本身是不容动摇的,人们过度依赖算法自动化带来的便捷和经济利益,必然会付出背离人的价值和价值意蕴的代价,削弱了自身的主体地位。
显而易见,当厘清了决策算法的法律本质,就能揭开算法自动化决策的“面纱”,确定决策算法设计者(控制者)是算法决策失控后相关法律责任的承担者,为算法自动化决策风险如何在私法权利谱系中进行规制奠定了基础。
三、算法自动化决策应用的合理场域界分
为了确定人工决策与算法自动化决策适用的应然范围,基于“决策二分法”探讨场域问题,是解决决策风险防控问题的基础,决策应用场域划分的科学与否,涉及对决策风险的两种不同逻辑对应问题。简言之,应依据理性标准划分出两类决策的应用边界,确定哪些场域运用算法自动化决策是合理的,反之,就会出现算法自动化决策侵占人工决策权场域的越位行为。
(一)算法决策应用界域区分标准与判断依据
算法自动化决策应用的界域划分本质上是对人工决策与机器决策场景的区分。算法自动化决策应用场域有限,不应随算法技术的进步无限制地扩大,它解决不了非经验性的问题,不可能取代人类的情感因素,比如人类表现出的同情心和同理心、表达和分析问题的思维过程、提供人类存在的证明以及舒适的人体接触。它无法解释输入数据与输出结果的因果关系,无法回答待决策运算涉及的道德伦理、规范性问题和价值判断,更不可能解决与公权力领域有关的优先权、分配和归属性道德难题。譬如,人脸情绪识别算法因其客观多变的现状和特征涉及精神内容等可责性难题,导致人脸情绪识别算法的决策结果面临准确性危机。
本文认为,对决策界域划分问题应该形成一种判断共识:算法决策通常能够识别输入和结果之间的相关关系,而不是因果关系;在没有可供预测的数据参数反馈的情况下,不应该使用算法机器进入该应用领域开展自动化决策;同时,当决策内容涉及伦理或其他道德价值方面的定性判断时,也不应使用算法机器去完成该决策。监督者对决策风险监督的首要任务就是判断决策手段与决策逻辑之间的适应性,对算法自动决策审查的重点应当落到算法程序中是否存在技术伦理风险的防控上。
(二)算法决策应用界域区分的理由
1.自然人与人工智能关系的定位。考量人机关系的核心在于谁具有主导性的问题。有学者把人工智能技术划分为弱人工智能、强人工智能和超人工智能三个阶段,并提出应赋予强人工智能主体法律地位,理由是智能算法的深度学习和简单思考可以匹敌自然人的意思表示。其结论是否正确值得商榷,但是,我们应该坚守的立场不能动摇,算法自动化决策一定要控制在人本主义价值伦理许可的范围内。即便人类可以出于提高效率、便捷生活、提升品质的考虑,在诸如无人工厂、自动驾驶、智能投顾、机器人医疗等日常生产生活领域中,把部分不涉及价值判断和因果关系梳理的决策权交给算法,但人类不可能把立法权和司法裁决权“放弃”并交给算法机器去决策,算法决策的角色定位只是人类意思自治的参谋和助手,即使在现行大量适用算法决策的领域,也只是阶段性、局部性和临时性的,为人类的最终决策提供参考和辅助。如果有一天,强人工智能来临,人工智能有了人类一样的自主意识和判断能力,那么,人类更不应该放弃决策权,因为“放权”给算法决策就意味着被自己的创造物所主宰和毁灭。
2.对数据、代码、算法的正义价值考量。数据是算法的基础,作为重要的生产要素,数据要素有其正义性的需求。譬如,近年来的“大数据杀熟”盛行,对算法决策的定点式推送再次提出警示。尤其当行政管理部门和经济平台运用数据挖掘技术对原始数据进行抓取、分类、整理和赋值,并依据训练数据给服务对象提供相对应的算法模块,或者建立新的技术规范和社会管理模式时,此种情形的数据资源利益关系就需要规则的平衡,尤其在数据赋值环节,面对相同的基础数据常常形成不同的算法决策结果,这就不单是一个技术问题,而是包含着一定的价值判断,隐藏和交织着不同的利益诉求和权利主张,这些挑战都需要构建相应的数据正义观给予指引。
代码作为人机交互的程序语言,也是符号和信号码元以离散形式建构的数据规制体系。它具有标准化、确定性和可扩充等特性。该规则体系包含了程序设计者或决策者的专业理念和目标价值,随着智能化的发展,越来越多的算法程序实际控制着部分人工决策的规则空间,促成了“代码便是法律”的特殊现象,代码正义越来越引人关注,主要表现在以下方面。一是对代码规则的正当性与合理性拷问,为了保证代码编写和标准制定所创设出的算法权力和控制力量在可控制的范围。二是对代码编写是否存在偏好的拷问。代码在创造过程中或多或少被嵌入决策者的思想理念,特别是在商业领域,如何抑制嵌入的价值偏好成为代码正义的必然要求。三是对“恶意代码”约束的拷问。在商业利益的诱惑下和不良动机的怂恿下,算法内嵌的流氓软件、间谍软件侵害服务对象的合法权益,通过技术识别并遏制恶意代码需要技术回应。回归到算法本身的正义问题,主要任务是如何控制算法错误与算法失控,让算法遵循和保持“善法”的主体性和目的性,譬如面对“算法决策黑箱”问题,必须监督程序员是否被赋予过多的技术决策权,而且要确保不发生技术权力的滥用。总之,关乎大众利益的算法自动化决策,需要构建技术公平规制来强化自动化决策的透明性和可责性。
3.算法决策与法律决策之间的鸿沟。算法决策遵循数理逻辑,法律决策依据社会逻辑。它们处于两个不同的逻辑系统,因为法律决策必须要以法律规范为基础,而法律规范是人们长期在社会实践中人为创设出来的行为规范,折射出人类的理性思维、智慧思辨逻辑和社会关系运行规律,本质上体现了人与人之间的社会关系。而算法决策是由自然人经过收集、加工数据后设计出来的算法模块,反映了数据算力和数理逻辑,本质上是人与机器的交互行为。算法可视为对数据的计算过程,这种计算方式的内部运行结构就是算法系统,算法系统只能通过数据模块运算来确定数据输入与结果输出的数值关系或相关关系,却无法解释二者的因果关系和运算机理。目前,算法自动化决策仅能做到提高效率、减少工作重复和简单的推理,若要将算法决策转化为法律决策,摆在前面的技术障碍和理论阻却难以突破。
(三)人工决策与算法决策关系的协调
算法自动化决策虽产生众多担忧,但过分的从规范性基本原则证成担忧并放大人工决策的纠偏效能似乎也不适应社会发展的规律,甚至有阻碍算法科技发展的嫌疑。人工决策和算法决策的纠缠是智能时代决策二分性的体现,对于程序性、简单推理、有高效要求的决策事项,在一个相对闭合的预判环境下,算法决策往往更高效且错误总量更少。反观人工决策,决策结果是在规则和规范引导下,依靠决策者的意思自治和对各种社会关系利弊的理性权衡,判断往往受经验主义和坚守“人本主义”及伦理道德价值的影响,同时,它还承担对算法自动化决策的动态校准,及时纠正算法越界域决策后的不良后果的重要职责。由于决策过程逻辑的不同,要求决策者辩证地看待彼此不同的两种决策方式,二者各有其应然存在的合理空间,当决策者在选择适用工具时,在不同的场景下应遵循二者的逻辑本质,取长补短,相互不僭越,彼此合理的场域。
四、算法自动化决策的风险规制
即使揭开了算法自动化决策的面纱,最终目的也是为了对其带来的风险加以规制。当前,算法决策给现实生活带来的安全问题已经多有显现,决策者必须清醒地认识到,只有洞悉算法决策风险的发生逻辑,合理区分风险类型,才能找到具有针对性地防范与治理算法自动化决策风险的办法。
(一)算法决策风险产生的逻辑
从社会发展的维度看,算法决策风险是智能化发展带来的负外部性溢出。智能算法驱动社会管理和人们的经济生活发生巨大变革,产生了人机交互并存的新型社会生产关系,算法自动化决策系统在提高经济效率和缓解劳动力成本的同时,逐步形成了一种新的算法权力,该权力使人们容易产生路径依赖,并在公、私法两个领域扩大算法权力界域和固化对人类自决权的蚕食,这种变化过程必然给社会结构的稳定带来挑战。
从算法技术本身的维度看,算法决策风险的产生不仅是算法本身的设计缺陷或部署失当导致的,而且还与算法本身所摄取数据的结构性偏差、数据“关联性”逻辑判断和算法“以效率为本”的价值取向有关,原因如下。一是以自动化决策为代表的算法,难以适应动态开放的场域,往往会出现训练数据无法涵盖的情况。二是支撑算法决策的深度学习需要海量的训练数据,如果无法保障底层数据的高质量,良好的应用效果就无法实现。算法自动化决策充其量只会把人们从简单重复、无需复杂逻辑结构的工作中解放出来。三是算法决策系统不具备人们所拥有的生活常识和知识背景。算法决策在进行行为理解、情感分析、道德判断等实际任务时,可能会产生不合常理或违背人类伦理道德的决策或行为。四是以深度学习为代表的智能算法缺乏透明度和可解释性,给人工智能的安全监管及安全事故的事后追责带来困难。
从算法应用的维度看,智能算法具有技术属性和社会属性高度融合的特征,使得算法决策在社会各领域得以展开,当算法决策在公权力领域应用,会对国家、社会和个人安全产生直接影响。在经济领域的应用,平台算法可以利用制定算法规制的优势地位,在算法中嵌入符合自己最大经济利益的代码,使得算法决策权利化,固化决策者的算法权利地位。在个人信息处理中,算法决策利用算法的不可解释性和不透明性,可以选择性地盗取用户的个人信息,存在个人信息泄露的风险。
(二)算法决策的风险类型
1.算法权力扩张化风险。算法权力是一系列权力的概括表达。其中包含算法解释权、脱离算法自动化决策权、人工接管权、关闭算法的权力等。这种概括从理论上没有脱离拉伦茨所认为的权力性质,只能去类型化描述,不能被周延地定义,这种描述的方式需要所有被考量的特征都指向中心价值。然而,算法决策在功能上不仅要确保结果的合理性,还要能解释决策程序的科学性。在经济领域,算法等同于话语权和规制权,它犹如“黑箱”,具有不透明性。这些问题并不是对新生事物的利弊判断,其深层次是传统权利义务属性的改变、放大和限缩,展现了“被赋权和被夺权”的力量博弈。算法决策介入并影响传统权利义务关系,固化算法决策权力在新型权力谱系中的地位。传统权利义务的对应关系、平衡关系及其制度实践随之会发生改变,平等、自由、公正和民主原则都将遭遇挑战。如,算法、数据、代码嵌入社会关系和社会生活,导致“一方权利被放大,另一方权利被削弱”。再如,算法权力注重信息财产的虚拟性和衍生性,强调共享的全新法权观念替代传统法律制度难以顺应变革的领域,可谓是抢占人工决策地盘。还如,算法可以凭借决策算力将出租车高峰期“加价”改为“定价”,购票软件以智能化“插队”获得购票机会的绝对优势。
2.法律规制算法化风险。算法崛起对法律规制提出了挑战,影响领域涉及挑战人类的知情权、个体的隐私与自由以及平等保护。譬如,辅助型算法加大了垄断协议的证明难度。再如,平台经济拥有强大的运用规制处置权,包括制定平台规则、处罚违规行为、解决平台纠纷等“准立法”“准司法”“准执法”的特权,这无疑对政府干预市场经济运行带来巨大冲击,行政执法理念与规制方式遭遇全新的难题。产生挑战的原因是决策者将算法自动化决策引入到法律决策的适用场域,忽视了算法决策权力源于数据主权,本质上是控制算法设计和研发过程的资本权力。具体而言,决策者试图用算法系统的逻辑计算和编码程序来表达法律规则,并通过数据模块、逻辑结构图块、知识图谱技术把法律运行的张力嫁接到可以自动运行的推理系统,探寻算法决策与法律规则之间转化的通道。甚至有学者提出,到了强人工智能阶段,算法的深度学习能力和思考判断就可以支撑算法系统的自动更新与迭代升级,可以预见随着技术优化,算法权力的范围仍将不断扩张,某些行业的传统职权已被算法取代。由此可见,法律算法化变革的更多主张是“计算思维”,也就是将现实社会中各种关系用数据加工后,形式化为可计算的问题,然后选择合适的计算方法和决策逻辑进行编码。人们成为被分析的对象,且很难知情算法决策背后这些数据加工的过程。
3.算法决策权滥用风险。论证算法对人的物化有悖人非目的的伦理要求,当前算法决策权力带来的风险主要表现为以下四点。一是“信息茧房”现象进一步加剧。算法削弱了人的主体性地位,排斥了人与社会发展的多样性,大数据信息冲击下人们的直觉和经验意识开始放弃并逐渐退化,人们会产生算法决策依赖。乐于不去思考和判断就会获得结论的信息传递方式,不仅加剧了人们对事物判断的偏见与喜好,还影响主动接受异质化的信息。二是“信息捕获”危及信任基础。在商业领域,每个人被创设出一个“数字人”身份,数据画像、算法的运用并非旨在客观地表征相对人的行为或社会实在,而在于影响、控制和调节被描述或评价者的行为,其中渗透着算法主导者的意图。通过对行为数据的分析和评价,就能实现差异化定价的商业策略,这种价格歧视的实质是利用大数据来“杀熟”或“杀贫”,算法决策技术下消费者信息匿名化处理和知情权保护形同虚设。三是“算法共谋”助长垄断形成。大数据技术使得市场主体通过私下合约就可以轻而易举地决定商品的产量及价格,这种合谋行为造就的整体利益集团就是一个垄断者。算法决策嵌入商业结构,会改变传统市场运行机制、准入门槛、惩罚机制等,谁掌握算法决策权,谁就是受益者,决策算法的使用者与相对人之间的力量失衡,后果是“亚当·斯密的‘看不见的手’很有可能被‘算法之手’所取代”。四是“算法歧视”固化愈加明显。个体“数字人”的身份会在算法决策系统打上对应的标签,该标签如同把平等的主体划分为三六九等,2016年美国在《大数据报告:算法系统、机会和公民权利》中有针对算法歧视现象的救济评价,但美国Northpoint公司开发的犯罪风险评估系统,评估结论是黑人犯罪风险高于白人两倍,结果明显带有歧视性。
本文认为,产生这种问题的主要原因是算法决策明显违背其应运的场域问题,算法决策应用必须坚守的原则和标准是:人们不应该在算法决策中嵌入因果关系判断,更不应该将对人的道德品行定性评价赋权给机器去决策。否则,新的不公平会被算法技术带入社会管理和经济生活,产生效率掩盖公正的现象。
(三)算法自动化决策风险规制的具体路径
恐惧往往来源于未知,算法决策风险源自人和技术两方面,但关键要素在于算法技术本身和决策控制者的价值追求,我们应该将其放置在法律规制框架下,明确算法控制者与数据主体各方的权利义务关系,刻不容缓地架构“立法+监督+协同”的治理体系。
1.算法自动化决策风险的立法控制。从域外立法看,美国虽然在联邦层面没有针对算法自动化决策的法案,但是以纽约州为代表的部分州制定有专门针对算法决策的《算法问责法》,该法案对算法决策纠纷中适格的主体、问责对象和决策工作组等有详细的规定。譬如,旧金山市为避免因算法自动化决策引起种族歧视,出台了禁止政府部门在特定领域使用人脸识别技术的规定;纽约州出台了针对算法自动化决策在公权力领域使用的场域规定。欧盟制定了《通用数据保护条例》,该条例第22条规定了数据主体对特定情形的拒绝权,数据主体不得决策适用的情形,对数据用户的质疑权的保障,对涉及有关种族、宗教信仰等敏感数据需要算法自动化决策时,条例给予否定性明令禁止。上述研究带来如下启示。一要加快我国针对算法自动化决策的立法。赋权数据主体(被决策对象)可以选择拒绝算法决策的情形,科学地界定算法决策应用的界域,以及无法拒绝时对算法决策控制者的质疑、价值表达和参与干预的权利。二要扭转决策者和数据用户力量不对称的局面,规定算法设计者或决策者承担一定的信义义务,这样也可以避免美国《算法问责法》中因各方利益主体权、责、利不明确使得法案效果大打折扣的情况。三要构建“脱离自动化决策权”的三权联动机制。具体来说,就是用户干预权、表达异议权和获得解释权的相互联动,它可以实现对数据把控和程序治理的系统性联结。
2.监管部门对算法决策异化的防控。算法决策系统涉及多方主体,包括算法系统设计者、算法决策者、数据主体等,加之决策流程的不透明和难解释特性,算法成为形式上的决策主体后,形成了多方参与者责任剥离的理由。因此,要面向算法决策设立专门的科技监管机构,给予监督机构针对算法决策风险享有相应的监督、管理和问责权限,逐步形成算法伦理性评估、外督内审及第三方制约等监督链条。
一是建立对算法技术的评估制度。算法评估是算法决策实现正义的第一道检测口,通过对算法数据、算法模块、算法代码及算法运行进行综合评估后,监管部门才能尽可能地剔除算法决策系统中嵌入的非公正因素,并及时发现算法本身的技术缺陷,尤其是检测算法决策系统是否存在正义、偏见以及歧视的潜在影响;通过特定程序对自动化的决策进行持续跟踪、评估,将自动化决策的运行逻辑和评估依据按比例原则适当向公众公开。二是对算法决策行为的审计制度。算法审计是算法外部问责的一种方式,引入外部专业人员或者专门监管机构对算法的实施和运行进行评估,本质上是让监管部门能够穿透算法运行“黑箱”,从而对算法运行是否符合法律法规进行检视,域外立法实践中算法审计越来越成为算法监管规则构建的重心。譬如引入符合条件并经批准可以设立算法审核事务所,对算法系统进行技术评估,监管机构直接对审核报告进行审查,并对审核对象进行抽查。三是对算法决策错误的问责制度。从权利义务框架来看,算法决策者提供算法服务获得使用权,决策者和用户二者之间的法律关系应解释为信托关系,在信义义务的框架下算法控制者负有勤勉、忠实和信息披露义务来促进“负责任算法”的实现。从监管角度而言,监管部门应制定《算法监管准则》,设定比例原则、知情原则、数据来源披露原则等,可以在准则中规定算法决策者应适当地公开部分设计文件、配有合格的算法维护及管理程序员、留存监督检测时的各项算法检测记录等,认清算法决策中责任主体对特殊客体的作用力,采取“穿透”问责的方式厘清法律责任的最终承担者。
3.多主体共建共治共享的协同治理。为激活阶层式规制以外的规制手段,填补和负担现有规则功能性的不足,应打造政府与民间互动、软硬法并重、双向多元的算法风险规制体系,就如同“硬规制”如果存在不能明辨决策选择正当性的情形下,“软规则”可以先行厘定各方权益、规制相互关系,产生行业性或区域性新秩序。首先,要确立从层级治理到场景治理理念的转变。由于现代性的规则秩序基础是工商业,是一种局限于物理空间的人与人、人与物的关系,追求一种普遍性的逻辑化生活方式。社会治理充满了以政府为中心的层级治理。然而,算法决策维护的空间是现实与虚拟的双重空间场景交往。这种场景化的算法决策方式,既是算法本身的去中心化与再中心化,又是决策方式变革的结果。譬如,美团外卖、滴滴打车等新业态都是以算法技术“创造性破坏”的方式引领新秩序,市场监管部门跟进予以认可,监管重心必然会放在应用场景下如何保障参与主体力量的平衡与合法权益的保障。
其次,要建立算法决策共建共享制度。社会制度的变革,各方主体都是建设者。一方面,需要在规制体系上共建共享。管理部门对新业态、新决策方式颠覆旧的管理规则采取包容审慎态度,科学认知法律都要走一条“先了解技术,然后才立规矩”的路径。与此同时,为适应新形态创新需求,需要政府与多方主体上下互动、各司其职,加快国家监管机构对社会组织的适当赋权,创造多方参与风险共治的主动权。另一方面,需要做好权益划分上的安排。传统经济是关系型经济,算法时代的经济是“共享经济”,由于经济发展基础模式的不同,不同主体需要在制度、激励、法律、技术或规范方面进行清晰的设计。因为人们会担忧算法技术会加重财富分配和不公平现象放大,产生新旧阶层的权利斗争。这就需要利用“控制与分享”规律平衡配置算法权力中的个人、社会、公权力机构之间的权责利,消解算法决策和代码规制中各类风险和信任危机,预防算法决策导致的“再中心化”聚集和新的两极分化。
最后,引导“软规则”发挥好秩序构建功能。在经济领域,算法决策者控制着重要的话语权、解释权和裁量权,处于强势地位。它可以根据算法决策结果冻结账户、停止服务,如果算法决策规则的制定者利用地位优势去固化所谓的“游戏规则”,那么梳理、协调和平衡“软规则”实施在平衡强势地位和弱势地位中的作用,加强“软规则”建设就会是算法决策治理格局中的重要环节。譬如,凤凰网报道过女大学生网购给差评,店家发来威胁短信。这背后都是平台经济优势地位者对自己制定的“软规则”的滥用。国家应该引导算法决策主体在算法“软规则”制定的协商、论证、听证和披露程序,特别是在算法决策涉及定性评价和规则导致利益失衡时,需及时对算法决策应用的合理场域和规则适用进行立法指引,以便平衡处于弱势地位被决策者的参与权和话语权。
五、结语
现实中,算法很多时候做着一些定性判断,譬如资格审查、屏蔽封号和自动执法等。相比较前述两种决策,最大的区别在于人脑决策可以去质疑并获得解释。但是,算法决策背后存在一个难题,就是人类在设计决策模型、算法代码时,不可能做到穷尽“正义”的样本。成百上千的算法应用场景,需要对应各类成文或不成文的规制,因为“同质化”下的算法规则会以部分不公平决策为代价,决策者必须协调人工决策和算法决策的良好互动关系,在决策方式选择上不应过度“放权”于机器,要注重人机决策的回圈机制,为算法决策过程设计伦理或价值判断的预警机制,注入“人本主义”关怀。唯有如此,科学合理的决策选择才会给人类社会管理和经济生活带来福祉。
(侯东德,西南政法大学民商法学院教授、博士生导师;张可法,西南政法大学民商法学院博士生。)
以上文章原载于《学术研究》2022年第8期,文章不代表《学术研究》立场。
篇幅原因有所删减,未经授权不得转载。