什么是自动化决策

《个人信息保护法》第73条第2项规定，自动化决策是指 “通过计算机程序自动分析、评估个人的行为习惯、兴趣爱好或者经济、健康、信用状况等，并进行决策的活动”，包含对算法的定义。《电子商务法》第48条第1款规定 “电子商务当事人使用自动信息系统订立或者履行合同的行为对使用该系统的当事人具有法律效力”，这里的 “自动信息系统”是指按照事先设定的程序指令、算法、运行参数与条件，在无自然人确认或者干预的情况下，交易双方为了订立或者履行合同进行信息互动的计算机信息系统。

自动化决策以用户画像为基础。个人信息处理者通过对用户碎片化的个人信息进行分析和处理，刻画用户的兴趣爱好、行为偏好、经济状况、消费记录、运动轨迹等，进而形成虚拟空间的画像。基于画像，机器评估用户支付意愿的区间和对价格的敏感性，在同一时间向不同用户展示不同的交易价格或交易条件。在技术加持下，个人信息处理者甚至比用户自身更了解其消费意向，能够做到“一人一价”和动态调整。

自动化决策的问题及治理[1]
鉴于人工智能在纯技术层面是价值中立的，基于算法的自动化决策具有相对客观、公正、高效的优势。然而，在实际应用上，历史数据存在偏差、设计者个人偏见嵌入系统，以及技术本身不完善等因素又会导致人工智能系统不时做出错误或歧视性的自动决策。除了担心“大数据杀熟”等消费者权益被侵害的问题，人们更为忧虑的是透明度缺乏、监管不足的自动化决策可能令社会陷入“算法暴政”和“数据霸权”的泥沼之中。

美国海军研究生院计算机系助理教授约书华·A·克罗尔（Joshua A. Kroll）在美国布鲁金斯学会官网发表了研究文章《为何目前的人工智能还只是自动化应用而已？》（Why AI is just automation？），探讨了自动化决策过程中准确性、公平性和透明度不足的问题，并提出了社会与技术深度协同的治理思路。

约书华·A·克罗尔（Joshua A. Kroll）指出，算法偏见造成决策谬误和歧视性结果的主要原因可以从技术和实务两个层面进行分析。首先，从技术层面来看，现有的人工智能治理机制大多还不具备应对自动化决策系统的规模、速度和复杂性的足够能力。当前机器学习的主流技术普遍呈现“黑箱”特征，个人用户很难充分了解数据训练的过程和自动决策的机理，难免令人们对算法的公正性产生怀疑。在医疗、金融、司法等重要领域，“黑箱”容易使自主决策的算法欠缺透明度和可解释性，进而威胁到人们的基本权利，但现实中法律救济和纠正错误的有效途径又不足。同时，由于算法本身就是规则制定者和系统设计者个人意志与偏好的投射，且随着算法对数据的不断学习，又会在人工智能系统中逐渐固化这些选择倾向，从而导致决策偏差的形成。

其次，从实务层面来看，大多数用于公共事务管理的自动化决策系统，其运行规则实际是由官僚行政机构负责制定。然而，官僚行政机构在忙于拥抱新技术、部署新系统时，常常会疏忽新的决策产生方式对所有利益相关者的影响，并且对如何将新决策工具有效融合到现实的行政管理功能之中考虑不足。这就容易导致唯技术论，简单地将“应用人工智能”或“以数据驱动决策”设定为目标，却不重视解决实际问题。一但出现自动化决策错误，则又会归咎于系统遵循的规则本身，回避当中的人为因素。由于人为设定的规则不可能完美适用于每一种情况，服务于公共事业的自动决策系统除了要重视通过预设合理的规则来明确处理具体场景的标准，大幅提升决策的规模和速度之外，还必须认真探索如何实现规则的有效性和规则应用的透明度；规则对优势群体和弱势群体影响的相对公平性；规则遭遇例外情况时的协调办法；当规则出现整体性失败时的监督和问责机制等目标，以避免人工智能系统陷入机械依照既定规则行事，忽略识别新问题并及时纠错的治理困境。

当前，改善人工智能自动化决策治理模式的需求已迫在眉睫。约书华·A·克罗尔（Joshua A. Kroll）因此提出了三个治理的关键点：首先，要以解决具体问题为导向，重视自动化决策结果的实效，而不是局限于制定技术解决方案本身，将制定决策的责任简单推给技术专家。只有当系统应用是由问题而不是技术解决方案驱动时，才最有可能取得成功。其次，将事前制定合理、公平的规则和建立事后监管与救济机制同时并重，使治理体系的功能更加完善、透明。自动决策发生错误后必须有能够升级处理的渠道和酌情处置的补救途径。相关系统记录要完整保存，以备审计和监管。第三，为了推动人工智能自动化决策系统与应用的可持续发展，尤其需要大力创建包括政府、企业、社会、用户等在内的多方共同开发、协同共治的良性生态，以形成应对人工智能近期、远期问题的建设性共识，弥合灵活变动的实际需求和僵化遵循规则的技术工具之间的断层。在此过程中，人类应作为有远见的参与者来积极介入系统的运行和治理，而不仅仅是技术的被动接受者。唯有如此，才有可能超越部门职能和学科藩篱，突破现有范式，重塑整个系统，而这还有赖于长期的能力建设和人才培养。