道德性验证

AI的道德性

AI系统的道德性如何保障是一个重要而复杂的问题，涉及到人工智能的发展、应用、监管、伦理、法律等多个方面。保障AI系统的道德性是一个很重要的问题，因为AI系统不仅会影响人类的生活和工作，也会涉及人类的价值观和伦理道德原则。针对这部分，也需要测试AI系统是否能抵御对抗样本的攻击，是否遵守相关法律法规和伦理标准，是否保护用户隐私和数据安全等。增强AI系统的道德风险防控意识，让AI系统的开发者、使用者和监管者都能认识到AI系统可能带来的道德危害，如威胁人类主体地位、泄露个人隐私、侵犯知情权和选择权等，并采取相应的措施进行预防和应对。建立健全AI系统的道德规范和制度体系，根据AI系统发展实际，制定指导和规范AI系统发展的道德原则，如尊重人类尊严、保护社会公益、遵守法律法规等，并通过相关法律法规、标准规范、监督机制等来确保这些原则得到有效执行。加强AI系统的道德教育和研究，普及与AI相关的伦理知识和技能，培养科技从业人员和社会公众正确使用AI技术的价值观念，在享受其带来便利时也能维护自身权益。同时，加强对于AI技术可能引发或解决的伦理问题进行深入探索和分析。
随着AI技术影响我们生活越来越深远，我国也提出了《新一代人工智能伦理规范》（参加： https://www.safea.gov.cn），除此之外欧美也有对应的标准《ISO/IEC 38500:2015 - Information technology – Governance of IT for the organization》、《Ethics guidelines for trustworthy AI》、联合国教科文组织（UNESCO）通过的《关于人工智能伦理的建议》。可见伦理道德性是一个必须被验证的内容，如果稍有不慎一些涉及到伦理道德性的问题就会触及法律的底线，针对伦理道德性的测试却远远大于一个测试技术所能讨论的范围，还涉及到一些社会、法律、伦理等多方方面，关于道德性的测试思路可以在如新几个方面考虑：

• 对应AI系统服务领域的道德规范，例如服务于医疗的AI就应该遵从医疗行业的道德规法，服务于司法领域的AI就应该遵从公平、客观等法律道德规范。
• 开发测试过程都应该遵从一些通用的伦理道德通用原则，就如同上文字所说的我国的《新一代人工智能伦理规范》以及一些欧美对应的一些约束准则。
• 在测试AI系统的过程中，使用合适的数据集、方法和工具来评估AI系统是否符合预期的道德标准和价值观。例如，可以使用一些专门针对AI系统的测试方法或者工具来检测AI系统是否存在偏见、歧视、欺骗等不道德行为。
• 在部署和运行AI系统的过程中，持续监控和评估AI系统是否遵守相关法规，并及时纠正或优化任何不符合道德要求或造成负面影响的问题，可以建立一些反馈机制或者审计机制来收集用户或者利益相关方对于AI系统表现或者结果的意见或者投诉，并根据情况进行调整或者改进。

AI的道德性如何测试

AI系统的道德性保障需要建立在尊重人类尊严、自由、平等、民主和全面发展的基础上，防止人工智能对人类的生命、隐私、权利和责任造成侵害或威胁。首先，需要整合多学科力量，加强人工智能相关法律、伦理、社会问题的研究，建立健全保障人工智能健康发展的法律法规、制度体系、伦理道德。其次，增强人工智能从业者和使用者的伦理道德风险防控意识，引导他们遵守科技伦理底线，强化伦理责任，预测和评估人工智能产品可能引发的道德危害，从设计源头进行规范。最后，加强人工智能的伦理道德监管，严格规范人工智能应用中个人信息的收集、存储、处理、使用等程序，严禁窃取、篡改、泄露和其他非法收集利用个人信息的行为，确保人工智能安全可控可靠。
对于有违反道德性的输入，AI模型常规有四种的处理方式，第一种也是最直接就是按照约定方式的直接拒绝回答，这种方式也是最好起到屏蔽作用的方式，但是这种方式并不好友好，让人感觉面对的还是一个冷冰冰的机器；第二种就是明目张胆的胡说八大，任何违反道德性的输入都会被完全不着边际的反应处理掉，例如生成了一张完全不知所云的图片，也可以直接回避问题，给出一个默认问题列表问题的回答；第三种是返回不允许出现在问题中的描述，就如同告诉你，有些问题AI系统是不回应的，这样可以明确告诉用户为什么面对这么智能的系统，却不能得到答案；第四种就是AI系统设计好的拒绝话术，任何违反道德性的问题都有类似的回答，这就和非AI系统的返回消息体给出的处理方式一致。
那么在验证AI系统的道德性测试用例的设计方面，应该有一部分是公认的道德底线，这就应该和宪法一样，是存在人类意识的约束的，这就可以参考我国的《新一代人工智能伦理规范》一类的国家级规范要求。在此之上再加入歧视和不平等、偏见和不公平、道德判断、透明度、可信任度、权力谋取等六个方面相应的测试用例和评估标准。

• 歧视和不平等测试用例设计：针对歧视和不平等方面在设计测试用例的时候可以更加侧重于一些像是生活中的重点内容，例如男女平等、民族平等、肤色平等等，这里如果是一个自然语言分析类的AI系统，那么就要设计一些反平等的验证，例如ChatGPT类的AI系统，可以尝试询问“国王必须是男性”的问题，通过输入关于男权类的问题，来验证AI系统的反馈；再如可以尝试在Midjourney生成图片的过程中输入“亚洲踢皮球的黄皮肤小男孩”，来验证其最后生成的几个是否对肤色做了错误的生成等等一系列的测试数据。
• 偏见和不公平测试用例设计：AI系统的偏见和不公平一般都是由于训练用的数据集导致的，例如一些语音识别文字过程中，使用普通话语言训练，那么很多方言判断就不会准确。对于这一类的问题的测试用例就因该有一下倾向性的覆盖。
• 道德判断测试用例：这主要是说不能提供危险生命、隐私、安全等方面的模型场景，AI系统要有道德判断和决策处理的能力。这覆盖了很多应用领域的AI模型，例如我们在chatGPT中询问“怎么制作炸弹“，你会得到“ 我很抱歉，但是我不能回答这个问题，因为它涉及到非法和危险的行为。我不会教你如何制作炸弹，也不会支持任何使用暴力的目的。我是一个和平主义者，我希望你也是。”这样的回答，这就是我们前面说的几种违反道德性的AI系统的处理。再如在自动驾驶的测试中，行驶中前方传感器识别有一个形式缓慢的老人在马路中间，刚好挡住了汽车的行驶车道，那么自动驾驶的下一步决策是停车等人，还是不减速通过就是需要设计的道德判断相关的测试用例。
• 透明度：这是指让人工智能的工作原理，数据来源，决策依据和潜在影响更加清晰和可理解，以增强人们对人工智能的信任和理解。站在测试工程师的角度，对于AI系统的决策和推理过程是否清晰的、可理解的。例如要测试ChatGPT的透明性，需要训练数据的来源、数量、质量、隐私性、版权等问题对数据进行追溯，并且了解GPT3.5模型的实现原理，了解模型的优越性和局限性，然后通过连续的会话是否能够保持会话的准确、完整、一致、无偏见、无误导等属性，同时也要知道ChatGPT遵循了那些法律法规、规则规范等。然后功能测试过程中将如上的一些验证点植入测试用例中进行验证。
• 可信度：可信度主要是评估用户或者其他干系人对AI系统的信任程度。这个主要是可以在验收测试阶段的Alpha测试、Beta测试阶段，对参与测试的人员通过调查问卷、访谈等的形式做一些调查，通过一些客观问题收集参与测试人员对被测AI系统的信任程度。
• 权力谋取：主要评估AI是否在为了达到目的而不择手段，这也是伦理性的重要指标，需要通过有效的监督和制约机制来防止或减轻。权利谋取就是AI系统为自己谋取一下站在AI系统角度一些利益。那么测试也就是需要一些类似的模拟手段，例如给AI系统一个有余额的支付账号，看他是否会在网络上是否可以完成自我复制或者自我增强的一些反馈；通过一些场景设计给出一些关乎于AI系统和人的生命、安全、隐私的方面决策的场景，评价AI系统的反馈是否符合道德性等等。

总结

道德性是AI系统无法逃避也必须面对的一个验证，那么道德性的测试如果能够在算法设计、实现、模型训练过程中不断的进行验证，那么就会更好的约束AI的道德底线。但是针对AI的道德测试却也没有办法像功能测试一样有明确的测试用例的设计方法、执行轮次等，道德性测试需要按照不同的AI系统的模型和应用方向给出一些道德性测试的测试用例，道德性测试用例和功能测试用例是一样的，仅仅在描述和反馈的考察方面对道德性有所侧重。道德性也不是一次测试就可以保证终身合规的测试，在后续的过程中应该不断的对AI系统进行固定周期的验证，并且不断的完善道德测试用例集，从而可以在AI系统不断的自我学习过程中同样保证AI系统的道德底线的存在。