麦肯锡:人工智能的风险

拥有权利的同时也被赋予了重大的责任。组织可以通过采用三个原则来降低应用人工智能和高级分析的风险。

人工智能(AI)被证明是一把双刃剑。虽然这可以说是大多数新技术,但AI刀片的两侧都更加锋利,而且目前还不是很了解。

首先考虑积极因素。这些技术开始以各种方式改善我们的生活,从简化购物到增强我们的医疗保健体验。他们对企业的价值也变得无可否认:最近部署人工智能的公司近80%的高管告诉我们,他们已经从中看到了其中的价值。虽然人工智能在商业中的广泛使用仍处于起步阶段,但对于进展速度以及实现“普遍智能”的圣杯的可能性仍存在疑问,但潜力巨大。麦肯锡全球研究院的研究表明,到2030年,人工智能可以提供每年13万亿美元的额外全球经济产出。

然而,即使人工智能产生了消费者利益和商业价值,它也会产生许多不必要的,有时甚至是严重的后果。虽然我们在本文中关注AI,但这些连锁效应(以及预防或缓解它们的方法)同样适用于所有高级分析。最明显的一些,包括隐私侵犯,歧视,事故和操纵政治制度,足以引起警惕。更多的关注仍然是尚未知晓或经历过的后果。灾难性的影响 - 包括人类生命的丧失,如果AI医疗算法出错,或者国家安全的妥协,如果对手向军事AI系统提供虚假信息 - 是可能的,因此对组织来说是一个重大挑战,

因为人工智能是一个相对较新的商业力量,很少有领导者有机会演练他们对社会,组织和个人风险认识,或驾驭从数据馈送进入AI系统,运算算法模型以及人与机器之间的相互作用等各种因素。因此,高管们经常忽视潜在的危险(“我们不会在任何可能出问题的情况下使用AI,就像自动驾驶汽车一样”)或高估组织的风险缓解能力(“我们一直在做分析很长一段时间,所以我们已经有了正确的控制措施,而且我们的做法与我们行业同行的做法一致“)。

希望避免或至少减轻意外后果的领导者既需要建立有关AI风险的模式识别技能,又需要让整个组织参与其中,以便能够接受与AI相关的权力和责任。确定和控制所有关键风险所需的工作量大大超过了大多数组织的普遍规范。取得实际进展需要采用多学科方法,涉及高级管理层和整个公司的领导者; 从法律和风险到IT,安全和分析等领域的专家; 以及能够确保前线警惕的经理人。

本文旨在通过首先说明一系列容易被忽视的陷阱来寻求帮助。然后提出框架,帮助领导者识别他们面临的最大风险,并实现回避他们所需的细微差别控制的广度和深度。最后,它提供了目前正在通过应用这些方法解决AI风险的一些现实努力的早期一瞥。

风险及其驱动因素


数据问题。随着从诸如网络,社交媒体,移动设备,传感器和物联网之类的来源摄取的非结构化数据的数量增加,摄取,分类,链接和正确使用数据变得越来越困难。因此,很容易成为陷阱的牺牲品,例如无意中使用或泄露隐藏在匿名数据中的敏感信息。例如,虽然患者的姓名可能会被人工智能系统使用的医疗记录的一个部分编辑,但它可能会出现在记录的医生笔记部分。这些考虑因素对于领导者在保持与隐私规则保持一致时要注意的重要性,例如欧盟的通用数据保护条例(GDPR)或加州消费者隐私法(CCPA),以及管理声誉风险。

技术问题。整个运营环境中的技术和流程问题可能会对AI系统的性能产生负面影响。例如,一家主要金融机构在其合规软件未能发现交易问题后遇到麻烦,因为数据馈送不再包括所有客户交易。

安全障碍。另一个新出现的问题是欺诈者可能利用公司收集的看似非敏感的营销,健康和财务数据来为AI系统提供燃料。如果安全预防措施不足,则可以将这些线程拼接在一起以创建虚假身份。虽然目标公司(可能在保护个人身份信息方面非常有效)是不知情的共犯,但他们仍然可能会遇到消费者的反对和监管影响。

模型行为不端。AI模型本身可以在产生有偏见的结果时产生问题(例如,如果人口在用于训练模型的数据中代表性不足),变得不稳定或产生结论,对于受影响的人没有可行的追索权通过其决定(例如某人拒绝贷款而不知道他们可以做些什么来扭转决定)。例如,考虑AI模型通过将邮政编码和收入数据编织在一起以创建目标产品而无意中与受保护类和其他组区分的可能性。更难发现的是AI模型潜伏在软件即服务(SaaS)产品中的情况。供应商介绍新的,智能功能 - 通常没有大张旗鼓 - 它们还引入了可以与用户系统中的数据交互以产生意外风险的模型,包括引起黑客可能利用的隐藏漏洞。这意味着,如果他们的组织没有购买或构建人工智能系统,或只是试验他们的部署,他们认为自己是明确的领导者,这很可能是错误的。

互动问题。人与机器之间的界面是另一个关键的风险领域。最明显的是自动化运输,制造和基础设施系统中的挑战。如果重型设备,车辆或其他机械的操作员无法识别系统何时应该被推翻或者由于操作员的注意力在其他地方而无法进行操作,那么事故和伤害是可能的 - 在自动驾驶汽车等应用中这是一种明显的可能性。相反,人类的判断也可能在最重要的系统结果中证明是错误的。在幕后,在数据分析组织中,脚本错误,数据管理失误以及模型训练数据中的错误判断很容易损害公平性,隐私性,安全性和合规性。前线人员也可能无意中做出贡献,因为当销售人员更擅长向某些人群销售时,无意中培训了一个人为驱动的销售工具,以排除某些客户群。而这些只是意想不到的后果。如果没有严格的保护措施,心怀不满的员工或外部敌人可能会以恶意的方式破坏算法或使用AI应用程序。

image.png

人工智能风险管理:三大核心原则

除了提供未来挑战的风格外,上述示例和分类对于识别风险及其根本原因并确定其优先级非常有用。如果您了解风险可能潜伏,不明白或者仅仅是身份不明的地方,那么在他们赶上你之前,你有更好的机会抓住它们。

但是,您需要集中的,企业范围的努力,从编目风险转移到根除风险。两家领先银行的经验有助于说明所需的清晰度,广度和细微程度。第一个是欧洲公司,一直致力于将高级分析和人工智能功能应用于呼叫中心优化,抵押决策,关系管理和资金管理计划。第二个是全球领导者,寻求将机器学习模型应用于其客户信用决策。

与金融服务领域的许多其他银行一样,这些银行多年来一直在应用某种形式的高级分析,可以追溯到它们早期用于信用卡欺诈检测和股权交易。他们还受到高度的监管监督,因此长期以来一直在应用和制定透明的各种协议和控制措施,以减轻相关风险 - 包括网络安全风险,因为它们经常处于第一线,因为它具有明显的吸引力。他们的资产是攻击者。

尽管如此,这些银行的故事只说明了组织应该考虑的风险特定控制的一部分。图表2提供了更完整的潜在控制列表,涵盖整个分析过程,从规划到开发再到后续使用和监控。我们的希望是,工具和示例将共同帮助那些必须面对各种问题的领导者 - 从避免推荐引擎中的偏见到消除个人身份风险,以更好地定制客户服务机器人对特定需求的响应客户,还有更多。

image.png

清晰度:使用结构化识别方法来确定最关键的风险

欧洲银行的首席运营官首先汇集了业务,IT,安全和风险管理领域的领导者,以评估其最大风险并确定其优先级。这项工作的输入包括对公司现有风险的清晰看法,以及如何通过人工智能驱动的分析工作加剧这些风险,以及人工智能推动者或人工智能本身可能产生的新风险。有些是显而易见的,但有些则不那么明显 一个出乎意料地接近榜首的是向消费者提供差或有偏见的产品推荐。这些有缺陷的建议可能会导致大量的伤害和损害,包括消费者损失,反弹和监管罚款。

银行领导者通过这种结构化风险识别流程所取得的成就是对最令人担忧的情景的清晰度,这使得他们能够优先考虑所包含的风险,识别缺失的控制措施,并相应地调整时间和资源。这些情景和优先级风险自然会因行业和公司而异。食品制造商可能会优先考虑污染产品情景。软件开发人员可能特别关注软件代码的公开。医疗保健组织可能会关注诸如患者误诊或无意中对患者造成伤害等问题。让各种各样的管理人员专注于精确定位和分层问题场景是激发创造力和减少狭隘专家或盲目思维将错过重大漏洞的风险的好方法。组织不需要通过这种努力从头开始:在过去的几年中,风险识别已经成为一种发展良好的艺术,它可以直接部署在人工智能的背景下。

广度:建立强大的企业范围控制

提高你对停止风险的思考只是一个开始。同样重要的是应用全公司范围的控制来指导人工智能系统的开发和使用,确保适当的监督,并制定强有力的政策,程序,工人培训和应急计划。如果没有基础广泛的努力,那么前面描述的风险因素将会陷入困境的可能性会增加。

由于担心产品推荐不佳或有偏见的潜在风险,欧洲银行开始采用一套强有力的商业原则,旨在详细说明机器如何以及在何处用于制定影响客户财务健康的决策。管理人员确定了在将推荐交付给客户之前,人类(例如,关系经理或信贷员)需要“在循环中”的情况。这些工人将提供一个安全网,用于识别客户是否有特殊情况,例如家庭成员死亡或财务困难,这些情况可能会使得建议不合时宜或不合适。

该银行的监督委员会还进行了差距分析,确定了银行现有风险管理框架中需要深化,重新定义或扩展的领域。现在,银行的全面和一致的治理确保了政策和程序的正确定义,AI模型的具体控制,核心原则(由工具支持)以指导模型开发,职责分离和充分监督。例如,模型开发工具可确保数据科学家始终记录整个开发生命周期中选择的模型代码,培训数据和参数。还采用了标准库,用于解释性,模型性能报告以及生产中的数据和模型监控。

此外,银行政策现在要求包括赞助业务主管在内的所有利益相关方进行情景规划,并在AI模型性能漂移,数据输入意外转移或突然发生变化(如自然灾害)的情况下制定后备计划。外部环境。这些后备计划包含在银行的定期风险审核流程中,使董事会风险委员会能够了解为缓解分析驱动和人工智能相关风险而采取的措施。

在银行的风险缓解工作中,员工培训和意识也很突出。所有受影响的员工都会收到有关AI使用地点的全面信息; 银行采取了哪些措施来确保公平准确的决策并保护客户数据; 以及银行的治理框架,自动化技术和开发工具如何协同工作。此外,业务发起人,风险团队和分析人员可以接受有针对性的培训,了解他们在识别和最小化风险方面的作用。例如,业务发起人正在学习如何请求对模型行为进行解释,他们使用这些解释来提供模型背后的业务假设的反馈。与此同时,风险团队已经就如何更好地识别和减轻法律和监管合规问题进行了培训,

监控AI驱动的分析是一项持续的工作,而不是一次性完成的活动。因此,银行的监督小组,包括董事会的风险委员会,定期审查该计划,以便掌握由于监管变化,行业转变,法律解释(如新兴的GDPR案例法)而可能出现的新风险,不断变化的消费者期望和快速变化的技术。

细节:根据风险的性质加强特定控制

对于企业范围的控制而言,重要的是,它们很少能够抵消所有可能的风险。通常需要另一层次的严谨和细微差别,必要的控制将取决于诸如算法的复杂性,数据要求,人机对机器(或机器到机器)交互的性质,潜力等因素。被不良行为者利用,以及AI嵌入业务流程的程度。从用例包机开始的概念控制有时是必要的。特定数据和分析控制也是如此,包括透明度要求,以及反馈和监控控制,例如检测退化或偏差的性能分析。

我们的第二个例子为细微差别控制的应用提供了宝贵的信息。该机构希望了解机器学习模型如何为面向特定客户的流程做出决策。在仔细考虑透明度要求后,该机构决定通过限制其使用的机器学习算法的类型来降低风险。不允许某些过于复杂和不透明的模型形式使该机构能够达到平衡,使其感到舒适。一些预测能力丧失,这有经济成本。但模型的透明度是使用使员工对他们做出的决定更有信心。更简单的模型还可以更容易地检查数据和模型本身是否存在可能来自用户行为或数据变量或其排名变化的偏差。

正如此示例所示,组织需要混合使用特定于风险的控件,并且最好通过创建协议来实现它们,以确保它们在整个AI开发过程中就位并遵循。我们的示例中的机构通过其现有的风险基础设施至少部分地实施了这些协议以及企业范围的控制。缺乏集中风险组织的公司仍然可以使用强大的风险管理流程来实施这些AI风险管理技术。


英文原文:https://www.mckinsey.com/business-functions/mckinsey-analytics/our-insights/confronting-the-risks-of-artificial-intelligence



立即QQ咨询   在线提交咨询问题

微信公众号 chnmc-com,微信扫码关注

WORK WITH US

预约咨询服务

有管理问题,中国找管理咨询平台!

提供企业战略规划、人力资源、信息规划、行业研究、商业计划、企业助手一站式服务!.

现在就预约咨询服务

填写一下,我们帮您解决问题

可以QQ联系: 896161733;也可以电话: 18121118831

相关服务

创新服务

商业计划书

云微咨询

商业计划书是一份全方位的项目计划,它从企业内部的人员、制度、管理以及企业的产品、营销、市场等各个方面对即将展开的商业项目进行可行性分析。

点击查看详细

创业网站制作

云微咨询

一般企业网站和中大型B2B、B2C网站策划制作,满足创业型公司到一般集团公司企业形象、电子商务、电子支付和订单管理需求…

点击查看详细

决策咨询

云微咨询

依托其信息资源优势和专业的研究咨询团队,结合多年积累的庞大数据库资源和在经济行业分析、战略规划和企业管理等领域积累的丰富经验,...

点击查看

研究报告

云微咨询

行业报告、竞争对手研究报告、企业案例,一站搞定

点击查看详细

中国管理咨询网服务客户

真诚合作
brands-small4
brands-small3
brands-small2
brands-small1
brands-small4
brands-small3
brands-small2
brands-small1