麦肯锡：快速、安全地实施生成式人工智能

生成式人工智能既带来风险，也带来机遇。这是一个路线图，可以减轻前者的影响，同时从第一天开始就抓住后者。

生成式人工智能（gen AI）为企业提供了千载难逢的机会，有可能对创新、增长和生产力产生变革性影响。该技术现在可以生成可信的软件代码、文本、语音、高保真图像和交互式视频。它通过晶体结构发现了数百万种新材料的潜力，甚至开发了分子模型，可以作为寻找以前未治疗疾病的治疗方法的基础。

麦肯锡研究估计，新一代人工智能有可能为全球经济增加高达 4.4 万亿美元的经济价值，同时将所有人工智能的影响力提高 15% 至 40%。 1 虽然许多企业领导者决心抓住这一价值，但人们越来越认识到，新一代人工智能机遇伴随着重大风险。麦肯锡最近对 100 多家年收入超过 5000 万美元的组织进行了快速调查，发现 63% 的受访者将新一代人工智能的实施视为“高”或“非常高”的优先事项。 2 然而，91% 的受访者认为“还没有准备好”以负责任的方式这样做。

这种不安是可以理解的。与新一代人工智能相关的风险包括基础训练数据中嵌入的不准确输出和偏见，以及可能出现的大规模错误信息以及对政治和个人福祉的恶意影响。关于开发人工智能的可能性和可取性也存在更广泛的争论。这些问题可能会破坏新一代人工智能的明智部署，可能导致公司暂停实验，直到更好地理解风险，甚至因为担心无法管理这些问题的新颖性和复杂性而降低技术的优先级。

然而，通过采用经过验证的风险管理方法来适应新一代人工智能，可以负责任地、快速地采取行动，以获取该技术的价值。这样做还将使公司能够在围绕人工智能的监管环境不断发展的同时有效运营，例如拜登总统关于新一代人工智能开发和使用的行政命令以及欧盟人工智能法案（见附文，“美国采取行动监管人工智能”） ）。此外，大多数组织可能会看到人工智能的使用增加了“入站”威胁（无论组织是否部署人工智能，这些风险都可能影响组织），特别是在欺诈和网络领域（早期迹象表明，人工智能将能够击败标准反欺诈生物识别检查 3 ）。建立适合目的的风险管理将有助于防范这些威胁。

实际上，寻求解决新一代人工智能风险的企业应采取以下四个步骤：

1. 发起冲刺，了解与人工智能相关的入站风险。

2. 全面了解跨领域和用例的人工智能相关风险的重要性，并建立一系列选项（包括技术和非技术措施）来管理风险。

3. 建立一个平衡专业知识和监督的治理结构，并能够支持快速决策，并尽可能调整现有结构。

4. 将治理结构嵌入到运营模型中，该模型利用整个组织的专业知识，并包括对最终用户的适当培训。

如何实施这些步骤的具体细节以及使这些步骤有效所需的变革程度将根据组织的新一代人工智能愿望和性质而有所不同。例如，它可能希望成为基础模型的制造者、定制和扩展基础模型的塑造者，或者通过很少或没有定制的现成应用程序采用基础模型的接受者（例如，标准办公室）生产力软件）。 4

本文为开发负责任地实施新一代人工智能的方法提供了蓝图。遵循这些步骤可以帮助组织快速扩展该技术并获得其优势，同时最大限度地减少潜在的负面影响。

了解并应对入境风险

根据我们的经验，包括通过构建麦肯锡自己的 gen AI 应用程序，与 gen-AI 相关的风险可以分为八个主要类别（图表 1）。这些类别既考虑了入站风险，也考虑了采用新一代人工智能工具和应用程序直接导致的风险。每个公司都应该开发这个核心分类法的某个版本，以支持对实施人工智能所产生的风险的理解和沟通。

 附件1

决定如何应对入境风险是许多高管团队和董事会关注的焦点。这一决定应作为组织如何向其员工和利益相关者传达人工智能的基础。它还应该告知用例的方法。

我们发现采用人工智能技术带来的入站风险有四个主要来源：

• 由基于人工智能的恶意软件攻击的数量和复杂性增加而导致的安全威胁

• 第三方风险，源于理解第三方可能在何处以及如何部署人工智能的挑战，从而产生潜在的未知风险

• 恶意使用，是由于不良行为者可能对公司代表或品牌进行令人信服的深度伪造，从而导致严重的声誉损害

• 知识产权 (IP) 侵权，由于 IP（例如图像、音乐和文本）被纳入底层大型语言模型的训练引擎并可供任何使用该技术的人访问而导致

大多数组织都将从集中冲刺中受益，以研究新一代人工智能如何改变其外部环境，有两个主要目标。首先是了解潜在的入站风险，这些风险以组织的风险状况为基础（例如，有多少第三方可以访问需要限制训练外部生成人工智能模型的敏感或机密数据）。第二个目标是了解控制环境的成熟度和准备情况，即组织为预防、检测和最终响应入站风险而拥有的技术和非技术能力。其中包括网络和欺诈防御、第三方尽职调查，以确定关键第三方可能在何处部署人工智能，以及限制用于训练大型语言模型的引擎抓取公司知识产权的能力。

这些努力的结果应该是了解组织在哪里面临最大的潜在入站风险，以及其当前防御系统的成熟度和准备情况。进行此练习后，组织应该有一个清晰的路线图，说明在何处强化防御以及这些努力在缓解潜在风险方面的潜在投资回报率。

鉴于人工智能及其应用基础技术不断发展的性质，组织将需要重复努力以一定的规律性来识别其暴露情况。对于大多数组织来说，至少每半年更新一次这项练习非常重要，直到变革步伐放缓且控制环境和防御成熟为止。

束缚普罗米修斯：管理采用人工智能产生的风险

有志于部署新一代人工智能的组织将需要付出额外的、持续的努力来理解和管理该技术采用的风险。这可能需要投入时间和资源以及改变工作方式。然而，如果组织想要从新一代人工智能中获得长期、可持续和变革性的效益，这一点至关重要。失误和失败可能会削弱高管、员工和客户的信心，并导致降低对超安全用例的雄心，这些用例产生的风险有限，但也不太可能发挥该技术的真正潜力。

希望部署新一代人工智能的高潜力用例以推动生产力和创新的组织；提供更好、更一致的客户服务；提高营销和销售的创造力必须应对负责任实施的挑战。这些用例具有不同的风险概况，反映了技术本身的性质以及有关用例细节的公司特定背景（例如，向弱势群体部署一代人工智能聊天机器人的风险概况与B2B 部署）（图表 2）。

 图表2

识别跨用例的风险

组织部署新一代人工智能用例的基本起点是跨关键风险类别映射与每个案例相关的潜在风险，以评估潜在风险的严重性。例如，支持客户旅程的用例（例如用于客户服务的支持 gen-AI 的聊天机器人）可能会带来风险，例如跨群体的偏见和不平等待遇（例如，性别和种族）、用户输入敏感信息的隐私问题，以及模型幻觉或过时信息带来的不准确风险（图表 3）。

 图表3

在进行此分析时，重要的是制定一个标准来校准对跨类别的高风险和中风险的预期。否则，组织可能会遇到更多由个人对风险水平的舒适程度而不是客观因素引起的分歧。以数据隐私为例，我们通常会看到风险较高的示例，因为需要个人或敏感信息才能准确训练模型（或者用户在与技术交互时输入个人信息的可能性更高）。较低风险的用例不会表现出这些特征。使用这种逻辑，开发支持顾问提供定制财务建议的应用程序往往会比自动执行基本合同模板的应用程序在隐私风险暴露方面排名更高。

负责用例的高管领导对其相关风险的初步评估至关重要（作为有效运营模型中产品经理角色的一部分）。当用例被批准用于最终开发时，这可以培养对潜在风险和管理风险的责任的适当认识。此外，包括业务主管以及法律和合规职能部门成员在内的跨职能小组应审查和验证所有用例的风险评估，并在做出有关用例优先级的决策时使用结果作为输入。

考虑在每个接触点管理风险的选项

一旦组织绘制了与人工智能相关的风险图，它就必须制定策略，通过缓解和强有力的治理相结合来管理风险。许多（但不是全部）缓解措施本质上是技术性的，可以在流程的整个生命周期中实施。重要的是，这些控件并不都需要嵌入到底层基础模型本身中（许多组织无法访问）。有些可以是在本地环境中构建的覆盖层，例如人力资源部门设计的支持 gen-AI 的聊天机器人，用于解答员工有关福利的疑问（图表 4）。

 图表4

在该用例中，在查询的整个生命周期中，一旦用户提出问题，就会发生许多可能的缓解措施。其中包括让聊天机器人提出澄清问题以生成额外的必要用户输入、让用户确认聊天机器人已正确理解查询、限制聊天机器人可以访问的数据集类型（例如，排除个人信息）以及设计聊天机器人提供引文来解释其答案并允许对其回答进行事实检查。实施此用例的组织可以采取措施（例如限制重复交互）来阻止攻击向量和越狱，这些攻击向量和越狱已知会给聊天机器人带来挑战。他们还可以开发分类器来识别和拒绝超出范围的查询（例如请求计算）。

组织在开发用例时应考虑一些重要类别的其他非技术缓解措施。在人工智能成熟的现阶段，大多数组织都在让人类参与其中，以防止该技术能够将输出直接投入生产或直接与最终客户互动。如前所述，防止第三方数据使用出现问题的合同条款非常重要。第三个例子，组织应该开发编码标准和库来捕获适当的元数据和方法标准来支持审查。

gen AI 的许多初始缓解策略涵盖多个用例，使组织能够从其技术缓解措施中获得规模效益，而不必为每个案例创建定制方法。例如，在人力资源聊天机器人示例中，生成源作为查询答案的一部分的能力也可以应用于员工试图向客户解释产品或对同行公司进行分析的用例。在这两种情况下，这都将在某种程度上解决“可解释性”和对产出的整体信心的挑战。

通过治理平衡速度与规模与明智的风险管理

使用 gen AI 将对大多数组织提出新的要求，要求其调整治理结构以响应审批和行使监督的要求。然而，大多数组织应该能够通过扩大任务或覆盖范围来适应现有的情况（图表 5）。这将限制建立一个全新的委员会和审批机构方阵所带来的潜在干扰，这些干扰可能会增加决策的摩擦和问责制的混乱。

 图表5

Gen AI 可能会要求组织对治理的三个核心要素进行更改：

• 一个跨职能、负责任的新一代人工智能指导小组，至少每月一次。该小组应包括业务和技术领导者，以及数据、隐私、法律和合规成员。它应该有权就管理新一代人工智能风险做出关键决策，包括评估风险敞口以及缓解入站风险和基于采用的风险的策略。它应该审查基本战略决策，例如基本模型的选择以及与组织风险状况的兼容性。理想情况下，该指导小组只有一个人有权处理协调和议程设置。在具有既定监管期望且模型和算法风险管理历史悠久的行业（例如金融服务）中，此人通常已经在职（并且可能是模型风险的负责人）。对于面临人工智能监管期望突然增加的组织来说，他们可能需要聘请人工智能治理官员或类似角色来履行这些职责。

• 负责任的人工智能指南和政策。组织应制定一套由执行团队和董事会商定的指导原则，以指导人工智能的采用，并作为可接受用例的护栏。我们看到争论的原则包括关于人工智能可以或应该在多大程度上用于推动个性化营销或客户外展、使用人工智能来支持就业决策（包括招聘和绩效评估）以及条件的问题。哪一代人工智能输出可以直接投入生产，无需人工审核。现有政策通常需要更新，以考虑到新一代人工智能的开发和使用（例如，涵盖虚假陈述和知识产权侵权）。

• 负责任的人工智能人才和文化。对负责任的人工智能的承诺不能仅仅取决于高管层。相反，它需要在整个组织内级联，根据相关角色对技术的接触程度量身定制问责制、能力建设和意识。应开发并推出有关负责任人工智能的基本组织范围培训，以促进对入站风险动态以及如何安全地使用该技术的广泛理解。例如，考虑到模型可能产生幻觉，作为培训的一部分，应该告诉用户，他们不应该仅仅因为他们的机器提供了答案就接受答案（与他们之前可能体验到的办公室生产力相反）技术）。那些参与用例开发和扩展的人应该对道德和“设计责任”有深刻的理解，以便在设计和工程过程的早期就嵌入风险考虑因素。人才考虑因素包括嵌入非技术和技术人才的组合，理想情况下是具有风险专业知识的技术人才，以支持用户查询工作流程和控件的识别和设计。

实施负责任的一代人工智能：一切都与治理和人员有关

建立正确的治理是推动大规模负责任地采用人工智能用例的必要步骤，但还不够。正如上一节所述，将设计责任嵌入到开发过程中对于明智地部署技术至关重要。在整个用例中成功实施这一点需要四个关键角色，这些角色的职责与他们的才能和推动用例的预期行动密切相关：

• 设计师。设计师或产品经理通过识别新的用例并了解它们如何融入组织的整体 gen AI 战略和路线图来引导 gen AI 部署的方向。他们通常来自组织最坚信人工智能可以产生重大影响的业务和职能部门。产品经理应负责识别和减轻相关风险。他们将在推动采用新一代人工智能所需的文化变革方面发挥重要作用，包括建立对可以为员工和客户负责任、安全地实现业务价值这一主张的信任。

• 工程师。工程师是了解新一代人工智能机制的技术专家。他们开发或定制技术来支持新一代人工智能用例。同样重要的是，他们负责指导缓解措施的技术可行性，并最终对缓解措施进行编码以限制风险，以及制定技术监控策略。

• 政府管理者。监管者组成的团队帮助建立必要的治理、流程和能力，以推动新一代人工智能负责任和安全的实施实践。其中包括建立核心风险框架、护栏和原则来指导设计师和工程师的工作，并挑战风险评估和缓解有效性（特别是对于高风险用例）。人工智能治理官是这种角色的一个典型例子，尽管考虑到潜在风险的范围，该角色需要其他角色的补充。这些角色最好涵盖数据风险、数据隐私、网络安全、监管合规性和技术风险。鉴于新一代人工智能的新生，管理者通常需要与工程师协调，对基于新一代人工智能模型的新兴用例启动“红队”测试，以识别和缓解潜在的挑战。

• 用户。用户代表新一代人工智能工具或用例的最终用户。他们需要接受培训并适应技术的动态和潜在风险（包括他们在负责任的使用中的角色）。他们在帮助识别人工智能用例的风险方面也发挥着关键作用，因为他们在与模型交互时可能会遇到有问题的输出。

运营模型应考虑不同角色在人工智能生命周期的不同阶段如何互动。每个组织都会有自然的变化，具体取决于每个角色中嵌入的特定功能。例如，一些组织的设计师将拥有更多的技术能力，这意味着他们可能扮演更积极的交付角色。但运营模型的目的是展示参与度在部署的每个阶段如何变化。

Gen AI 有潜力重新定义人们的工作和生活方式。虽然该技术正在快速发展，但它也带来了风险，从对训练数据完整性的担忧到生成不准确或恶意输出的可能性。企业领导者需要修改他们的技术手册，并从与人工智能接触之初就推动有效风险管理的整合。这将以安全和负责任的方式应用这项令人兴奋的新技术，帮助公司管理已知风险（包括入站风险），同时随着技术功能和用例的扩展，增强适应意外风险的能力。由于生产力的潜在大幅提升受到威胁，以可持续和负责任的方式扩展新一代人工智能对于充分发挥其优势至关重要。

 关于作者

Oliver Bevan 是麦肯锡芝加哥办事处的合伙人； Michael Chui 是湾区办事处的合伙人，Brittany Presten 是副合伙人，Lareina Yee 是高级合伙人；艾达·克里斯滕森 (Ida Kristensen) 是纽约办事处的高级合伙人。

本文由纽约办公室高级编辑拉里·坎特 (Larry Kanter) 编辑。