波士顿:作为首席执行官，如何评估新出现的各类生成式人工智能模型？

新型Gen-AI（生成式人工智能）模型仍在稳步进步之中。在GPT-4取代GPT-3.5（ChatGPT使用的模型）的同时，其他公司也在迅速推进新一轮技术迭代。每次新模型发布都会引发一波有关模型技术能力的分析热潮。但在最近的一篇文章中，我们也阐明了自己的看法：对首席执行官们而言，当前的首要任务并非全心投身于该技术之中，而是要先弄清楚Gen-AI将如何帮助他们建立竞争优势。在创新层出不穷的当下，把握住这一重点显得尤为重要。

为了跟上技术革新的步伐，企业领导者需要从与其商业模式有关的三个关键维度，对各个Gen-AI模型进行评估，这三个维度分别是：准确性、专有数据和经济性。

01 准确性

有哪些用例可以证明该新模型的准确性？在功能性和准确性之间，开发者做了怎样的取舍？

Gen-AI本质上是一种生成输出数据的概率模型。该模型并不以获得“最准确的答案”为目标，因此，其有时会做出不正确的论断（又称“幻想”）。不过，Gen-AI对创造性（相对于准确性）的重视并非漏洞，而是一种很有价值的设计特点。并且，在有充分人工监督的情况下，这一特点也可以成为企业的资产。

例如，在容错性较高的用例（如产品设计或新药研发）中，通过将Gen-AI天马行空的创造力与人类的专业知识相结合，可以帮助我们实现突破性创新。正如沃顿商学院的教授伊桑·莫利克（Ethan Mollick）所写的那样：“事实上，AI所完成的那些最惊人的壮举似乎都有赖于它们通过‘幻想’进行创造的能力……也正是这种能力使它们能够串起各种风马牛不相及的灵感来源、在出人意料处找到联系，进而给出独特且原创的答复。”

但在一些极为重视准确性的领域，例如医学知识检索，任何错误都将造成负面后果。对于此类用例，可以将传统的机器学习（提供精确性）和Gen-AI系统（提供创造性）相结合，从而实现强大功能。微软就基于这种理念，在必应AI中内嵌了一项由用户控制的功能，让用户可以在“更具创造力”和“更准确”两种模式之间进行选择。

02 专有数据

企业能否通过全新方式使用其专有数据，以增强竞争优势？在新模型中， LLM（大型语言模型）供应商可以提供什么水平的数据保护和隐私性？

数据是现代企业拥有的最重要、最具差异化的资产之一。首席执行官必须准确识别出能够别出心裁使用企业专有数据，以获得竞争优势的新模型——而每次LLM新版本的发布就是机会。例如，GPT-3.5是纯文本模型，无法独立生成图像、声音或生物数据；而GPT-4和其他模型则提供了在单个模型中使用多种数据模态的可能性。除数据模态外，技术的不断进步，能够以独特的方式对每个模型进行微调，带来令人兴奋的全新功能。首席执行官应保持与技术团队的紧密联系，了解最新的前沿动态。

此外，首席执行官必须清楚掌握新LLM模型是否能在接受更大规模（或更便捷）微调的同时，保证数据安全和隐私性。一直以来，企业对此忧心忡忡，担心在使用或微调模型的过程中，向基础模型供应商发送专有数据，可能会导致这些数据在未经许可的情况下被使用。

模型供应商已着手消除这些顾虑，以鼓励更多客户接受这项技术服务。例如，OpenAI在2023年3月1日宣布将不再使用客户数据训练模型，除非客户明确表示愿意加入。然而，其他模型供应商仍声称有权使用客户的数据。为此，企业领导者应先确认新版本发布需要遵循的政策，再决定是否以及如何整合企业的专有数据。

03 经济性

模型使用的总运营成本是多少，以及培训、微调或使用这一模型进行推导，需要哪些内部功能或开展哪些合作？企业应如何评估保持竞争优势的经济性？

为了确保模型当前的质量可以延续，LLM迅速扩大了其参数数量。结果，模型在培训、微调和推导方面对算力和数据有较高的要求，而且在现场运行的难度更大。不过，最近的进展似乎扭转了这一趋势。一些新推出的模型，例如Meta的LLaMA，在运行时所需的参数更少，而且并不以牺牲质量为代价，因而让其更容易进行微调，使用门槛也更低，甚至能够在常见的高端笔记本上运行。

高管们必须对这些新模型进行评估，并与模型提供商合作，以了解每一次进展会导致培训和推导成本发生多大的变化。此外，他们还应牢记，使用成本可能会随着模型的优化而下降。例如，在ChatGPT发布三个月之后，OpenAI宣布，系统层面的优化使得ChatGPT成本下降了90%。

除了运营成本之外，经济性的演变使得一个更深层次的问题浮出水面，那就是高管们必须考虑：在先进科技企业把持基础模型的时代，企业应如何保持自身独特的竞争优势？这些模型搭建起来十分复杂，打造新模型所需的技术人才和算力对于所有企业来说都是一个障碍，只有少数专业科技公司才具备这些能力。

有鉴于这些障碍，高管们需要确定的是，在为其黄金用例部署Gen-AI时，如何才能将获得的竞争优势和价值最大化（例如，成本节约或利润提升）。他们需要决定哪些开发流程由内部完成，哪些应外包给诸如服务提供商或软件公司这类市场参与者。在做出这一决策之后，他们将需要平衡外包成本、留存IP的重要性，以及打造和维护技术应用各个方面（例如托管模型本身、微调和打造API）所需的内部工作量。

结语

随着Gen-AI模型继续以极快的速度发展，每一个新模型的发布都会伴随着信息洪流的出现，首席执行官应具备在这种洪流中进行筛选的能力，从而让他们能够批判性地评估该模型可能对其业务产生的影响。

关于作者

范史华（François Candelon）是BCG亨德森智库全球负责人。

Lisa Kraye是波士顿咨询公司（BCG）驻BCG亨德森智库代表，技术与商业实验室。

Philip Evans原是BCG亨德森智库研究员（2008-2011），数字化战略部。

Saran Rajendran是波士顿咨询公司（BCG）驻BCG亨德森智库代表，技术与商业实验室。

Leonid Zhukov是波士顿咨询公司（BCG）合伙人兼副董事，数据科学。