网易伏羲AI Agent分享：揭秘AOP框架在《永劫无间》手游Copilot的应用实践

8月24日，“掘金AI Talk沙龙-深圳站”在深圳湾创新科技中心成功举办。作为稀土掘金AI社区定期举办的系列AI分享活动之一，本期沙龙的主题为《AI Agent 技术突破和应用实践》。网易伏羲受邀分享AI Agent前沿技术成果和独家实践心得，与众多行业专家和AI爱好者共同探讨AI Agent技术的未来发展。

沙龙现场，网易伏羲AOP框架技术负责人Joysy带来了《AOP框架在<永劫无间>手游Copilot的应用实践》主题分享，围绕游戏Copilot在《永劫无间》手游中的具体应用实践，Joysy介绍了AOP框架如何助力游戏智能化，展示了如何通过AI技术提升玩家体验并优化游戏性能。

以下为演讲实录：

大家下午好，我是来自网易伏羲的Joysy，很高兴能够在此与大家分享和交流。今天我分享的主题是《AOP框架在<永劫无间>手游Copilot的应用实践》。

PART 1：AOP框架缘起

首先，我想简单介绍一下网易伏羲。网易伏羲成立于2017年9月，是网易旗下的人工智能研究机构。自成立以来，我们一直致力于利用前沿人工智能技术释放劳动者的生产力，探索人机协作的全新时代。

我们坚信，未来人类与AI的关系应当是协作而不是替代。在“人机协作，万物有灵”的愿景下，网易伏羲正在探索如何将AI技术应用于更多实体产业，通过创新性研发AOP框架（Agent-Oriented-Programming，面向智能体编程），构建了可以直接面向智能体发布和运营各种任务的网易伏羲有灵AOP平台，希望能够借此实现“让每一个人都可以从事自由有趣的工作”的使命愿景。

作为中国首个游戏人工智能实验室，网易伏羲在游戏AI领域取得了诸多创新性的成就。我们率先在行业内实现了AI照片捏脸功能，首创了智能养育系统、AI故事接龙玩法、文字捏脸等前沿玩法，并接连研发出了AI游戏剧情动画、AI游戏匹配、AI反外挂等一系列创新应用，助力《逆水寒》手游实现了文字捏脸、智能NPC、剧组模式等突破性的AI应用。可以说，网易伏羲通过不断的实践创新，持续引领着游戏AI的发展方向，并进一步丰富了玩家的游戏体验。近期，网易伏羲有灵AOP平台更是助力《永劫无间》手游打造了全球首创的游戏Copilot AI队友，一经上线便受到了广泛好评。

PART 2：游戏Copilot应用实践

接下来，我将详细介绍我们在《永劫无间》手游中实现的Copilot队友。

在游戏以往的人机设计中，机器人是比较呆板的，基本上是按照设定的目标或者自己的思路去打，不太会和玩家进行交流互动。另外，一些“社恐”的玩家不希望与真人开麦语音，但仍有社交和多人对战的诉求；再者，玩家在玩游戏时经常会匹配到一些坑爹的队友，比如队友比较菜或者战斗中不能很好地配合，导致整场对局打得比较郁闷，甚至有想摔手机的冲动。在这些情况下，玩家可能会去一些陪玩平台找一个能陪自己聊天同时技术又很牛逼的陪玩，去满足玩家的情绪价值。

为了满足这些需求，网易伏羲助力《永劫无间》手游推出了全球首创的游戏Copilot——多模态实时交互的语音AI队友，它能在战斗中自主跑图、战斗、听指令、报战况，还能和玩家进行自由对话，给玩家带来极高的情绪价值，对于新手玩家，语音AI队友还能进行教学引导。

这里有几段视频展示了AI队友在游戏中的实际表现。正如大家所见，AI队友不仅能指挥战斗、跑图、搜物资、汇报战况，还能与玩家自由交流，给予玩家较高的情绪价值。

为了实现这样的效果，我们为AI队友设计了丰富的人设选项，例如彩虹皮萌妹、温柔体贴御姐以及温暖深情暖男等。这些具有鲜明个性的AI队友不仅能够与玩家建立复杂的互动关系，还能根据不同的游戏情境展现出独特的性格特点，进一步增强游戏的沉浸感和互动体验。

以Agent教学问答功能为例，我们构建了一个强大的知识库，包含了游戏静态知识（如规则、机制）和动态知识（如赛事信息）。当玩家提出问题时，AI会先通过Embedding模型将问题转化为向量，接着在知识向量化库中进行搜索，找到最匹配的答案。如果答案不明确，则会借助RAG和LLM等高级模型进行深度检索和推理，最终给出准确的回答。

那么，我们是怎么实现多智能体协同的呢？为了实现这一目标，我们在多智能体的设计上借鉴了人类大脑的运作机制。就像大脑中不同区域各自负责视觉、味觉、触觉、行走和平衡等功能一样，我们为每个智能体赋予了明确的职责，并确保它们能够高效协作。这种设计理念不仅提高了系统的整体效能，还使得智能体之间的交互更加自然和流畅。

在这个场景中，Agent不仅能够感知游戏战场环境的状态变化，还能通过移动端硬件传感器接收并理解玩家的语音指令。在接收到这些状态信息之后，Agent会利用自身的认知与决策能力，结合游戏领域相关知识库和战斗记忆，对环境状态和语音输入做出合理的行动决策动作以及相应的语音反馈。

在实现AI队友的过程中，我们首先需要解决的问题就是让Agent能够听得懂玩家所说的内容，确保AI能够精准捕捉并理解玩家的意图。为此，我们采用了无需唤醒的全开麦实时语音交流模式。这种模式虽然极大地提升了用户体验，但也带来了一些挑战，比如环境噪音、不同移动设备的兼容性、玩家的方言差异以及专业术语等问题。

为了解决这些问题，我们基于AOP框架的核心能力构建了一个自主数据闭环训练模型，使Agent具备自主进化的能力，包括构建标准测试集以及有效利用测试及线上数据不断扩充数据集，从而推动模型迭代。

PART 3：AOP框架核心能力

最后，我想和大家一起聊聊AOP框架的核心能力。在介绍AOP框架核心能力之前，我们需要先明确AOP的概念。AOP(Agent-Oriented-Programming，面向智能体编程) 是网易伏羲设计的一套全新的编程范式，接近自然语言编程、快捷定义任务，其核心价值在于为开发者对接智能体(拥有AI和人的能力)提供了统一范式的接口和服务，并自动构建数据闭环让智能体具备自主进化能力。开发者可通过 AOP 使用伏羲有灵机器人平台预置的公共智能体能力(包括 ChatGPT、Midjourney 等预训练模型，以及数据标注、美术制作、工程机械操控等众包能力)，也可针对行业细分场景定制化构建智能体应用。

AOP的设计思想，是基于马尔可夫决策过程（Markov Decision Processes,MDP）的定义来进行任务建模，即Agent（智能体，包括人类或机器）在进行某个任务时，首先会和环境进行交互，产生新的状态（State），同时环境会给予相应的奖励（Reward），这一过程循环往复，Agent与环境之间的交互产生了大量的数据。Agent利用这些新数据不断调整自身的行为策略。经过多次迭代后，Agent便能够学习到完成特定任务所需的最佳动作策略。

那么，AOP框架在《永劫无间》手游Copilot的应用具体是什么样的呢？基于网易伏羲有灵AOP平台所打造的多模态实时交互的语音AI队友Agent，可以集成语音识别、语义理解、人设对话大模型、语音生成、强化学习、模仿学习等多项智能体能力。

基于Agent的记忆能力，AI队友与玩家可以实现超越单场对局的情感社交，以及跨越多类型游戏角色的社交关系。同时，在战斗中语音AI队友能实时感知战场环境的状态变化，做出合理拟人化的行为决策，真正是一个“能感知”、“会表达”和“懂执行”的靠谱AI队友。

有灵AOP平台在打造语音AI队友Agent的过程中，除了大幅提升研发效能以外，还能借助人类智能体轻松实现数据闭环，充分利用研发以及日常测试进程中的数据进行闭环训练，自动更新模型。为实现玩家与AI队友的丝滑语音交互，我们使用有灵AOP平台的模型量化、推理加速、逻辑优化等多项工程技术，将端到端交互响应时间控制在800ms以内，相比行业语音大模型的单模型推理速度有显著优势。

目前，网易伏羲AOP框架已成功应用于多个案例之中。例如，基于网易伏羲AOP人机协作的数据闭环提升文字捏脸效果，我们在《逆水寒》手游中首创文字捏脸，并在《永劫无间》手游中进一步发展，首创交互式捏脸玩法；基于AOP人机协作的数据闭环提升AI绘画效果，成功为《永劫无间》打造“AI智绘·时装共创”玩法；此外，AOP框架在人设对话RLHF方面也取得了显著成果，通过网易伏羲有灵众包平台，我们有效提升了对话系统的质量。在这个过程中，我们使用了实时对话、对比和修改创作等方法，对AI的对话表现进行了优化。这种人机协作的方式，使我们的AI角色能够更自然、更贴近真实地与玩家进行互动，创造出更具吸引力的游戏体验。

最后，我想与大家分享下网易伏羲的最新动态：网易伏羲AOP SDK即将迈入首次内测阶段。在此，我们衷心邀请所有对此技术充满兴趣的朋友们扫码参与，也欢迎全球范围内的开发者和合作伙伴加入我们，共同探索智能体技术的新边界。我们相信，网易伏羲AOP SDK将成为开发者的强大助手，帮助大家简化复杂功能的实现过程，打造更加智能、更具响应性的游戏世界，为玩家带来前所未有的沉浸感和互动体验。

展望未来，我们期待这项技术能够在更广阔的领域内激发创新，触及更多行业、影响更广泛的领域。网易伏羲也将继续秉承“人机协作，万物有灵，让每一个人都可以从事自由有趣的工作”的愿景，携手合作伙伴，共同推动构建一个智能化、互联互通的世界，加速AI技术与实体产业深度融合，为未来社会的数字化转型贡献力量。