游戏NPC现在可以聆听你的声音，自然地回应，并与游戏世界进行互动。🎮

ElevenLabs发布了ElevenAgents Unity SDK，使开发者能够更轻松地将对话式AI角色直接添加到Unity游戏中。

此次发布由@ElevenLabsDevs宣布，并由开发者倡导者@tadaspetra进行了技术演示。

有趣的部分不仅仅是赋予角色逼真的AI语音。

NPC可以接收关于游戏中正在发生的事情的信息，并触发实际的游戏操作。

🎙️它是如何工作的？

想象一下你走向游戏中的一个角色。

▪️进入角色的交互区域，语音对话会自动开始。

▪️对着麦克风说话，NPC会使用ElevenLabs语音代理进行回应。

▪️走开后，对话结束。

▪️通过动态变量为角色设置不同的个性、情绪和声音。

该SDK使用Unity的Conversation API来管理交互。

🧠理解上下文的角色

开发者可以在对话过程中发送上下文更新，而不会打断玩家。

例如：

玩家捡起了地窖钥匙。

代理可以将这些信息纳入其下一次回应中。

更有趣的是，客户端工具允许代理执行游戏功能。

开发者可以注册一个open_door工具，让NPC在对话需要时打开特定的门。

这为交互式任务、语音控制的同伴、动态对话系统以及更具响应性的游戏角色创造了机会。

⚙️技术细节

▪️通过Unity的AudioSource实现空间音频。

▪️动态变量和每次会话的声音覆盖。

▪️用于角色嘴部或身体动画的音频音量数据。

▪️用于转录、回应和中断的对话事件。

▪️根据平台支持WebSocket和WebRTC传输选项。

▪️支持Unity编辑器、Windows、macOS、Linux和WebGL。

▪️iOS、Android和XR支持目前处于测试阶段。

该SDK针对Unity 6.3 LTS，并包含一个GettingStarted示例，团队表示完成该示例大约需要10分钟。

一个重要的实施细节：生产环境中的游戏应使用经过身份验证的会话和服务器生成的签名URL，而不是将私有API密钥打包在游戏内部。

为什么这很重要

传统的NPC对话通常依赖于预定义的对话树。

这种方法为开发者提供了一种通过一个系统将语音交互、变化的游戏状态和执行的操作连接起来的方式。

它不会自动创建智能的角色或良好的游戏设计，但它使得构建更具反应性的NPC交互变得显著更容易。

🔗 https://github.com/elevenlabs/unity

#ElevenLabs #GameDevelopment #Unity3D #AIAgents