跳到正文
Convai 智能 NPC 与动态剧情· 一手来源·· 13 小时前AI 评分21

Convai 发布本地部署 AI Agent 平台：支持团队培训与在岗辅助

On-Premise AI Agent Platform: Train Your Teams and Assist Them on the Job

正文 · AI 翻译

每个团队都有那个大家都会去问的人。他们被问到的问题大部分是重复的：同一位专家在 90% 的时间里回答相同的问题。员工等待，专家切换上下文，生产力因此流失。

仅靠培训无法弥补这一差距。正式培训只占人们学习的一小部分，可能不到 10%。大多数学习发生在工作中：在机器旁、在应用程序内部、在艰难的对话中间。

答案通常已经存在，存在于 CAD 文件、手册、程序和培训视频中，但这些内容无法在双手忙碌时被搜索到。而在航空航天、国防或制造业中，这些知识往往必须保留在自己的网络内部。

Convai 是一个同时适用于两项任务的智能体平台：培训你的员工，并在他们工作时提供帮助。在自有服务器或云环境中构建智能体，将其连接到文档、CAD 模型和系统，并部署到应用程序、3D 模拟以及员工携带的设备中。相同的智能体和知识随后可以支持某人在 3D 中学习流程，并在真实设备上执行该流程。

Convai 平台一览图

在评估任何单一产品之前，先看看其底层支撑。将平台视为一个分层结构：最底层是你的 AI 数据中心，然后是 AI 模型和智能体基础设施，再往上是 SDK 和产品，它们将智能体带给你的员工。

Skip the diagram

Convai 平台分层结构

完整包：包含所有AI功能，以及像素流送基础设施和渲染引擎，因此诸如虚拟形象和Convai Sim等3D体验可从您的服务器流式传输到用户浏览器。仅AI：智能体平台和AI模型在您的数据中心运行，由您自己的应用程序和3D引擎负责渲染。

用例

基础Agent 平台与 AI 模型

Agent 基础设施

内置

渲染引擎 完整包虚幻引擎UnityNVIDIA Omniverse在您的 GPU 上渲染，流式传输到浏览器您的 AI 数据中心本地部署、您的云或 物理隔离

Show as a listHide the list

用例

  • 您 Web 应用中的智能体 （由 Web SDK 提供服务）将智能体添加到您的 Web 应用和门户中。它可以采访用户并为他们填写冗长的表单，高亮显示界面的部分，并引导人们完成每项任务。
  • 3D 模拟中的智能体 （由 3D 引擎 SDK 提供服务）将对话式智能体添加到团队已在 Unity、Unreal Engine、NVIDIA Omniverse 或 three.js 中构建的模拟中，使受训者能够在场景内提问并获得指导。
  • 展会与车间展台 （由 Avatar Studio 提供服务）在展会展位、展览或车间展台上放置一个对话式虚拟人。启用摄像头后，它可以识别访客、回答他们的问题并展示相关视觉内容。
  • 软技能培训 (由 Avatar Studio 提供服务)让你的员工与虚拟角色练习销售对话、人力资源情境和领导力辅导，排练困难对话，并根据你设定的标准对每次会话进行评分。
  • 基于 CAD 模型的技术培训 (由 Assembly Studio 提供服务)导入你的 CAD 文件，让员工通过语音询问有关零件和装配体的问题。根据模型生成逐步的培训流程，供专家审核。
  • 带有 AI 导览的数字孪生 (由 Convai Sim 提供)使用高斯泼溅技术捕获现场，将其导入可探索的 3D 环境并与您的 CAD 知识相连，同时添加对话式虚拟形象，在其中提供虚拟导览并演示操作流程。
  • 辅助体力工作 (由 Vision Assistant 提供)通过在手机或平板电脑上使用 Vision Assistant，或使用我们插件构建的 XR 应用，AI 能够看到技术人员所见的画面，并利用您的手册和文档指导每一步操作。

您的应用程序和产品

  • Web SDK在您的 Web 应用、门户和页面中嵌入智能体。它可以通过对话填写表单，高亮显示界面中的部分区域，并引导用户。
  • 3D 引擎 SDK适用于 Unity、Unreal Engine 和 NVIDIA Omniverse 的插件，以及 Web 端的 three.js，可为您已构建的 3D 模拟添加对话式智能体。Unity 和 Unreal Engine SDK 还涵盖桌面应用程序。
  • 访问您的控制权限智能体仅通过您批准的 MCP 服务器和凭据访问您的系统。您的 API 密钥保留在您的服务器上；浏览器使用您颁发的令牌。将 Convai 连接到您的目录（例如 Active Directory），以便对平台的访问遵循您已管理的组。
  • Avatar Studio构建一个对话式虚拟化身，并将其用于展位或车间的自助服务终端，或作为软技能培训的实践伙伴。
  • Assembly Studio导入您的CAD模型。Assembly Studio将其拆解为各个部件，推理它们如何组装在一起，并起草分步操作流程供您的专家审核。
  • Convai Sim将高斯泼溅（Gaussian-splat）采集数据与数字孪生带入一个可探索的3D世界，并与您的CAD知识相连，其中包含引导参观和演示流程的虚拟形象。
  • Vision Assistant在手机、平板电脑上，或使用我们插件构建的XR应用中，AI能看到技术员所见的画面，并逐步指导他们操作。
  • One core agent您构建的智能体可在Avatar Studio、Assembly Studio和Convai Sim中使用，也可通过我们的SDK集成到您自己的应用中。

基础：智能体基础设施

  • 基础架构每个产品和 SDK 所构建的代理平台与 AI 模型，运行于您的数据中心。
  • 代理创建创建代理，配置其工作方式，连接数据源，并将其部署到您的应用程序、浏览器和 3D 环境中。
  • 代理运行时在您的应用程序、模拟环境和设备中，实时运行代理的语音和文本对话。
  • 扩展能力随着更多团队和用户加入，在自有 GPU 服务器上扩展您的代理规模。
  • 可观测性集中监督维护团队，以监控代理的性能表现及用户使用情况。
  • 身份验证控制谁可以构建和管理您的智能体。您的 API 密钥保留在您的服务器上，浏览器使用您颁发的令牌进行连接。
  • 智能体管理 (内置)在一个地方创建、配置和更新所有智能体，从它们的知识和语音到所使用的模型。
  • MCP 连接 (内置)通过 MCP 服务器将智能体连接到您的内部工具和数据，并使用 OAuth 授权每个连接。
  • 知识库 (内置)添加文档、视频和其他文件。平台将它们处理为多模态知识，供智能体在对话中调用。
  • 长期记忆 （内置）通过长期记忆，智能体会记住每位用户先前会话中的偏好和事实。
  • 思维视图 （内置）思维视图会显示任何响应背后的完整提示词，以便您的团队追踪并修复意外答案。
  • 团队工作区 （内置）为每个团队提供独立的工作区或共享一个工作区，使各小组能在中央监督下共同构建、维护和管理智能体。
  • 匹配服务器 （完整套餐）将每位打开 3D 体验的用户分配到您硬件上可用的渲染服务器。
  • 信令与代理 （完整包）为每个流媒体会话设置信令，并在您的渲染服务器与用户浏览器之间中继视频和输入。
  • 资产管理器 （完整包）将体验所使用的 3D 环境、化身和其他资产集中存放，以便您的渲染服务器随时调用。
  • 流式扩展 （完整包）随着更多用户打开您的 3D 体验，为您的 GPU 增加渲染容量。

基础层：AI 模型与您的数据中心

  • 语音转文本将用户的语音转换为文本，供智能体处理，让用户可以通过说话而非打字进行交互。
  • 语言与视觉模型大型语言和视觉-语言模型使智能体能够基于用户的言语和摄像头画面进行推理。
  • 文本转语音为每个智能体赋予独特的声音，以便在您的应用程序、模拟环境和自助服务终端中以语音形式回答。
  • 动画NeuroSync 是 Convai 自研的动画模型，可将智能体的语音实时转化为虚拟形象的面部动画和口型同步。
  • 多模态嵌入对文档、图像和视频建立索引，使智能体能够在对话过程中查找并使用正确的信息。
  • 自带模型使用平台提供的模型，或连接贵组织已运行的 LLM 和 AI 服务。
  • 渲染引擎 （完整包）3D 体验在您的 GPU 服务器上基于 Unreal Engine、Unity 或 NVIDIA Omniverse 进行渲染，然后流式传输到用户的浏览器中。
  • 您的 AI 数据中心该平台以容器形式运行在您自己的 GPU 服务器或您自己的云中，包括物理隔离的网络，因此您的数据保留在网络内部。
End of the platform diagram
选择任意区块可跳转到其对应章节，使用每个章节标题上方的“Map”链接返回，并在“仅 AI”和“完整包”之间切换以比较两种部署方式。

找到最接近您用例的场景以及为其提供服务的平台部分：

基础层

基础：部署在你自己服务器上的 AI agent 平台

一个了解你的设备和流程的 AI 需要的不仅仅是一个聊天窗口，而基础正是你构建它的地方。创建一个 agent，配置它的工作方式，连接你的数据，并将它部署到你的应用、浏览器和其他环境中，然后从同一个平台管理和监控它。上层的一切都建立在这些 agent 之上，因此你在一个 agent 上投入的工作可以贯穿始终。

你的智能体位于中心，一侧是你的知识与系统，另一侧是你部署它的场所，下方是 AI 模型，上方是治理。

AI 模型层

用于语音、声音和视觉的 AI 模型，或自带模型

一位技术人员大声提出问题。智能体必须听到它、理解它、观察他们展示的内容，并用自然的语音回答。该平台为智能体提供了所需的模型：语音转文本、语音生成、大型语言模型、视觉理解、多模态嵌入和长期记忆，以及 NeuroSync，这是 Convai 专有的实时面部动画模型。

如果您的安全团队已批准使用某个语言模型，您无需放弃它。您可以使用平台提供的模型，或通过 OpenAI 兼容端点 连接企业已批准的 LLM。Convai 还与您已有的 AI 服务和基础设施协同工作，从智能体 SDK 和 MCP 服务器到数据源及现有训练流程。

另请参阅：连接您自己的私有LLM（开发者指南）

智能体基础设施层

智能体基础设施：知识库、MCP 和团队工作区

在一个编辑器中创建并配置智能体，其旁设有实时预览，以及知识库、AI 设置、MCP 连接和记忆功能。

将文档、PDF、图片、音频和视频导入知识库。在对话过程中，智能体会基于所有这些内容进行上下文推理，包括它在您的培训视频中看到和听到的内容。例如，上传一段车床操作培训视频，智能体就能根据视频画面回答设备设置相关的问题。

推荐阅读：Convai 上下文知识库：面向 AI 角色的多模态知识

要接入生产系统，请将您的智能体连接到 MCP 服务器。MCP（模型上下文协议）是一种将 AI 智能体连接到工具和数据的开放标准。智能体会发现每个服务器的工具，并在对话过程中调用它们以查询实时数据或在您的系统中执行操作。

平台在智能体周围运行其在生产中所需的基础设施：智能体运行时、扩展性、可观测性和身份验证。从一处监督所有智能体：团队可以在自己的工作区中工作或共享一个工作区，审查过去的会话，并监控跨您使用的智能体及其使用者的使用情况和分析数据。Mindview 显示任何响应背后的完整提示词，以便您的团队可以追踪和修复意外答案。

智能体基础设施层

本地部署或物理隔离，由您掌控访问权限

您的IT和安全团队会询问系统运行位置、可访问范围以及谁控制访问权限。将整个平台部署在您自己的服务器或云环境中。每个组件都以容器形式交付，没有任何数据离开您的网络，并且可以完全在物理隔离环境下运行。Convai符合SOC 2标准。Convai企业版详细说明了部署选项。

您的智能体仅通过您批准的MCP服务器和凭据访问您的系统，这些服务器决定返回的内容。MCP连接可以使用OAuth：只需向提供商登录一次，Convai就会以加密方式存储令牌并自动刷新它们。

您还可以控制谁可以访问。您的 API 密钥保留在您的服务器上，浏览器通过您签发的令牌进行连接。将 Convai 连接到您的目录（例如 Active Directory），以便对平台的访问遵循您已经管理的组。

应用层

将 AI 代理集成到您的 Web 应用和 3D 模拟中

一位正在提交长篇服务报告的现场工程师，或是在内部门户中迷失方向的新员工，都需要在他们正在使用的应用内获得帮助。通过Web SDK将代理添加到您的 Web 应用或门户中。它可以对用户进行访谈以填写长表单，导航应用程序，突出重要内容并调出相关信息。

代理向技术人员提问，根据回答填写现场服务报告并突出显示下一步操作。

您的应用保持控制权。正如 网站助手 指南所述，代理会指定一个动作，而您的代码决定该动作是否运行以及如何运行。在开启摄像头和屏幕共享的情况下，代理可以看到用户所看到的内容，从而提供帮助。

嵌入现有网页中的化身体验，随时准备为访客提供帮助。

已经在游戏引擎中构建训练模拟？Unity、Unreal Engine、NVIDIA Omniverse 和 three.js 的 SDK 和插件将相同的智能体引入您的 3D 模拟中。Unity 和 Unreal Engine 的 SDK 还涵盖桌面应用程序，并包含 MCP 工具，因此您的编码智能体可以在项目中添加、配置和排查 Convai 角色的问题。

另请观看：Unity：在您的 3D 场景中移动和行动的智能体（开发者导览）

产品层

Avatar Studio：AI 虚拟形象亭和软技能培训

在繁忙的展位，或无人应答的车间里，一张会倾听的脸比印刷标牌更有效。将来自 Avatar Studio 的虚拟人部署到展会的展台、车间或展厅内的自助终端上。

启用摄像头后，它可以识别面前的人，回答他们的问题并调出相关视觉内容。你 在浏览器中构建虚拟人体验，它也在浏览器中运行，因此自助终端无需安装任何软件。

一位西装革履的访客在展会展台的显示屏上与 AI 虚拟人交谈

Avatar Studio 的两个用途：在展会展台与访客交谈，以及在角色扮演中扮演一名不满的航空公司乘客。

经理首次尝试提供强硬反馈，或销售代表首次面对艰难异议时，不应在真实员工或客户身上进行。使用相同的虚拟角色进行软技能练习：销售对话、人力资源场景、领导力辅导和困难对话。然后使用评估 API 根据您定义的标准对每次会话进行评分。

推荐阅读：AI角色扮演培训平台：研究实际说了什么

产品层

Assembly Studio：来自您的 CAD 模型的技术培训

对于新设备，最完整的描述通常是CAD模型，它存在于你的技术人员从不打开的软件中。将该模型导入Assembly Studio，即使是复杂的装配体。它将模型分解为各个部件，推理它们在3D中如何组合，并将其与手册、文档和视频关联起来，这样你就可以问：“我如何使用这个设备？”

它也能理解机械结构。仅从CAD文件出发，Assembly Studio就能确定每个组件的连接方式以及部件的拆卸顺序，然后针对你的问题展示每一步的动画，类似于3D工作指令。

示例模型：一个爆炸视图中的工业机器人手臂，AI助手正在回答关于其部件的问题。

您也不必手动构建课程。在提示词中描述一个流程，Assembly Studio 会起草分步课程。您的专家审核之后，AI 会引导每位学习者逐步操作，并在过程中进行测验。

从 CAD 模型到引导式操作流程，由您的专家审核课程，并将设备知识与代理的知识相结合。

Assembly Studio 也是 CAD 知识进入平台的方式。一旦模型被摄入，它就会成为您代理知识的一部分，与您的知识库和 MCP 连接并列。

另请参阅：面向制造培训的工业 AI 助手：将专家知识置于工作现场

产品层

Vision Assistant：基于真实设备的 AI 引导式操作流程

学习一个流程只完成了一半工作；另一半则在实际设备旁进行，通常双手都在忙碌。借助 Convai 的 Vision Assistant（在手机或平板电脑上运行），或使用我们插件构建的 XR 应用，AI 能看到技术人员所见的画面，并一步步指导他们完成实际设备上的操作流程。或者在工作站旁架设一台摄像头，让 AI 像一位站在技术人员身旁的专家一样观察任务，并协助他们完成操作。

一位在执行工作的人员身边的专家：通过手机或平板电脑、工作站上的摄像头，或使用我们插件构建的 XR 应用实现。

对于头显，可使用我们的 Unity 和 Unreal Engine 插件构建 XR 应用，为技术人员提供视觉和语音辅助。在 Meta Quest 3 上，AI 可以通过头显的透视摄像头看到周围环境。

在工作中，同一 AI 了解你的 CAD 文件和已连接的知识源，并在技术人员提问的工作现场即时回答。这就是 Assembly Studio 与 Vision Assistant 协同工作的原因：你的员工先在 CAD 模型上学习操作流程，然后在真实设备上获得引导。

没有 CAD 文件？Vision Assistant 也可以基于你已连接的视频、PDF、手册和文档工作。

产品层

Convai Sim：借助 AI 指导的数字孪生培训

有些东西最好在复制品上先学习：比如新员工还没走过的设施，或者在真实生产线上练习风险太高的流程。使用高斯泼溅技术捕捉你的工厂车间、一台机器或一个组件，并将其导入 Convai Sim 中，作为一个渲染逼真的3D环境：一个供你的人员探索的数字孪生体。然后将其与你的CAD知识及其他信息连接起来。

示例场景：AI向导在 Convai Sim 中带领参观3D工厂车间。

在一个场景中放置多个化身，每个化身拥有自己的知识和背景故事。学员走上前去与他们交谈，而一个化身可以 带领参观设施 或 演绎你在VR中录制的流程。

用例层

一个用于培训和在职辅助的代理

将所有内容加总，你的员工需要两样东西：帮助学习工作，以及帮助执行工作。培训涵盖软技能，通过与 Avatar Studio 进行对话练习；以及硬技能，在 Assembly Studio 中的 CAD 模型上和在 Convai Sim 中的 3D 模拟中学习。辅助覆盖三个工作发生的地方：在你的 Web 和桌面应用程序内部、在 CAD 和 3D 工作流程中，以及在通过 Vision Assistant 进行的物理工作中。

培训和辅助并排展示，底层是一个统一的代理平台。

想象一下，一家工厂启动了一条新的生产线。班组长在 Avatar Studio 中与团队成员排练对话，技术人员通过 CAD 模型学习每台机器，并在 Convai Sim 中模拟走一遍车间的布局。在实际设备旁，Vision Assistant 引导他们完成每一步操作。班次结束时，你 Web 应用中的智能体帮助他们提交报告。

你不需要为每个产品配备一个独立的智能体。你在 Avatar Studio、Assembly Studio 和 Convai Sim 中构建的智能体，以及通过我们的插件和 SDK 在你自己的应用中使用的智能体，都是共享的：一个核心智能体，一次部署，集中管理所有智能体。

捕获、学习、工作：在每个阶段使用相同的智能体和相同的知识。

协助与训练同等重要。当工作中出现问题时，你的员工可以先向智能体提问，而大家通常请教的那个人则可以继续处理自己的工作。

延伸阅读： AI VR 训练模拟：实际证据揭示了什么

数据中心层

你的 AI 数据中心：仅 AI 还是完整方案

每个 3D 体验都需要在某个地方渲染，而由你决定在哪里进行。如果仅使用 AI，则智能体平台和 AI 模型运行在你的服务器上，而你自己的应用程序和引擎负责渲染体验。这适合使用 Unity、Unreal Engine 或浏览器进行开发的团队。

选择完整套餐，Convai 的 像素流送 基础设施会在您自己的 GPU 服务器上渲染您的 3D 体验（例如虚拟形象和 Convai Sim 场景），并将它们串流到任何浏览器中，因此受训者只需一台笔记本电脑、平板电脑或手机即可。

在自有数据中心运行 Convai 有两种方式：仅 AI，或包含像素流送和渲染引擎的完整套餐。

无论哪种方式，您的应用都会连接到您自己的部署环境，而非 Convai 的托管服务，因此请求和密钥都保留在您网络内部。文档展示了如何 将 Web SDK 指向您自己的部署，以及在使用完整套餐时如何 在您自己的服务器上运行像素流送。我们还正通过 AWS Marketplace 和 Azure Marketplace 提供 Convai。

另请观看： AES 2026 问答：将数据保留在您自己的服务器上

用例层

看它如何运作：AI 训练模拟与导览

内部推广？三个演示展示了各层的协同工作。

工厂车间的导览之旅

在完整的3D模拟中的工厂车间导览里，AI 向导带领访客从一个地点移动到下一个地点，并解释他们正在观察的内容。新员工可以在首次上岗前熟悉生产线。

另请观看： 带有AI导游的工厂数字孪生

Assembly Studio中的火星车模型

我们与合作伙伴一起使用Assembly Studio进行火星车维护和维修培训：逐步学习程序，并了解火星车的组装方式。询问某个组件的位置时，导游会在模型上高亮显示它。

Assembly Studio中的火星车模型：当被问及危险规避摄像机的位置时，导游会在模型上高亮显示它们。

与我们的合作伙伴Buendea进行的月球训练

与NASA合作的合作伙伴Buendea利用Convai构建了一个月球训练模拟系统。宇航员学员在一名能看到他们所见内容的AI引导下，练习诸如修复发电站等任务。

常见问题

Convai 可以在本地部署或隔离环境中运行吗？

可以。您可以在自己的服务器或云环境中运行整个平台。每个组件都以容器形式提供，没有任何数据离开您的网络，并且可以完全在隔离环境中运行。Convai 符合 SOC 2 合规标准。

我们可以使用公司已经批准的语言模型吗？

可以。使用平台提供的模型，或通过 OpenAI 兼容端点连接企业已批准的 LLM。

Avatar Studio、Assembly Studio 和 Convai Sim 是否使用相同的智能体？

是的。您构建的智能体在三个平台中均可使用，并且可以通过我们的插件和 SDK 集成到您自己的应用中：一个核心智能体，一次部署，统一管理。

使用视觉助手需要 CAD 文件吗？

不需要。视觉助手也可以利用您已经连接的视频、PDF、手册和文档。当您拥有 CAD 文件时，相同的 AI 也能识别它们。

学习者是否需要高性能计算机？

不需要。Avatar Studio 和 Convai Sim 体验均在 Web 浏览器中运行，无需安装任何内容，学习者的设备也不需要高端 GPU。使用完整套餐时，3D 渲染在您自己的 GPU 服务器上完成，并流式传输到浏览器。

整个平台

从你的专家每天回答的问题开始

询问你最资深的人员他们反复回答哪些问题，以及其中哪些答案已经存在于手册、CAD文件或培训视频中。这份清单是智能体（agent）的一个很好的初始范围。

若想一次性了解全部内容，请观看Convai首席执行官Purnendu Mukherjee在2026年增强型企业峰会上的演讲。

当你的清单准备就绪后，与Convai团队联系讨论该清单以及你希望如何部署。

从一个用例开始

选择一个流程、一个应用程序或一次对话。我们将帮助你为其部署一个智能体。

告诉我们您的团队需要学习什么或完成哪些任务，以及您的数据必须保留在何处。

来源：Convai 智能 NPC 与动态剧情 · convai.com

策划与编程智能 NPC#产品更新#智能NPC#游戏编程#Unity#Unreal Engine