Isaac Sim 版 Ziva
在仿真器内工作的 Isaac Sim AI
Ziva 是 NVIDIA Isaac Sim 的 AI 开发智能体。它像视口一样读取 OpenUSD 场景，根据项目固定的 Isaac Sim API 版本编写 Python，连接 ROS 2 图和 Replicator 管线，并推进仿真验证构建结果。
限定范围试点。我们会与团队确认支持的流程、部署和评估范围。
与我们的团队交流为 Isaac Sim 团队打造
- AI 开发智能体
- 理解 OpenUSD 与 Isaac Lab
- 在集群中无界面运行
- 工作室评估与安全审核
- 与团队确定部署范围
在仿真器内
理解 OpenUSD，而不只是 Python 的智能体
Isaac Sim 项目的大部分内容不在 Python 文件中。机器人是 USD 场景中的关节系统，传感器装配是 prim 图，ROS 2 发布者是 OmniGraph 节点，问题通常出在关节驱动增益。只能读取文本的助手对这些都只能猜测。
读取 USD 场景
遍历合成后的场景，根据路径、类型或 API schema 解析 prim，读取属性值和变换，无需解析 .usda 图层后猜测合成结果。
编辑 prim、图层和引用
创建 prim、调整父子关系、设置属性，并写入指定图层，让引用、payload 和变体集保留，而不被平铺合并。
根据固定版本编写 Python
Isaac Sim API 曾在版本间大规模重命名。以旧命名空间训练的模型可能自信地生成无法导入的代码。智能体针对项目固定版本工作，并确认脚本实际可运行。
导入并调校机器人
将 URDF、MJCF 和 CAD 导入转换为行为正确的关节系统，配置关节驱动刚度与阻尼、碰撞近似、质量属性及自碰撞标记，避免机械臂在第一步失稳。
连接 ROS 2 桥接
构建用于发布者、订阅者、TF 树和仿真时钟的 Action Graph 节点，匹配现有技术栈的消息类型，让仿真与机器人使用相同的节点通信。
构建 Replicator 管线
使用训练所需随机化器、标注器和写入器生成合成数据，包括边界框、分割、深度和姿态，并输出为现有流程接收的数据集格式。
创建 Isaac Lab 环境
为基于管理器或直接实现的强化学习环境编写观测、奖励、终止项、动作空间和课程，并配置新任务，使其真正可运行，而不只是成功导入文件。
读取 Kit 日志
Python 堆栈、扩展加载失败、PhysX 警告和 USD 合成错误实时进入智能体上下文，让它直接分诊损坏场景。
推进并观察仿真
无界面运行场景，推进物理仿真，并截取视口和相机传感器图像，让智能体及时发现生成机器人穿过地板等问题。
用于仿真到现实的域随机化
在真实硬件面对的范围内随机化光照、纹理、材质、物理参数和传感器噪声，避免策略仅在标称场景中有效而无法迁移。
与机器人匹配的传感器装配
根据真实外参布置和标定 RTX 激光雷达、双目和鱼眼相机、IMU 及接触传感器，让策略训练时看到的内容接近真实机器人所见。
构建数字孪生
基于 SimReady 资源搭建仓库、工厂和实验室，按平面图布置传送带、货架和设施，无需随后替换演示环境。
合作方式
与团队共同确定范围
Ziva 已发布 Godot 编辑器智能体，Unity 版处于测试阶段。Isaac Sim 支持通过合作交付，因为机器人项目的需求由 Isaac Sim 版本、ROS 2 发行版和训练集群决定。
确定技术栈范围
Isaac Sim 与 Isaac Lab 版本、ROS 2 发行版、仿真机器人、训练运行位置，以及客户合同允许哪些内容离开内部网络，将决定后续方案。
带来已验证的能力
智能体、编辑器集成和驱动运行中仿真的方式已在两个引擎中可用。Isaac Sim 工作侧重项目所需工具，无需重新构建智能体。
接入你的工具
通过 MCP 将 Nucleus 服务器、资源库、实验跟踪器、数据集存储和内部 CLI 提供给智能体调用。
部署在允许的位置
提供商云端、自有 VPC，或内部无出站访问的硬件。席位规模需要时，可使用专用推理容量。
机器人开发流程
适应机器人现有训练流程
机器人项目不只是一个工作站上的 GUI，它还包括 Nucleus 服务器、运行无界面任务的 GPU 集群、每次运行数 GB 的合成数据，以及最终要在真实硬件上工作的策略。忽略这些的智能体只能算演示。
在集群中无界面运行
将智能体用于批处理任务：扫描随机化范围、重新生成数据集、运行回归场景，并创建附结果的变更。
Nucleus 与资源库
智能体使用团队已有资源，而不会在每个场景中重新复制示例资源库。
将内部工具提供给智能体
任何 MCP 服务器都能成为智能体可调用的工具，包括实验跟踪器、数据集存储、机群遥测和团队专属内部 CLI。
检查点与撤销
每轮智能体操作都会在独立于 VCS 的项目历史中建立检查点，让实验可回退，无需影响团队的回滚提交。
遵循你的 Isaac 约定
根据扩展布局、命名规则和审核标准编写代码，让输出符合现有仓库，而不只是示例脚本。
将 Ziva 作为 MCP 服务器
让 Claude Code、Cursor 或自己的智能体连接 Ziva，从 GUI 外使用仿真器工具。
与通用 AI 编程助手比较
Copilot 无法打开你的场景
Copilot、Cursor 和浏览器对话擅长文件中的 Python，但无法解析合成场景中的 prim、判断关节系统根是否位于错误连杆、读取 Kit 日志或推进仿真。对于状态主要保存在 USD 中的项目，这意味着无法访问大部分内容。
| 能力 | Copilot · Cursor · ChatGPT | Isaac Sim 版 Ziva |
|---|---|---|
| 根据代码库编写 Python | 最擅长此项 | 另有场景上下文 |
| 使用你固定的 Isaac Sim API | 使用已重命名的命名空间 | 使用你的版本并运行 |
| 读取场景中的 prim 与属性 | 至多查看 USD 图层 | 通过 USD API |
| 调校关节系统与关节驱动 | 无法观察物理行为 | 推进 PhysX 并测量 |
| 读取 Kit 日志与 PhysX 警告 | 需要粘贴堆栈信息 | 错误发生时读取 |
| 运行场景验证修复 | 读取代码后推测 | 无界面运行与视口截图 |
| 部署要求 | 仅提供商云端 | 与团队协商范围 |
Ziva 已发布 Godot 编辑器智能体，Unity 版处于测试阶段。Isaac Sim 能力通过企业合作逐客户交付，并在开始前共同确定范围。智能体、编辑器集成和驱动运行中仿真的能力已在两个引擎中运行。
安全与基础设施
按 Isaac Sim 团队要求运行
客户现场数据、受 NDA 约束的机器人设计和即将发布的策略，决定源码与数据集可发送的位置。这是部署问题，我们通过部署选项回答，而不只在隐私政策中承诺。
部署要求
讨论智能体和模型推理需要在哪里运行，以及网络限制。部署选项及其可用性将在合作范围中确认。
模型与数据选择
评估偏好的模型提供商、数据处理条款，以及本地推理是否满足要求。政策取决于所选提供商和服务。
安全审核
提供安全问卷和所需控制措施。我们会在团队决定评估前确认可用能力并指出缺口。
团队推广
协商团队访问需求、预期用量、支持和商业条款，纳入工作室合作范围。
阅读证据
Ziva 在 3D 引擎内已能完成什么
Isaac Sim 支持范围与团队确定。可先查看目前能体验的引擎中的真实成果。