Isaac Sim版Ziva
シミュレーターの中で動作するIsaac Sim向けAIエージェント
ZivaはNVIDIA Isaac Sim向けのAI開発エージェントです。Isaac Simで開いているOpenUSDステージを、コンポジションの結果まで含めて読み取り、プロジェクトで固定しているIsaac Simのバージョンに合わせてPythonを記述し、ROS 2連携用のAction GraphとReplicatorのパイプラインを組み、シミュレーションを実行して、構築したシーンが意図どおりに動くかを確認します。
現在は、Zivaエンタープライズを通じて、チーム単位での試験導入を受け付けています。対応するワークフロー、導入方式、評価で確認する内容は、お客様と確認のうえ決めます。
営業に問い合わせるIsaac Simを使うチーム向け
- AI開発エージェント
- OpenUSDとIsaac Labを理解したエージェント
- お客様のクラスターでのヘッドレス実行
- 導入評価とセキュリティ審査への対応
- 導入方式は個別に決定
シミュレーターの中で
PythonだけでなくOpenUSDを扱えるエージェント
Isaac Simのプロジェクトでは、情報の大半がPythonファイルではなくUSDステージにあります。ロボットの関節構造やセンサーの構成はUSDステージ上のプリムとして保持され、ROS 2の通信はOmniGraphのノードで組みます。問題の原因も、たいていはジョイントドライブのゲインのような設定にあります。テキストしか読めないAIアシスタントは、そのすべてを推測するしかありません。以下の機能は、導入前の打ち合わせで必要なものをお客様と確認したうえで、Zivaの開発チームが実装します。
USDステージの読み取り
コンポジション後のステージをたどり、パス、型、APIスキーマからプリムを特定して、属性値とトランスフォームを読み取ります。.usdaレイヤーの記述だけから推測することはありません。
プリム、レイヤー、リファレンスの編集
プリムの作成と親子関係の変更、属性の設定を行い、変更は意図したレイヤーに書き込みます。リファレンス、ペイロード、バリアントセットは、フラット化せずに編集します。
固定したバージョンに合わせたPythonの記述
Isaac Simでは、リリースによってAPIの名前空間が大きく変わっています。古い名前空間で学習したモデルは、対象のバージョンではインポートできないコードを生成することがあります。エージェントはプロジェクトで固定しているバージョンに合わせて作業し、スクリプトが実際に動くかを確認します。
ロボットのインポートと調整
URDF、MJCF、CADからインポートしたモデルを、正しく動くアーティキュレーションに仕上げます。ジョイントドライブの剛性と減衰、衝突形状の近似、質量特性、そしてシミュレーション開始直後にアームが不安定な動きをするかどうかを左右する自己衝突の設定まで扱います。
ROS 2ブリッジの接続
パブリッシャー、サブスクライバー、TFツリー、シミュレーションクロックのAction Graphノードを、既存のスタックが使うメッセージ型に合わせて組みます。シミュレーションは、実機と同じノードとやり取りします。
Replicatorのパイプライン構築
学習に必要なランダマイザー、アノテーター、ライターを組み合わせて合成データを生成します。バウンディングボックス、セグメンテーション、深度、姿勢を、既存のパイプラインが読み込めるデータセット形式で書き出します。
Isaac Labの環境作成
Manager-based方式またはDirect方式の強化学習環境について、観測・報酬・終了条件の各項目、行動空間、カリキュラムを記述します。インポートできるだけのファイルで終わらせず、新しいタスクを実行できるように必要な設定まで組み込みます。
Kitログの読み取り
Pythonのトレースバック、拡張機能の読み込み失敗、PhysXの警告、USDのコンポジションエラーは発生時に記録され、エージェントが読み取ります。開発者がログを貼り付けなくても、ステージが壊れた原因をエージェントが切り分けます。
シミュレーションの実行と画像による確認
シーンをヘッドレスで実行し、物理シミュレーションを進め、ビューポートとカメラセンサーの画像を取得します。ロボットが床をすり抜けて落ちるような異常も、開発者が気づくより先に、エージェントが見つけられます。
sim-to-realのためのドメインランダマイゼーション
照明、テクスチャ、マテリアル、物理パラメーター、センサーノイズを、実機の運用環境で想定される範囲でランダム化します。基準のシーンでしか動かない方策は、実機では通用しないためです。
実機に合わせたセンサー構成
RTX Lidar、ステレオカメラと魚眼カメラ、IMU、接触センサーを、実機の取り付け位置・姿勢や校正パラメーターに基づいて設定します。方策は、実機のセンサー構成に近い条件で学習できます。
デジタルツインの構築
倉庫、工場、研究室のシーンをSimReadyアセットで組み立て、搬送設備、ラック、治具を実際のフロアプランどおりに配置します。あとで作り直しが必要なデモ環境にはしません。
案件の進め方
お客様のチームと一緒に進める導入の流れ
ZivaはGodot向けのエディター内エージェントとしてすでに公開しており、Unity向けはZivaエンタープライズで利用できるベータ版です。Isaac Sim向けは、チームごとに要件を確認したうえで個別に導入します。必要な連携機能や導入構成は、使用中のIsaac Simのバージョン、ROS 2のディストリビューション、学習用のクラスターによって異なるためです。
利用環境の確認
Isaac SimとIsaac Labのバージョン、ROS 2のディストリビューション、シミュレーションするロボット、学習を実行する場所、お客様と取引先との契約上、拠点の外に持ち出せるデータの範囲を確認します。確認した内容をもとに、導入の範囲と進め方を決めます。
既存のエージェント基盤の活用
エージェント本体、エディターとの連携、実行中のゲームやシミュレーションを操作する仕組みは、Godot版とUnity版ですでに動作しています。Isaac Sim向けに作るのは開発に必要なツールで、エージェントを一から作り直すわけではありません。
既存ツールの接続
Nucleusサーバー、アセットライブラリ、実験管理ツール、データセットの保管先、社内のCLIを、MCP経由でエージェントから呼び出せるようにします。
許可された環境への導入
導入先は、ZivaやAIモデル提供元のクラウド、お客様のVPC、外部への通信を遮断した社内のハードウェアから選べます。利用人数によっては、専用の推論環境も用意します。
ロボティクスのパイプライン
既存のロボット学習パイプラインに組み込める設計
ロボティクスの開発は、GUIを動かす1台のワークステーションでは完結しません。Nucleusサーバー、ヘッドレスのジョブを実行するGPUクラスター、1回の実行で数ギガバイトになる合成データ、そして最終的に実機で動かなければならない方策があります。こうした環境を前提にしないエージェントは、デモの域を出ません。
お客様のクラスターでのヘッドレス実行
バッチジョブにエージェントを割り当てられます。ランダム化の範囲の探索、データセットの再生成、リグレッション用シーンの実行を行い、結果を添えて、変更内容をレビュー用に提出します。
Nucleusとアセットライブラリ
サンプルライブラリをシーンごとに取り込み直すのではなく、チームがすでに公開しているアセットを使って作業します。
社内ツールをエージェントから利用
MCPサーバーとして公開した社内ツールを、エージェントから呼び出せます。実験管理ツール、データセットの保管先、ロボット群のテレメトリー、チーム独自の社内CLIも、MCPサーバー経由で使えます。
チェックポイントと取り消し
エージェントが作業するたびに、その変更をバージョン管理とは別に、プロジェクト単位の履歴に記録します。エージェントによる変更は、チーム全体に影響するリバートをせずに取り消せます。
チームの開発規約に沿った実装
拡張機能の構成、命名規則、レビュー基準をエージェントに読み込ませます。エージェントは、サンプルスクリプトの書き方ではなく、既存のリポジトリと同じ書き方でコードを書きます。
ZivaをMCPサーバーとして利用
Claude Code、Cursor、自作のエージェントからZivaに接続すると、GUIの外からシミュレーターのツールを使えます。
汎用のAIコーディングアシスタントとの違い
USDステージを直接扱えるかどうかの違い
Copilot、Cursor、ブラウザーで使うAIアシスタントは、Pythonのコードを書くのは得意です。ただし、シミュレーターと連携していない状態では、コンポジション後のステージでプリムを特定することも、アーティキュレーションのルートが別のリンクに付いていることに気づくことも、Kitログを読むことも、シミュレーションを進めることもできません。シーンの構成や設定の大半をUSDで管理するプロジェクトでは、Pythonのコードを読むだけではシーン全体の状態を把握できません。
| 機能 | Copilot · Cursor · ChatGPT（シミュレーター連携なし） | Isaac Sim版Ziva |
|---|---|---|
| コードベースを踏まえたPythonの記述 | 最も得意な領域 | ステージの情報も踏まえる |
| 固定したIsaac Simバージョンへの対応 | 改名前の名前空間で書きがち | 固定したバージョンで書き、実行して確認 |
| ステージ上のプリムと属性の読み取り | 見えてもUSDのレイヤーまで | USD API経由 |
| アーティキュレーションとジョイントドライブの調整 | 物理の挙動を確認できない | PhysXで実行して測定 |
| KitログとPhysXの警告の読み取り | 保存済みのログファイルのみ | 発生した時点で取得 |
| 修正を確かめるためのシーン実行 | コマンドラインからの実行のみ | ヘッドレス実行とレンダリング画像の取得 |
| AIモデルの実行環境 | 原則として提供元のクラウド | お客様と個別に決定 |
Zivaは現在、Godot向けのエディター内エージェントとして公開しており、Unity向けはZivaエンタープライズで利用できるベータ版です。Isaac Sim向けの機能は、エンタープライズ案件としてお客様ごとに導入し、開始前に範囲を決めます。エージェント本体、エディターとの連携、実行中のゲームやシミュレーションを操作する仕組みは、Godot版とUnity版ですでに動作しています。
セキュリティと実行環境
チームの要件に合わせた実行環境
取引先の拠点に関するデータ、NDAの対象となるロボットの設計、実機で使う予定の方策の取り扱いによって、ソースコードとデータセットを送信できる先は限られます。こうした制約には、プライバシーポリシー上の約束ではなく、要件に応じた導入方式で対応します。
導入要件
エージェントとモデル推論をどこで動かす必要があるか、ネットワーク上の制限も含めて確認します。どの導入方式を選べるかは、導入要件を確認したうえで確定します。
モデルとデータの選択
希望するモデルプロバイダー、データの取り扱い条件、ローカル推論が要件を満たすかを検討します。適用される方針は、選んだプロバイダーとサービスによって異なります。
セキュリティ審査
セキュリティチェックシートと必要な管理策をお知らせください。試験導入の実施を決める前に、対応済みの項目と、現時点で未対応の項目の双方をお伝えします。
チームへの展開
アクセス権限、想定する利用量、サポート、商用条件を、利用規模に合わせて取り決めます。いずれも、案件の中でご相談します。
検証結果を見る
Zivaが3Dエンジンの中ですでにできること
Isaac Sim向けは、チームごとに対応を決めて導入します。まずは、Zivaがすでに対応しているエンジンでの動作と検証結果をご覧ください。
Godot版Ziva
公開中の製品です。エディター内のエージェントが、シーンツリーを読み取り、ノードを編集し、コードを書き、実行中のゲームをデバッグします。
詳しく見るUnity版Ziva
Zivaエンタープライズで利用できるベータ版です。シーン階層、プレハブ、C#、Console、Test Frameworkを、すべてエディターの中から扱います。
詳しく見るビルドしたゲームを最初から最後までプレイし、不具合を報告するエージェント
Isaac Sim向けの検証の土台となる仕組みです。ビルドを起動し、実際の入力を送り、測定した内容に基づいて合否を返します。
詳しく見るUnityでのゲーム制作を通じたClaude Codeの検証
四つのモデルで同じゲームを作り、ツールの呼び出し回数、所要時間、費用を計測し、共通の基準で成果物を採点しました。モデルを採用する前に、どう評価しているかがわかります。
詳しく見るIsaac SimとAIについてのご質問
NVIDIA Isaac Sim向けのAIはありますか
汎用のAIアシスタントがIsaac Simを苦手とするのはなぜですか
Isaac Labでの強化学習にAIは使えますか
エージェントで学習用の合成データを生成できますか
シミュレーションのコードやロボットのデータは、社内ネットワークの外に送信されますか
対応しているIsaac Simのバージョンを教えてください
Isaac Sim版Zivaはどうすれば使えますか
Isaac Simを使うチームにZivaを
使用しているIsaac Simのバージョン、チームの人数、バージョン管理、エージェントを動かせる環境をお知らせください。その条件に合わせて導入計画をご提案します。
Isaac Simについて相談する