Isaac Sim용 Ziva
시뮬레이터 안에서 작동하는 Isaac Sim용 AI
Ziva는 NVIDIA Isaac Sim용 AI 개발 에이전트입니다. 뷰포트처럼 OpenUSD 스테이지를 읽고, 프로젝트에 고정된 실제 Isaac Sim API 버전에 맞춰 Python을 작성하고, ROS 2 그래프와 Replicator 파이프라인을 연결하고, 시뮬레이션을 진행해 제작한 결과를 확인합니다.
범위가 정해진 파일럿. 지원 워크플로, 배포, 평가 범위를 팀과 확인합니다.
팀에 문의하기Isaac Sim 팀을 위해
- AI 개발 에이전트
- OpenUSD 및 Isaac Lab 이해
- 클러스터에서 헤드리스 실행
- 스튜디오 평가 및 보안 검토
- 팀과 협의하는 배포 범위
시뮬레이터 안에서
Python뿐 아니라 OpenUSD를 이해하는 에이전트
Isaac Sim 프로젝트의 대부분은 Python 파일 안에 있지 않습니다. 로봇은 USD 스테이지의 articulation이고, 센서 구성은 prim 그래프이며, ROS 2 publisher는 OmniGraph 노드이고, 문제는 보통 관절 드라이브 게인입니다. 텍스트만 읽는 어시스턴트는 이 모든 것을 추측합니다.
USD 스테이지 읽기
합성된 스테이지를 탐색하고 경로, 타입, API 스키마로 prim을 찾으며 속성 값과 변환을 읽습니다. .usda 레이어를 파싱하고 합성 결과가 예상과 같기를 바라는 방식이 아닙니다.
prim, 레이어, 참조 편집
prim을 생성하고 부모를 바꾸고 속성을 설정하며 의도한 레이어에 작성합니다. 참조, payload, variant set이 편집 과정에서 평탄화되지 않고 유지됩니다.
고정된 버전에 맞춘 Python 작성
Isaac Sim API는 릴리스 사이에 대대적으로 이름이 바뀌었습니다. 이전 네임스페이스로 학습한 모델은 더 이상 임포트되지 않는 코드를 자신 있게 작성합니다. 에이전트는 프로젝트에 고정된 버전으로 작업하고 스크립트가 실제로 실행되는지 확인합니다.
로봇 임포트 및 조정
URDF, MJCF, CAD 임포트를 제대로 동작하는 articulation으로 만듭니다. 관절 드라이브 강성 및 감쇠, 충돌 근사, 질량 속성, 첫 스텝에 로봇 팔이 불안정해질 수 있는 자체 충돌 설정을 조정합니다.
ROS 2 브리지 연결
publisher, subscriber, TF 트리, 시뮬레이션 시계용 Action Graph 노드를 기존 스택의 메시지 타입에 맞춥니다. 시뮬레이션이 로봇과 같은 노드와 통신하게 합니다.
Replicator 파이프라인 제작
학습에 필요한 randomizer, annotator, writer로 합성 데이터를 생성합니다. 경계 상자, 분할, 깊이, 자세를 기존 파이프라인이 읽는 데이터셋 형식으로 출력합니다.
Isaac Lab 환경 작성
manager 기반 또는 직접 RL 환경에 관찰, 보상, 종료 조건, 행동 공간, 커리큘럼을 작성합니다. 임포트만 되는 파일 대신 새 작업을 실행할 수 있게 설정을 연결합니다.
Kit 로그 읽기
Python traceback, 확장 로드 실패, PhysX 경고, USD 합성 오류가 발생하면 에이전트 맥락에 들어옵니다. 고장 난 스테이지를 사용자가 붙여 넣는 대신 에이전트가 분류합니다.
시뮬레이션 진행 및 관찰
씬을 헤드리스로 실행하고 물리를 진행하며 뷰포트와 카메라 센서를 캡처합니다. 생성된 로봇이 바닥을 통과하면 한 시간 뒤 사용자가 발견하는 대신 에이전트가 잡습니다.
sim-to-real을 위한 도메인 무작위화
하드웨어가 실제로 경험하는 범위에서 조명, 텍스처, 머티리얼, 물리 매개변수, 센서 잡음을 무작위화합니다. 기준 씬에서만 작동하는 정책은 실제 환경으로 전이되지 않습니다.
로봇에 맞는 센서 구성
RTX lidar, 스테레오 및 어안 카메라, IMU, 접촉 센서를 실제 외부 매개변수에 맞춰 배치하고 보정합니다. 정책이 학습하는 내용과 로봇이 보는 내용을 맞춥니다.
디지털 트윈 구성
SimReady 에셋으로 창고, 공장, 연구실 씬을 만듭니다. 나중에 교체해야 할 데모 환경 대신 실제 평면도에 맞춰 컨베이어, 선반, 고정 장치를 배치합니다.
협업 진행 방식
팀과 협의하는 범위
Ziva는 Godot용 에디터 내 에이전트와 Unity용 베타를 이미 제공합니다. Isaac Sim 지원은 협업으로 제공합니다. 로보틱스 프로그램의 요구 사항은 저희가 아닌 Isaac Sim 버전, ROS 2 배포판, 학습 클러스터가 결정하기 때문입니다.
스택 범위 정하기
Isaac Sim 및 Isaac Lab 버전, ROS 2 배포판, 시뮬레이션할 로봇, 학습 위치, 고객 계약상 외부 반출 가능 범위를 확인합니다. 이후 작업의 형태를 결정합니다.
이미 작동하는 것을 활용
에이전트, 에디터 연동, 실행 중인 시뮬레이션 제어는 이미 두 엔진에서 작동합니다. Isaac Sim 작업은 에이전트를 다시 만드는 것이 아닌 프로그램에 필요한 도구를 만드는 것입니다.
자체 도구 연결
Nucleus 서버, 에셋 라이브러리, 실험 트래커, 데이터셋 저장소, 내부 CLI를 MCP로 에이전트가 호출할 수 있는 도구로 연결합니다.
실행이 허용된 위치에 배포
공급업체 클라우드, 자체 VPC, 외부 통신이 없는 사내 하드웨어. 이용 인원에 필요하다면 전용 추론 용량을 사용합니다.
로보틱스 파이프라인
기존 로봇 학습 파이프라인에 맞게
로보틱스 프로그램은 GUI를 실행하는 워크스테이션 하나가 아닙니다. Nucleus 서버, 헤드리스 작업을 실행하는 GPU 클러스터, 실행마다 수 GB의 합성 데이터, 결국 실제 하드웨어에서 작동해야 할 정책으로 이루어집니다. 이를 무시하는 에이전트는 데모에 불과합니다.
클러스터에서 헤드리스 실행
배치 작업에 에이전트를 연결해 무작위화 범위를 탐색하고, 데이터셋을 재생성하고, 회귀 씬을 실행하고, 결과가 첨부된 변경을 열게 하세요.
Nucleus 및 에셋 라이브러리
에이전트는 씬마다 샘플 라이브러리를 새로 가져오는 대신 팀이 이미 게시한 에셋으로 작업합니다.
사내 도구를 에이전트 도구로
실험 트래커, 데이터셋 저장소, 로봇 운영 텔레메트리, 팀 전용 내부 CLI 등 모든 MCP 서버를 에이전트가 호출할 수 있습니다.
체크포인트 및 되돌리기
모든 에이전트 턴은 VCS와 분리된 프로젝트별 기록에 체크포인트로 저장됩니다. 팀에 영향을 주는 되돌리기 커밋 없이 실험을 되감을 수 있습니다.
팀의 Isaac 규칙에 맞춰
확장 구성, 명명 규칙, 검토 기준을 전달받아 샘플 스크립트 대신 저장소의 나머지와 어울리는 코드를 작성합니다.
MCP 서버로서의 Ziva
Claude Code, Cursor, 자체 에이전트를 Ziva에 연결해 GUI 밖에서 시뮬레이터 도구를 사용하세요.
일반 AI 코딩 어시스턴트와 비교
Copilot은 스테이지를 열 수 없습니다
Copilot, Cursor, 브라우저 채팅은 파일 속 Python 작성에 강합니다. 하지만 합성된 스테이지의 prim을 찾거나 articulation root가 잘못된 링크에 있는 것을 보거나 Kit 로그를 읽거나 시뮬레이션을 진행할 수 없습니다. 상태 대부분이 USD인 프로젝트에서는 프로젝트 대부분에 접근하지 못하는 셈입니다.
| 기능 | Copilot · Cursor · ChatGPT | Isaac Sim용 Ziva |
|---|---|---|
| 코드베이스에서 Python 작성 | 가장 강한 영역 | 스테이지 맥락까지 |
| 고정된 Isaac Sim API 대상 | 변경된 네임스페이스로 작성 | 실제 버전에 맞춰 실행 |
| 스테이지의 prim 및 속성 읽기 | 읽어도 USD 레이어 정도 | USD API를 통해 |
| articulation 및 관절 드라이브 조정 | 관찰할 물리 환경 없음 | PhysX를 진행하고 측정 |
| Kit 로그 및 PhysX 경고 읽기 | 사용자가 traceback 붙여넣기 | 오류 발생 즉시 |
| 씬을 실행해 수정 확인 | 코드를 읽고 추측 | 헤드리스 실행, 뷰포트 캡처 |
| 배포 요구 사항 | 공급업체 클라우드만 | 팀과 협의하는 범위 |
Ziva는 현재 Godot용 에디터 내 에이전트와 Unity용 베타를 제공합니다. Isaac Sim 기능은 기업 협업에서 고객별로 제공하며 시작 전에 범위를 협의합니다. 에이전트, 에디터 연동, 실행 중인 시뮬레이션 제어는 이미 두 엔진에서 실행됩니다.
보안 및 인프라
Isaac Sim 팀에 필요한 방식으로 실행
고객 현장 데이터, NDA가 적용된 로봇 설계, 출시 예정 정책이 소스와 데이터셋의 이동 가능 범위를 결정합니다. 개인정보 처리방침의 약속 대신 배포 옵션을 통해 답해야 할 문제입니다.
배포 요구 사항
네트워크 제약을 포함해 에이전트와 모델 추론을 어디서 실행해야 하는지 논의합니다. 배포 옵션과 제공 여부는 협업 범위에서 확인합니다.
모델 및 데이터 선택
선호하는 모델 제공자, 데이터 처리 조건, 로컬 추론이 요구 사항을 충족하는지 검토합니다. 정책은 선택한 제공자와 서비스에 따라 달라집니다.
보안 검토
보안 설문지와 필수 통제 사항을 공유하세요. 평가를 결정하기 전에 제공 가능한 사항과 부족한 부분을 확인합니다.
팀 도입
팀의 접근 요구, 예상 사용량, 지원, 상업적 조건을 합의합니다. 스튜디오와의 협업 범위에서 논의합니다.
증거 확인
Ziva가 3D 엔진 안에서 이미 하는 일
Isaac Sim 지원은 팀과 범위를 협의합니다. 현재 작업을 볼 수 있는 엔진을 기준으로 평가하세요.
Godot용 Ziva
정식 제품: 에디터 안에서 씬 트리를 읽고 노드를 수정하며 코드를 작성하고 실행 중인 게임을 디버깅하는 에이전트.
더 읽기Unity용 Ziva
두 번째 엔진인 Unity 베타. 씬 계층, 프리팹, C#, Console, Test Framework를 모두 에디터 안에서 사용합니다.
더 읽기빌드 전체를 플레이하고 고장 난 부분을 보고하는 에이전트
기반이 되는 검증 흐름입니다. 빌드를 실행하고 실제 입력을 보내며 측정 근거와 함께 성공 또는 실패를 보고합니다.
더 읽기실제 게임으로 Unity에서 Claude Code를 벤치마크했습니다
네 모델, 하나의 빌드를 도구 호출, 소요 시간, 비용, 평가 기준으로 측정했습니다. 제공 전에 모델을 평가하는 방식입니다.
더 읽기Isaac Sim용 AI 질문과 답변
NVIDIA Isaac Sim용 AI가 있나요?
일반 AI 어시스턴트가 Isaac Sim에서 어려움을 겪는 이유는 무엇인가요?
AI가 Isaac Lab 강화학습을 도울 수 있나요?
에이전트가 합성 학습 데이터를 생성할 수 있나요?
시뮬레이션 코드와 로봇 데이터가 네트워크 밖으로 나가나요?
어떤 Isaac Sim 버전을 지원하나요?
Isaac Sim용 Ziva는 어떻게 이용하나요?
Isaac Sim 팀에 Ziva를 도입하세요
Isaac Sim 버전, 팀 규모, 소스 관리, 에이전트가 실행될 수 있는 위치를 알려주세요. 이에 맞춘 계획을 제안합니다.
Isaac Sim 문의하기