# NVIDIA IsaacLab Arena & LeRobot

  **비추천됨.** 이 페이지는 Python 3.11을 요구하는 LeRobot 0.4와 Isaac Sim 5.1을 대상으로 작성되었습니다. LeRobot은 0.5 버전부터 Python 3.12 이상을 요구합니다. 또한, 시뮬레이션 로봇으로 서빙되고 구동될 수 있는 [EnvHub](./envhub) 환경보다 이전 버전입니다. 업데이트된 버전이 진행 중입니다.

LeRobot EnvHub는 이제 IsaacLab Arena를 통해 대규모 정책 평가를 위한 **GPU 가속 시뮬레이션**을 지원합니다. 고해상도 시뮬레이션으로 imitation learning 정책을 학습하고 평가하세요 — 모두 LeRobot 생태계에 통합되어 있습니다.

<img
  src="https://huggingface.co/nvidia/isaaclab-arena-envs/resolve/main/assets/Gr1OpenMicrowaveEnvironment.png"
  alt="IsaacLab Arena - GR1 Microwave Environment"
  style={{ maxWidth: "100%", borderRadius: "8px", marginBottom: "1rem" }}
/>

[IsaacLab Arena](https://github.com/isaac-sim/IsaacLab-Arena)는 NVIDIA IsaacLab과 통합되어 다음을 제공합니다:

- 🤖 **휴머노이드 embodiments**: 다양한 구성의 GR1, G1, Galileo
- 🎯 **조작 및 이동-조작 작업**: 문 열기, 집어 놓기, 버튼 누르기 등
- ⚡ **GPU 가속 롤아웃**: NVIDIA GPU에서 병렬 환경 실행
- 🖼️ **RTX 렌더링**: 리얼리스틱 렌더링, 반사 및 굴절을 활용해 비전 기반 정책을 평가합니다
- 📦 **LeRobot 호환 데이터셋**: GR00T N1x, PI0, SmolVLA, ACT, Diffusion 정책을 위한 학습 준비 완료
- 🔄 **EnvHub 통합**: 한 줄로 HuggingFace EnvHub에서 환경을 로드

## 설치

### 필수 조건

하드웨어 요구 사항은 Isaac Sim과 동일하며, [Isaac Sim Requirements](https://docs.isaacsim.omniverse.nvidia.com/5.1.0/installation/requirements.html)에 자세히 설명되어 있습니다.

- CUDA를 지원하는 NVIDIA GPU
- IsaacSim 5.1.0과 호환되는 NVIDIA 드라이버
- Linux (Ubuntu 22.04 / 24.04)

### 설정

```bash
# 1. Create conda environment
conda create -y -n lerobot-arena python=3.11
conda activate lerobot-arena
conda install -y -c conda-forge ffmpeg=7.1.1

# 2. Install Isaac Sim 5.1.0
pip install "isaacsim[all,extscache]==5.1.0" --extra-index-url https://pypi.nvidia.com

# Accept NVIDIA EULA (required)
export ACCEPT_EULA=Y
export PRIVACY_CONSENT=Y

# 3. Install IsaacLab 2.3.0
git clone https://github.com/isaac-sim/IsaacLab.git
cd IsaacLab
git checkout v2.3.0
./isaaclab.sh -i
cd ..

# 4. Install IsaacLab Arena
git clone https://github.com/isaac-sim/IsaacLab-Arena.git
cd IsaacLab-Arena
git checkout release/0.1.1
pip install -e .
cd ..

# 5. Install LeRobot (evaluation extra for env/policy evaluation)
git clone https://github.com/huggingface/lerobot.git
cd lerobot
pip install -e ".[evaluation]"

# 6. Install additional dependencies
pip install onnxruntime==1.23.2 lightwheel-sdk==1.0.1 vuer[all]==0.0.70 qpsolvers==4.8.1
pip install numpy==1.26.0 # Isaac Sim 5.1 depends on numpy==1.26.0, this will be fixed in next release
```

## 정책 평가

### 사전 학습된 정책

다음과 같이 학습된 정책이 사용할 수 있습니다:

| 정책                      | 아키텍처 | 작업          | 링크                                                                     |
| :-------------------------- | :----------- | :------------ | :----------------------------------------------------------------------- |
| pi05-arena-gr1-microwave    | PI0.5        | GR1 마이크로웨이브 | [HuggingFace](https://huggingface.co/nvidia/pi05-arena-gr1-microwave)    |
| smolvla-arena-gr1-microwave | SmolVLA      | GR1 마이크로웨이브 | [HuggingFace](https://huggingface.co/nvidia/smolvla-arena-gr1-microwave) |

### SmolVLA 평가

```bash
pip install -e ".[smolvla]"
pip install numpy==1.26.0 # revert numpy to version 1.26
```

```bash
lerobot-eval \
    --policy.path=nvidia/smolvla-arena-gr1-microwave \
    --env.type=isaaclab_arena \
    --env.hub_path=nvidia/isaaclab-arena-envs \
    --rename_map='{"observation.images.robot_pov_cam_rgb": "observation.images.robot_pov_cam"}' \
    --policy.device=cuda \
    --env.environment=gr1_microwave \
    --env.embodiment=gr1_pink \
    --env.object=mustard_bottle \
    --env.headless=false \
    --env.enable_cameras=true \
    --env.video=true \
    --env.video_length=10 \
    --env.video_interval=15 \
    --env.state_keys=robot_joint_pos \
    --env.camera_keys=robot_pov_cam_rgb \
    --trust_remote_code=True \
    --eval.batch_size=1
```

### PI0.5 평가

```bash
pip install -e ".[pi]"
pip install numpy==1.26.0 # revert numpy to version 1.26
```

PI0.5는 평가 시 torch compile을 비활성화해야 합니다:

```bash
TORCH_COMPILE_DISABLE=1 TORCHINDUCTOR_DISABLE=1 lerobot-eval \
    --policy.path=nvidia/pi05-arena-gr1-microwave \
    --env.type=isaaclab_arena \
    --env.hub_path=nvidia/isaaclab-arena-envs \
    --rename_map='{"observation.images.robot_pov_cam_rgb": "observation.images.robot_pov_cam"}' \
    --policy.device=cuda \
    --env.environment=gr1_microwave \
    --env.embodiment=gr1_pink \
    --env.object=mustard_bottle \
    --env.headless=false \
    --env.enable_cameras=true \
    --env.video=true \
    --env.video_length=15 \
    --env.video_interval=15 \
    --env.state_keys=robot_joint_pos \
    --env.camera_keys=robot_pov_cam_rgb \
    --trust_remote_code=True \
    --eval.batch_size=1
```

  병렬 환경의 수를 변경하려면 ```--eval.batch_size``` 플래그를 사용하세요.

### 기대할 수 있는 것

평가 중에는 현재 성공률을 보여주는 진행 바가 표시됩니다:

```
Stepping through eval batches:   8%|██████▍    | 4/50 [00:45<08:06, 10.58s/it, running_success_rate=25.0%]
```

### Video Recording

평가 중 비디오 녹화를 활성화하려면 다음 플래그를 명령에 추가하세요:

```bash
--env.video=true \
--env.video_length=15 \
--env.video_interval=15
```

비디오 녹화에 대한 자세한 내용은 [IsaacLab Recording Documentation](https://isaac-sim.github.io/IsaacLab/main/source/how-to/record_video.html)을 참조하세요.

`--env.headless=true`로 헤드리스 모드로 실행하는 경우, 카메라가 활성화된 환경에서는 카메라를 명시적으로 활성화해야 합니다:

```bash
--env.headless=true --env.enable_cameras=true
```

### 출력 디렉터리

평가 비디오는 다음 구조로 출력 디렉터리에 저장됩니다:

```
outputs/eval/<date>/<timestamp>_<env>_<policy>/videos/<task>_<env_id>/eval_episode_<n>.mp4
```

예를 들어:

```
outputs/eval/2026-01-02/14-38-01_isaaclab_arena_smolvla/videos/gr1_microwave_0/eval_episode_0.mp4
```

## 학습 정책

LeRobot로 학습 정책을 학습하는 방법에 대해 자세히 알아보려면 학습 문서를 참고하세요:

- [SmolVLA](./smolvla)
- [Pi0.5](./pi05)
- [GR00T N1.7](./groot)

실험을 위해 HuggingFace Hub에서 IsaacLab Arena 샘플 데이터셋을 사용할 수 있습니다:

| 데이터셋                                                                                                   | 설명                | 프레임 |
| :-------------------------------------------------------------------------------------------------------- | :------------------------- | :----- |
| [Arena-GR1-Manipulation-Task](https://huggingface.co/datasets/nvidia/Arena-GR1-Manipulation-Task-v3)      | GR1 마이크로파 조작 | ~4K    |
| [Arena-G1-Loco-Manipulation-Task](https://huggingface.co/datasets/nvidia/Arena-G1-Loco-Manipulation-Task) | G1 로코-조작       | ~4K    |

## 환경 구성

### 전체 구성 옵션

```python
from lerobot.envs.configs import IsaaclabArenaEnvConfig

config = IsaaclabArenaEnvConfig(
    # Environment selection
    environment="gr1_microwave",      # Task environment
    embodiment="gr1_pink",            # Robot embodiment
    object="power_drill",             # Object to manipulate

    # Simulation settings
    episode_length=300,               # Max steps per episode
    headless=True,                    # Run without GUI
    device="cuda:0",                  # GPU device
    seed=42,                          # Random seed

    # Observation configuration
    state_keys="robot_joint_pos",     # State observation keys (comma-separated)
    camera_keys="robot_pov_cam_rgb",  # Camera observation keys (comma-separated)
    state_dim=54,                     # Expected state dimension
    action_dim=36,                    # Expected action dimension
    camera_height=512,                # Camera image height
    camera_width=512,                 # Camera image width
    enable_cameras=True,              # Enable camera observations

    # Video recording
    video=False,                      # Enable video recording
    video_length=100,                 # Frames per video
    video_interval=200,               # Steps between recordings

    # Advanced
    mimic=False,                      # Enable mimic mode
    teleop_device=None,               # Teleoperation device
    disable_fabric=False,             # Disable fabric optimization
    enable_pinocchio=True,            # Enable Pinocchio for IK
)
```

### 고급 사용에 Environment Hub를 직접 사용

`test_env_load_arena.py`라는 이름의 파일을 만들거나 [EnvHub에서 다운로드](https://huggingface.co/nvidia/isaaclab-arena-envs/blob/main/tests/test_env_load_arena.py)합니다:

```python
import logging
from dataclasses import asdict
from pprint import pformat
import torch
import tqdm
from lerobot.configs import parser
from lerobot.configs.eval import EvalPipelineConfig

@parser.wrap()
def main(cfg: EvalPipelineConfig):
    """Run random action rollout for IsaacLab Arena environment."""
    logging.info(pformat(asdict(cfg)))

    from lerobot.envs import make_env

    env_dict = make_env(
        cfg.env,
        n_envs=cfg.env.num_envs,
        trust_remote_code=True,
    )
    env = next(iter(env_dict.values()))[0]
    env.reset()
    for _ in tqdm.tqdm(range(cfg.env.episode_length)):
        with torch.inference_mode():
            actions = env.action_space.sample()
            obs, rewards, terminated, truncated, info = env.step(actions)
            if terminated.any() or truncated.any():
                obs, info = env.reset()
    env.close()

if __name__ == "__main__":
    main()
```

다음 명령으로 실행합니다:

```bash
python test_env_load_arena.py \
    --env.environment=g1_locomanip_pnp \
    --env.embodiment=gr1_pink \
    --env.object=cracker_box \
    --env.num_envs=4 \
    --env.enable_cameras=true \
    --env.seed=1000 \
    --env.video=true \
    --env.video_length=10 \
    --env.video_interval=15 \
    --env.headless=false \
    --env.hub_path=nvidia/isaaclab-arena-envs \
    --env.type=isaaclab_arena
```

## 새 환경 만들기

[IsaacLab Arena Documentation](https://isaac-sim.github.io/IsaacLab-Arena/release/0.1.1/index.html)를 참고하여 새로운 IsaacLab Arena 환경을 먼저 생성하세요.

EnvHub 저장소를 클론합니다:

```bash
git clone https://huggingface.co/nvidia/isaaclab-arena-envs
```

새 환경에 맞게 `example_envs.yaml` 파일을 수정하세요. [수정된](./envhub#publish) 저장소를 HuggingFace EnvHub에 업로드하세요.

  평가 시 IsaacLab Arena 환경 코드가 로컬에서 사용 가능해야 합니다. 사용자는 환경 저장소를 별도로 클론할 수 있으며, EnvHub 저장소에 환경 코드와 에셋을 직접 번들링하는 것도 가능합니다.

그 후, 평가할 때 새로운 환경을 사용하세요:

```bash
lerobot-eval \
    --env.hub_path=<your-env-hub-path>/isaaclab-arena-envs \
    --env.environment=<your new environment> \
    ...other flags...
```

귀하의 기여를 기대하고 있습니다!

## 문제 해결

### CUDA 메모리 부족

`batch_size`를 줄이거나 VRAM이 더 많은 GPU를 사용하세요:

```bash
--eval.batch_size=1
```

### EULA 미수락

실행 전에 환경 변수를 설정하세요:

```bash
export ACCEPT_EULA=Y
export PRIVACY_CONSENT=Y
```

### Video recording not working

headless로 실행할 때 카메라 활성화:

```bash
--env.video=true --env.enable_cameras=true --env.headless=true
```

### Policy 출력 차원 불일치

`action_dim`이 정책과 일치하는지 확인하세요:

```bash
--env.action_dim=36
```

### Isaac Sim 초기화 중 발생하는 libGLU.so.1 오류

…

```bash
sudo apt update && sudo apt install -y libglu1-mesa libxt6
```

## 참고

- [EnvHub 문서](./envhub) - EnvHub 일반 사용
- [IsaacLab Arena GitHub](https://github.com/isaac-sim/IsaacLab-Arena)
- [IsaacLab 문서](https://isaac-sim.github.io/IsaacLab/)

## Lightwheel LW-BenchHub

[Lightwheel](https://www.lightwheel.ai)은 `Lightwheel-Libero-Tasks`와 `Lightwheel-RoboCasa-Tasks`의 268개 작업을 LeRobot 생태계에 도입합니다. LW-BenchHub는 원격 조작을 통해 LeRobot 사양에 부합하는 대규모 데이터셋을 수집 및 생성하여, 즉시 사용 가능한 학습 및 평가 워크플로를 지원합니다. EnvHub가 제공하는 통합 인터페이스를 통해 개발자는 끝에서 끝까지 실험 파이프라인을 빠르게 구축할 수 있습니다.

### 설치

[설치](#installation) 단계를 따랐다면, LW-BenchHub를 다음과 같이 설치할 수 있습니다:

```bash
conda install pinocchio -c conda-forge -y
pip install numpy==1.26.0 # revert numpy to version 1.26

sudo apt-get install git-lfs && git lfs install

git clone https://github.com/LightwheelAI/lw_benchhub
cd lw_benchhub
git lfs pull # Ensure LFS files (e.g., .usd assets) are downloaded

pip install -e .
```

보다 자세한 지침은 [LW-BenchHub 문서](https://docs.lightwheel.net/lw_benchhub/usage/Installation)를 참고하십시오.

### Lightwheel Tasks Dataset

LW-BenchHub 데이터셋은 HuggingFace Hub에서 사용할 수 있습니다:

| 데이터셋                                                                                                       | 설명             | 작업 | 프레임 |
| :------------------------------------------------------------------------------------------------------------ | :---------------------- | :---- | :----- |
| [Lightwheel-Tasks-X7S](https://huggingface.co/datasets/LightwheelAI/Lightwheel-Tasks-X7S)                     | X7S LIBERO 및 RoboCasa | 117   | ~10.3M |
| [Lightwheel-Tasks-Double-Piper](https://huggingface.co/datasets/LightwheelAI/Lightwheel-Tasks-Double-Piper)   | Double-Piper LIBERO     | 130   | ~6.0M  |
| [Lightwheel-Tasks-G1-Controller](https://huggingface.co/datasets/LightwheelAI/Lightwheel-Tasks-G1-Controller) | G1-Controller LIBERO    | 62    | ~2.7M  |
| [Lightwheel-Tasks-G1-WBC](https://huggingface.co/datasets/LightwheelAI/Lightwheel-Tasks-G1-WBC)               | G1-WBC RoboCasa         | 32    | ~1.5M  |

정책 학습에 대해서는 [정책 학습](#training-policies) 섹션을 참조하세요.

### 정책 평가

#### 사전 학습된 정책

다음과 같이 학습된 정책이 사용할 수 있습니다:

| 정책                   | 아키텍처 | 작업                           | 레이아웃     | 로봇           | 링크                                                                                  |
| :----------------------- | :----------- | :----------------------------- | :--------- | :-------------- | :------------------------------------------------------------------------------------ |
| smolvla-double-piper-pnp | SmolVLA      | L90K1PutTheBlackBowlOnThePlate | libero-1-1 | DoublePiper-Abs | [HuggingFace](https://huggingface.co/LightwheelAI/smolvla-double-piper-pnp/tree/main) |

#### SmolVLA 평가

```bash
lerobot-eval \
  --policy.path=LightwheelAI/smolvla-double-piper-pnp \
  --env.type=isaaclab_arena \
  --rename_map='{"observation.images.left_hand_camera_rgb": "observation.images.left_hand", "observation.images.right_hand_camera_rgb": "observation.images.right_hand", "observation.images.first_person_camera_rgb": "observation.images.first_person"}' \
  --env.hub_path=LightwheelAI/lw_benchhub_env \
  --env.kwargs='{"config_path": "configs/envhub/example.yml"}' \
  --trust_remote_code=true \
  --env.state_keys=joint_pos \
  --env.action_dim=12 \
  --env.camera_keys=left_hand_camera_rgb,right_hand_camera_rgb,first_person_camera_rgb \
  --policy.device=cuda \
  --eval.batch_size=10 \
  --eval.n_episodes=100
```

### 환경 구성

`robot`, `task`, `layout` 설정을 구성 파일에서 수정하면 평가를 빠르게 시작할 수 있습니다.

#### 전체 구성 옵션

```yml
# =========================
# Basic Settings
# =========================
disable_fabric: false
device: cuda:0
sensitivity: 1.0
step_hz: 50
enable_cameras: true
execute_mode: eval
episode_length_s: 20.0 # Episode length in seconds, increase if episodes timeout during eval

# =========================
# Robot Settings
# =========================
robot: DoublePiper-Abs # Robot type, DoublePiper-Abs, X7S-Abs, G1-Controller or G1-Controller-DecoupledWBC
robot_scale: 1.0

# =========================
# Task & Scene Settings
# =========================
task: L90K1PutTheBlackBowlOnThePlate # Task name
scene_backend: robocasa
task_backend: robocasa
debug_assets: null
layout: libero-1-1 # Layout and style ID
sources:
  - objaverse
  - lightwheel
  - aigen_objs
object_projects: []
usd_simplify: false
seed: 42

# =========================
# Object Placement Retry Settings
# =========================
max_scene_retry: 4
max_object_placement_retry: 3

resample_objects_placement_on_reset: true
resample_robot_placement_on_reset: true

# =========================
# Replay Configuration Settings
# =========================
replay_cfgs:
  add_camera_to_observation: true
  render_resolution: [640, 480]
```

### 참고

- [LW-BenchHub GitHub](https://github.com/LightwheelAI/LW-BenchHub)
- [LW-BenchHub 문서](https://docs.lightwheel.net/lw_benchhub/)

