# RoboTwin 2.0

  The commands below run the simulator locally. To keep its dependencies away from your policy's, serve it instead with `lerobot-env-server --config_path=docker/sim/configs/robotwin.yaml --sim.task= --docker=true`, where `` is the command's `--env.task`, and add `--env.server.endpoint=tcp/127.0.0.1:7448` to the command. A server runs the task it was started with (see [Simulation: local or served](./simulation)).

RoboTwin 2.0 adalah **benchmark manipulasi lengan ganda berskala besar** yang dibangun di atas mesin fisika SAPIEN. Benchmark ini menyediakan protokol evaluasi yang terstandarisasi untuk kebijakan robotik bimanual di 50 tugas (per `main` upstream) dengan randomisasi domain yang kuat (kerumitan, pencahayaan, latar belakang, tinggi meja, dan instruksi bahasa).

- Makalah: [RoboTwin 2.0: Generator Data yang Dapat Diskalakan dan Benchmark dengan Randomisasi Domain yang Kuat untuk Manipulasi Robot Bimanual yang Robust](https://arxiv.org/abs/2506.18088)
- GitHub: [RoboTwin-Platform/RoboTwin](https://github.com/RoboTwin-Platform/RoboTwin)
- Papan peringkat: [robotwin-platform.github.io/leaderboard](https://robotwin-platform.github.io/leaderboard)
- Dataset: [lerobot/robotwin_unified](https://huggingface.co/datasets/lerobot/robotwin_unified)

![RoboTwin 2.0 benchmark overview](https://www.aitntnews.com/pictures/2025/7/8/9a7f79cb-5ba9-11f0-8581-fa163e47d677.png)

## Ikhtisar

| Properti      | Nilai                                                    |
| ------------- | -------------------------------------------------------- |
| Tugas         | 50 tugas manipulasi lengan ganda                           |
| Robot         | Aloha-AgileX bimanual (14 DOF, 7 per lengan)                |
| Ruang aksi  | ruang gabungan 14-dim, kontinu di `[-1, 1]`              |
| Kamera       | `head_camera`, `left_camera`, `right_camera`             |
| Simulator     | SAPIEN (bukan MuJoCo)                                      |
| Protokol evaluasi | 100 episode/tugas, 50 demonstrasi demo_clean          |
| Pengaturan evaluasi | **Mudah** (`demo_clean`) dan **Sulit** (`demo_randomized`) |

## Tugas yang tersedia

RoboTwin 2.0 menyediakan 50 tugas manipulasi lengan ganda di direktori `envs/` upstream-nya. Daftar kanoniknya adalah tuple `ROBOTWIN_TASKS` di `src/lerobot/sim/integrations/robotwin.py`, yang disalin persis dari repo upstream. Contoh tugas:

| Tugas                     | Nama CLI                 | Kategori          |
| ------------------------ | ------------------------ | ----------------- |
| Kalahkan blok dengan palu   | `beat_block_hammer`      | Penggunaan alat          |
| Klik lonceng / jam alarm | `click_bell`             | Tekanan presisi   |
| Tumpuk blok (2 / 3)     | `stack_blocks_two/three` | Stacking          |
| Tumpuk mangkuk (2 / 3)      | `stack_bowls_two/three`  | Stacking          |
| Blok serah terima / mikrofon     | `handover_block`         | Koordinat bimanual   |
| Angkat pot                 | `lift_pot`               | Angkat dua tangan     |
| Goyangkan botol             | `shake_bottle`           | Gerakan kontinu |
| Putar saklar              | `turn_switch`            | Objek artikulasi   |
| Segel stempel               | `stamp_seal`             | Tempat presisi   |
| Pindai objek              | `scan_object`            | Manipulasi seluler.     |

Lewatkan daftar yang dipisahkan koma ke `--env.task` untuk menjalankan beberapa tugas dalam satu eval sweep.

  `open_laptop` saat ini rusak di upstream (metode `check_success()`-nya menggunakan `self.arm_tag`, yang hanya diset di jalur scripted-expert `play_once()` dan karenanya tidak tersedia selama evaluasi kebijakan normal). Hindari menggunakannya sampai bug upstream diperbaiki, atau patch task untuk membuat `self.arm_tag = "left"` menjadi default di `load_actors()`.

## Dataset

Dataset RoboTwin 2.0 tersedia dalam **format LeRobot v3.0** di Hugging Face Hub:

```
lerobot/robotwin_unified
```

Isi di dalamnya mencakup lebih dari 100.000 trajektori yang telah dikumpulkan sebelumnya di seluruh 50 tugas (79,6 GB, lisensi Apache 2.0). Tidak diperlukan konversi format — data ini sudah berada dalam skema LeRobot v3.0 yang benar dengan observasi video dan label aksi.

Anda dapat memuatnya langsung dengan pustaka HF Datasets:

```python
from datasets import load_dataset

ds = load_dataset("lerobot/robotwin_unified", split="train")
```

## Instalasi

RoboTwin 2.0 membutuhkan **Linux** dengan GPU NVIDIA (SAPIEN merender dengan Vulkan). Planner-nya, CuRobo dan pytorch3d, mengompilasi kode CUDA terhadap torch 2.7.1, yang tidak cocok dengan torch milik LeRobot, sehingga RoboTwin berjalan di lingkungan tersendiri di belakang `lerobot-env-server` dan sisi kebijakan hanya membutuhkan LeRobot.

### Gambar yang disajikan (disarankan)

```bash
lerobot-env-server --config_path=docker/sim/configs/robotwin.yaml --sim.task=beat_block_hammer --docker=true
```

Eksekusi pertama membangun tahap `robotwin_native` dari `docker/Dockerfile.sim` (sekitar 20 menit, sebagian besar untuk pytorch3d dan CuRobo). Pada mesin kecil, bangun citra terlebih dahulu dengan memori terbatas; server kemudian akan memakainya kembali:

```bash
docker build -f docker/Dockerfile.sim --build-arg SIM=robotwin \
  --build-arg MAX_JOBS=1 --build-arg CUROBO_CUDA_ARCHS=8.6 -t lerobot-sim-robotwin:local .
```

di mana `8.6` adalah kemampuan komputasi GPU Anda. Tambahkan `--env.server.endpoint=tcp/127.0.0.1:7448` ke perintah evaluasi di bawah ini.

### Lingkungan native

Untuk menjalankan server tanpa Docker, replikasi tahap `robotwin_native` dari `docker/Dockerfile.sim` dalam lingkungan virtual terpisah, yang merupakan resep yang diuji: CUDA 12.8 `nvcc`, torch 2.7.1, commit dan aset RoboTwin yang dipin, CuRobo v0.7.8, serta patch mplib dan SAPIEN dari RoboTwin. Kemudian instal LeRobot dengan `--no-deps` ditambah `docker/sim/requirements.txt`, dan buang `--docker=true` dari perintah di atas (lihat [Simulasi: lokal atau disajikan](./simulation)).

## Evaluasi

### Evaluasi standar (disarankan)

Evaluasi kebijakan pada satu tugas dengan protokol resmi (100 episode):

```bash
lerobot-eval \
  --policy.path="your-hf-policy-id" \
  --env.type=robotwin \
  --env.task=beat_block_hammer \
  --eval.batch_size=1 \
  --eval.n_episodes=100
```

### Periksa cepat tugas tunggal

```bash
lerobot-eval \
  --policy.path="your-hf-policy-id" \
  --env.type=robotwin \
  --env.task=beat_block_hammer \
  --eval.batch_size=1 \
  --eval.n_episodes=5
```

### Sweep multi-tugas

Evaluasi pada beberapa tugas dalam satu eksekusi:

```bash
lerobot-eval \
  --policy.path="your-hf-policy-id" \
  --env.type=robotwin \
  --env.task=beat_block_hammer,click_bell,handover_block,stack_blocks_two \
  --eval.batch_size=1 \
  --eval.n_episodes=100
```

### Benchmark lengkap (semua 50 tugas)

```bash
lerobot-eval \
  --policy.path="your-hf-policy-id" \
  --env.type=robotwin \
  --env.task=adjust_bottle,beat_block_hammer,blocks_ranking_rgb,blocks_ranking_size,click_alarmclock,click_bell,dump_bin_bigbin,grab_roller,handover_block,handover_mic,hanging_mug,lift_pot,move_can_pot,move_pillbottle_pad,move_playingcard_away,move_stapler_pad,open_microwave,pick_diverse_bottles,pick_dual_bottles,place_a2b_left,place_a2b_right,place_bread_basket,place_bread_skillet,place_burger_fries,place_can_basket,place_cans_plasticbox,place_container_plate,place_dual_shoes,place_empty_cup,place_fan,place_mouse_pad,place_object_basket,place_object_scale,place_object_stand,place_phone_stand,place_shoe,press_stapler,put_bottles_dustbin,put_object_cabinet,rotate_qrcode,scan_object,shake_bottle,shake_bottle_horizontally,stack_blocks_three,stack_blocks_two,stack_bowls_three,stack_bowls_two,stamp_seal,turn_switch \
  --eval.batch_size=1 \
  --eval.n_episodes=100
```

  `open_laptop` sengaja dikecualikan di atas karena bug `self.arm_tag` di upstream (lihat bagian **Tugas yang tersedia**). Tambahkan kembali setelah perbaikan upstream diterapkan.

## Konfigurasi kamera

Secara default, ketiga kamera disertakan:

| Kunci kamera     | Deskripsi                    |
| -------------- | ------------------------------ |
| `head_camera`  | Tampilan dari atas yang dipasang di bagian tubuh    |
| `left_camera`  | Kamera yang dipasang di pergelangan tangan kiri  |
| `right_camera` | Kamera yang dipasang di pergelangan tangan kanan |

Untuk menggunakan subset kamera, timpa `--env.camera_names`:

```bash
lerobot-eval \
  --policy.path="your-hf-policy-id" \
  --env.type=robotwin \
  --env.task=beat_block_hammer \
  --env.camera_names="head_camera,left_camera" \
  --eval.batch_size=1 \
  --eval.n_episodes=10
```

## Referensi konfigurasi lingkungan

Parameter utama untuk `RoboTwinEnvConfig`:

| Parameter            | Default                                  | Deskripsi                        |
| -------------------- | ---------------------------------------- | ---------------------------------- |
| `task`               | `"beat_block_hammer"`                    | Nama tugas yang dipisahkan koma       |
| `fps`                | `25`                                     | FPS Simulasi                     |
| `episode_length`     | `1200`                                   | Langkah maksimum per episode              |
| `obs_type`           | `"pixels_agent_pos"`                     | `"pixels"` atau `"pixels_agent_pos"` |
| `camera_names`       | `"head_camera,left_camera,right_camera"` | Kamera aktif yang dipisahkan koma     |
| `observation_height` | `240`                                    | Tinggi piksel kamera                |
| `observation_width`  | `320`                                    | Lebar piksel kamera                 |

## Pengajuan papan peringkat

Hasil dapat dikirim ke [papan peringkat RoboTwin 2.0](https://robotwin-platform.github.io/leaderboard). Protokol resmi mengharuskan:

- Pelatihan pada 50 `demo_clean` demonstrasi per tugas
- Mengevaluasi 100 episode per tugas
- Laporkan tingkat keberhasilan secara terpisah untuk pengaturan **Easy** (`demo_clean`) dan **Hard** (`demo_randomized`)

Untuk instruksi pengajuan, silakan merujuk ke [dokumentasi RoboTwin 2.0](https://robotwin-platform.github.io/doc/).

