LeRobot documentation

Praxis-1

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.7.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Praxis-1

praxis adalah adapter LeRobot untuk Praxis-1, World Action Model ber- bobot terbuka dari Runway untuk robot. Praxis-1 adalah model video-aksi: tulang punggung video difusi kausal-chunk (transformer mixture-of-experts dengan 27B parameter, sekitar 3B aktif per token) melakukan denoising pada 1,6 detik video berikutnya dari dua kamera rig, sementara ahli aksi, yang membaca keadaan tersembunyi tulang punggung, melakukan denoising pada 24 perintah Cartesian yang sesuai pada 15 Hz. Autoencoder video Wan2.2 dan encoder teks Qwen3.5-2B dibekukan dan berasal dari bobot publik mereka. Checkpoint yang dirilis, praxis-1-droid, menggerakkan rig DROID lengan tunggal: lengan Franka dengan kamera eksterior dan kamera pergelangan tangan. Checkpoint DROID sebelumnya yang belum dirilis memiliki arsitektur yang sama dengan bobot lain dan kanvas kamera lain; config.json checkpoint tersebut membedakan keduanya (lihat “The checkpoints”). praxis-1-yam, checkpoint bimanual untuk dua lengan YAM, dibagikan dengan tata letak yang sama (lihat “The bimanual YAM checkpoint”). praxis-1-base, tulang punggung video dan batang ahli aksi tanpa kepala dari sebuah rig, adalah awal dari fine-tune untuk rig lengan tunggal baru (lihat “Fine-tune the base checkpoint”).

Sumber daya:

Sumber dayaTautanDigunakan untuk
Pengumumanrunway.com/news/praxis-1-is-now-availableIkhtisar metode
BobotKoleksi Praxis-1runwayml/praxis-1-droid-lerobot dan checkpoint konversi lainnya
Koderunwayml/praxis-1-ossInferensi asli, simulasi, dan pelatihan
Simulatorpraxis-sim di PyPIRig MuJoCo dan suite evaluasinya
Wan2.2 VAEWan-AI/Wan2.2-TI2V-5BWan2.2_VAE.pth (beku)
Text encoderQwen/Qwen3.5-2BFrozen

Kode model berada di dalam pohon kode di lerobot/policies/praxis/praxis_core (di-vendorkan dari repositori praxis pada commit 8dad1a4 plus aturan canvas dari praxis-1-droid, jalur impor ditulis ulang; header file menyebutkan commit upstream). Simulasi MuJoCo adalah paket praxis-sim di PyPI (dikembangkan di packages/praxis-sim repositori praxis, tanpa torch); LeRobot tidak memiliki lingkungan untuknya.

Instalasi

pip install -e ".[praxis,dataset]"   # the policy; `lerobot-eval` and `lerobot-train` also need `dataset`

Checkpoint yang dikonversi tersedia di Hub: --policy.path=runwayml/praxis-1-droid-lerobot memuat checkpoint single-arm yang dirilis (54 GB, diunduh sekali). runwayml/praxis-1-yam-lerobot adalah checkpoint bimanual. runwayml/praxis-1-base-lerobot adalah base, yang memerlukan init_heads.py terlebih dahulu.

Kebijakan berjalan pada versi yang dikunci oleh LeRobot 0.7 (0.7.1 pada saat penulisan: torch 2.15.0 dengan CUDA 13.2, transformers 5.22.2, triton 3.9). Hasil di bawah ini diukur pada tumpukan tersebut (dengan transformers 5.22.1 dan 5.22.2, yang memberikan perintah yang sama) dan pada LeRobot 0.6 (torch 2.11.0 dengan CUDA 12.8, transformers 5.5.4); perintahnya setara secara bit demi bit dengan yang ada di repositori praxis untuk masing-masing.

Kernel opsional dari setup validasi checkpoint. flash-attn-4 menyediakan backend perhatian flash dari konfigurasi checkpoint (perhatian fleksibel dengan kernel FlashAttention-4 CuTe); tanpanya, kebijakan menggunakan kernel Triton dari perhatian fleksibel. flash-linear-attention dan causal-conv1d adalah kernel cepat untuk lapisan perhatian linear Qwen3.5; tanpanya transformers menjalankan implementasi PyTorch-nya. Ketiganya mengubah bit terakhir dari output, bukan modelnya:

pip install "flash-attn-4[cu13]==4.0.0b36"        # the CUDA 13 build for torch 2.15; "flash-attn-4==4.0.0b36" on a CUDA 12 torch
pip install "flash-linear-attention==0.6.0"       # 0.5.0 does not run on triton 3.9
CAUSAL_CONV1D_FORCE_BUILD=TRUE MAX_JOBS=16 pip install --no-build-isolation "causal-conv1d==1.6.1"   # compiles against torch; the praxis repository's setup

Inference membutuhkan satu GPU dengan memori 80 GB (beratnya adalah 54 GB dalam bfloat16).

Pada GPU Blackwell datacenter (B200 dan GB200 adalah SM100, B300 dan GB300 adalah SM103; Jetson Thor, SM110, memiliki FlashAttention-4 forward yang sama):

  • B300 dan GB300 memerlukan build torch untuk CUDA 12.9 atau lebih baru, seperti torch 2.15.0+cu132 yang dikunci oleh LeRobot 0.7. Para ahli MoE memanggil torch._grouped_mm, dan build torch 2.11.0+cu128 (LeRobot 0.6) tidak memiliki kernel SM103 untuknya: pemanggilan kebijakan pertama gagal dengan RuntimeError: cutlass cannot run, error 7, seperti yang dilakukan oleh pipeline repositori praxis. B200 berjalan di kedua stack.
  • FlashAttention-4 hanya menerima mask block-sparse dalam blok 256 token di sana (mengangkat ValueError: Block sparse tensorsforward have block size 128, which must be a multiple of 256). Dengan backend flash, kebijakan membangun mask backbone dalam blok 256 token pada GPU ini, bukan backbone.attention.flex_block_size checkpoint yang bernilai 128. Ukuran blok hanya mengelompokkan pasangan token: fungsi mask tetap memutuskan setiap pasangan. Repositori praxis menjalankan hal yang sama dengan "flex_block_size": 256 di config.json checkpoint. Backend triton tetap menggunakan 128 dari checkpoint.

Pada GPU RTX Blackwell (kemampuan komputasi 12.x; RTX PRO 6000 Blackwell memiliki 96 GB yang dibutuhkan oleh bobot), FlashAttention-4 tidak memiliki forward block-sparse pada ukuran blok apa pun (dengan blok 128-token dari checkpoint, ini memicu Block sparsity requires sparse_block_size[1]=128 to match tile_n=64), sehingga backend flash tidak dapat berjalan di sana. attention_backend="auto" memilih triton pada GPU ini, juga dengan flash-attn-4 yang terinstal, dan "flash" memicu ValueError saat kebijakan dibangun. Repositori praxis gagal pada pemanggilan pertamanya dengan flash dari checkpoint dan berjalan sama dengan "backend": "triton" di config.json checkpoint. Kedua backend berbeda pada bit terakhir, jadi bandingkan eksekusi pada GPU ini dengan eksekusi triton di tempat lain. Tidak ada yang berubah pada RTX PRO 6000: build torch dari kedua stack di bawah menyertakan kernel SM120 (termasuk torch._grouped_mm dari MoE), dan inferensi dengan pengaturan praxis-1-droid mencapai puncak sekitar 62 GB.

Aturan ini mengikuti pemeriksaan bawaan FlashAttention-4. Hasil paritas di bawah diukur pada GB300, B200, dan RTX PRO 6000 Blackwell.

transformers 5.4.0 hingga 5.5.4 (LeRobot 0.6; diperbaiki di 5.6.0, dan LeRobot 0.7 mengunci 5.22) memuat checkpoint Hub Qwen/Qwen3.5-2B dengan semua 320 tensor model bahasa dilaporkan hilang (hal ini mengganti nama model.language_model.* yang tersimpan sebelum pencocokan) dan secara diam-diam menginisialisasinya secara acak. Encoder teks kebijakan mendeteksi hal ini dan memuat tensor di bawah nama yang tersimpan, dengan peringatan di log. Encoder teks yang dibiarkan acak menghasilkan kebijakan yang masih bergerak tetapi jarang berhasil (7 dari 56 episode penjagaan dalam eksekusi pertama kami).

Input dan output

FiturBentukArti
observation.images.exteriorRGBKamera tetap. Ukuran apa pun; preprocessor membuat tile dari checkpoint (224 x 416 dengan aturan fit antialiased untuk praxis-1-droid, 256 x 416 untuk checkpoint DROID sebelumnya). Kunci diatur oleh exterior_image_key.
observation.images.wristRGBKamera pergelangan tangan. Kunci diatur oleh wrist_image_key.
observation.state(7,)[x, y, z, roll, pitch, yaw, gripper]: pose flange Franka dalam kerangka dasar robot (meter, sudut Euler eksterik x-y-z dalam radian, konvensi DROID) dan gripper dalam [0, 1].
taskstrInstruksi, yang diberikan ke pengkode teks apa adanya.
action(7,)Tujuh nilai yang sama: pose absolut dan gripper untuk tick 15 Hz berikutnya.
observation.scene_seed (opsional)(1,)Seed adegan dari episode. Seed sampler dari chunk k adalah seed + seed_stride * scene_seed + k.

Kebijakan ini menyimpan riwayatnya sendiri: ring buffer dari 25 observasi terakhir per lingkungan dari batch (chunk yang dieksekusi plus frame saat ini) memberi umpan pada panggilan berikutnya sebagai konteks, sehingga n_obs_steps tetap 1 dan select_action harus dipanggil pada setiap tick 15 Hz dengan observasi dari tick tersebut. Panggilan pertama dari jendela konteks mengembalikan 21 perintah, setiap panggilan berikutnya 24. Dengan n_action_steps di bawah 24, setiap panggilan adalah cold start tanpa konteks, seperti pada praxis. drop_queued_actions (misalnya instruksi baru di tengah rollout) juga memulai ulang konteks temporal, karena model mengondisikan pada seluruh chunk sebelumnya yang telah dieksekusi. Pemanggil yang mengeksekusi seluruh chunk (predict_action_chunk) menyerahkan frame yang dieksekusi sejak pemanggilan sebelumnya sebagai stack, (B, T, 3, H, W) kamera dengan (B, T, 7) state, yang tertua di awal; chunk berikutnya kemudian adalah milik rollout per-tick. Chunk pertama dari jendela konteks memiliki 21 perintah nyata dan di-pad hingga 24 dengan yang terakhir; frame yang diamati selama baris yang di-pad-nya dibuang, sehingga konteksnya adalah milik pemanggil yang mengeksekusi 21 perintah nyata tersebut. Panggilan chunk dengan satu frame memulai ulang konteks.

Prosesor

Preprocessor menyiapkan input dengan cara yang sama seperti data praxis dan kode serve, yaitu sebagai langkah-langkah yang tersimpan dan dapat diperiksa:

LangkahApakah
PraxisTileViewsProcessorStepSetiap tampilan kamera menjadi ubin kanvasnya sesuai aturan checkpoint (video.antialias). praxis-1-droid: crop tengah ke aspek rasio asli 720 x 1280, satu resize bilinear dengan antialiasing ke 234 x 416 (tidak ada untuk tampilan yang dikirim pada ukuran tersebut), trim tengah ke 224 x 416. Checkpoint DROID sebelumnya: crop tengah ke aspek rasio ubin, satu resize bilinear biasa ke 256 x 416. Level uint8; tampilan yang sudah pada ukuran ubin diteruskan apa adanya.
PraxisPoseProcessorStepPose DROID [x, y, z, roll, pitch, yaw, gripper] menjadi pose praxis8 [x, y, z, qw, qx, qy, qz, gripper] (state, dan aksi dari batch pelatihan).
PraxisTokenizerProcessorStepInstruksi menjadi token ids dan attention mask dari text encoder Qwen3.5-2B (observation.language.tokens, .attention_mask), ditokenisasi sesuai cara text encoder praxis melakukan tokenisasi. Encoder yang dibekukan dan cache embedding-nya tetap berada di policy.
PraxisCommandProcessorStep(postprocessor) Perintah kebijakan, pose kawat praxis [x, y, z, rotation 3 x 3] dan gripper, menjadi 7 nilai DROID, di CPU.

Di antara keduanya, policy melihat tile dan baris pose8, lalu mengeluarkan wire poses, yang persis merupakan apa yang Session praxis konsumsi dan hasilkan. Normalisasi aksi q99, normalisasi proprio mean/std, dan decode aksi relatif tetap berada di dalam sesi: mereka dijangkarkan pada pose di awal setiap chunk yang dieksekusi, yang dilacak oleh sesi selama rollout, dan statistik mereka adalah checkpoint (PraxisConfig.model_config["normalization"]); langkah normalizer bawaan adalah identitas. Policy juga menerima pose 7-nilai mentah, bingkai kamera mentah, dan string task, sehingga dapat dipanggil tanpa pipeline: bingkai pada ukuran tile diambil sebagai tile, ukuran lain melewati aturan canvas dari checkpoint (aturan fit dari praxis-1-droid tidak idempoten, sehingga tile tidak pernah melewatinya dua kali), dan task tanpa token akan ditokenisasi oleh policy. Tile tetap berada di perangkat yang diletakkan oleh pipeline hingga autoencoder membacanya, dan perintah kembali di CPU: tidak ada yang melintasi batas perangkat dua kali.

Checkpoint

CheckpointTilesUkuranSampler yang direkomendasikan (nilai default PraxisConfig untuk praxis-1-droid)
praxis-1-droid (dirilis)224 x 416aturan anti-aliasing pas (video.antialias: true)2 langkah Euler, pergeseran aliran 12,5, panduan teks 4,0 pada video dan tidak ada pada aksi (1,0), 1 chunk konteks
YAM, praxis-1-yam (bimanual, dirilis)256 x 416, tiga ubinAturan kecocokan YAM (video.antialias: true)2 langkah, pergeseran alur 1.0, tanpa panduan teks, 1 potongan konteks (konverter menuliskannya)
Dasar, praxis-1-base (tanpa kepala)diatur oleh init_heads.pydiatur oleh init_heads.pypilihan fine-tune; rig DROID mengambil praxis-1-droid
Checkpoint DROID sebelumnya (belum dirilis)256 x 416resize bilinear polos2 langkah, shift 8.0, tanpa panduan teks, 3 potongan konteks (praxis); hasil di bawah menggunakan shift 1.0, panduan aksi 3.0, dan 1 potongan konteks

Kanvas berasal dari config.json checkpoint (video.tile_height, video.antialias) melalui konverter; pengaturan sampler adalah field PraxisConfig, sehingga eksekusi checkpoint DROID sebelumnya akan meneruskan parameternya sendiri (--policy.t_shift=8.0 --policy.cfg_video_scale=1.0 --policy.max_context_chunks=3).

Konversi checkpoint

Checkpoint praxis adalah direktori yang berisi config.json, 17 shard safetensors, model.safetensors.index.json, dan SHA256SUMS. Konversikan menjadi direktori kebijakan LeRobot:

python examples/praxis/convert_checkpoint.py \
    --checkpoint /path/to/praxis-1-droid --out outputs/praxis-1-droid --link

Rig berasal dari embodiment checkpoint: checkpoint bimanual mendapatkan tiga kunci kamera (--camera-keys untuk mengubah namanya) dan pengaturan serve dari checkpoint-nya. Checkpoint dasar mendapatkan direktori tanpa prosesor yang dilengkapi oleh init_heads.py. runwayml/praxis-1-droid-lerobot dan checkpoint konversi lainnya adalah output dari skrip ini.

--link membuat symlink untuk shard alih-alih menyalin 54 GB. Direktori ini menyimpan config.json LeRobot, shard, indeks, dan SHA256SUMS miliknya sendiri (sha256sum -c lolos di dalamnya) (kebijakan LeRobot membaca dan menulis safetensors ber-shard dalam tata letak transformers; PraxisPolicy.save_pretrained menulis shard 5 GB), serta dua file prosesor. --vae-id dan --text-encoder-id mengatur asal bagian yang dibekukan (id Hub secara default).

Hasil

Angka closed-loop di bawah ini berasal dari rig MuJoCo dari repositori praxis (paket praxis-sim: Franka + Robotiq 2F-85, kamera 512 x 288, 15 Hz) dan suite evaluasinya yang tetap; seed LeRobot dari sebuah episode adalah seed adegannya. Lingkungan yang menjalankan suite melalui lerobot-eval bukan bagian dari LeRobot.

Saat melakukan sampling, kebijakan mengunci pengaturan numerik yang digunakan oleh praxis (tanpa mode benchmark cuDNN, matmul float32 untuk router MoE, TF32 diizinkan di cuDNN) dan memulihkan pengaturan host setelahnya, sehingga --tf32, torch.backends.cudnn.benchmark, dan ukuran batch tidak mengubah output-nya.

Suite droid_guard (7 tugas DROID x 8 adegan, 56 episode, seed sampler 0) dengan checkpoint DROID sebelumnya yang belum dirilis (tile 256 x 416) pada pengaturan sampler dari repositori praxis pada saat itu (2 langkah Euler, pergeseran aliran 1.0, panduan aksi 3.0, tanpa panduan video, 1 chunk konteks) dan backend flash attention-nya, di satu H100 80 GB (sekitar 10 menit). Episode yang sama dijalankan dengan lima cara: runner dari repositori praxis itu sendiri di lingkungan lingkungannya sendiri (torch 2.13, transformers 5.2.0, causal-conv1d), runner yang sama dan lerobot-eval di stack LeRobot 0.6 (torch 2.11, transformers 5.5.4), dan keduanya lagi di stack yang dikunci oleh LeRobot 0.7 (torch 2.15 dengan CUDA 13.2, triton 3.9, flash-linear-attention 0.6.0; transformers 5.16.1 pada saat itu). Mengulangi jalankan torch 2.15 dengan transformers 5.22.1 menghasilkan perintah yang sama secara bit demi bit dan hasil episode 46/56 yang sama baik untuk runner praxis maupun lerobot-eval, dan 5.22.2 (versi yang dikunci oleh LeRobot 0.7.1) menghasilkan perintah yang sama untuk praxis-1-droid dan checkpoint YAM: versi transformers tidak memengaruhi angka-angkanya.

Tugaspraxis runner, praxis envpraxis runner, torch 2.11lerobot-eval, torch 2.11praxis runner, torch 2.15lerobot-eval, torch 2.15
lift_cube7/87/86/87/88/8
cube_on_plate8/88/88/88/88/8
block_in_bowl8/88/88/88/88/8
block_out_of_bowl7/86/87/87/86/8
move_block7/87/86/87/87/8
stack_block7/88/87/88/86/8
press_button1/80/83/81/83/8
Total45/56 80 %44/56 79 %45/56 80 %46/56 82 %46/56 82 %

Dibandingkan selama 56 episode (praxis_sim.compare), lerobot-eval dikurangi referensi:

PerbandinganPerbedaaninterval bootstrap 95 %Menang / kalahMcNemar p
torch 2.11: lerobot-eval vs praxis runner, praxis env+0.0 %[-10.7 %, +10.7 %]5 / 51.00
torch 2.11: lerobot-eval vs praxis runner, stack yang sama+1.8 %[-8.9 %, +12.5 %]6 / 51.00
torch 2.15: lerobot-eval vs praxis runner, praxis env+1.8 %[-10.7 %, +14.3 %]6 / 51.00
torch 2.15: lerobot-eval vs praxis runner, stack yang sama+0.0 %[-10.7 %, +10.7 %]4 / 41.00

Setiap interval mencakup nol: kebijakan dan lingkungan LeRobot mereproduksi hasil dari repositori praxis, dan baik tumpukan perangkat lunak (kernel, versi transformers) maupun perubahan harness tidak mengubahnya di luar noise antar-episode. Runner praxis itu sendiri bergerak dengan jumlah yang sama antar tumpukan (44 hingga 46 dari 56). press_button sulit untuk checkpoint ini di setiap setup.

Dengan input yang identik, kebijakan tersebut setara secara bit-for-bit dengan pipeline praxis di kedua stack (lihat di bawah); antara kedua stack, perintah untuk input yang identik berbeda hingga 0.04 (flash) dan 0.02 (triton), yang merupakan faktor yang menggeser episode individual.

praxis-1-droid , checkpoint yang dirilis

56 episode yang sama dengan praxis-1-droid (ubin antialiased 224 x 416) pada pengaturan yang direkomendasikannya (2 langkah Euler, pergeseran aliran 12,5, panduan video 4,0, tanpa panduan aksi, 1 chunk konteks) dan backend flash, di satu H100 80 GB: runner dari repositori praxis (main miliknya dengan sampler saat ini, di lingkungan praxis: torch 2.13, transformers 5.2.0), lerobot-eval di tumpukan LeRobot 0.6 (torch 2.11, transformers 5.5.4), dan baik runner maupun lerobot-eval di tumpukan yang dikunci oleh LeRobot 0.7 (torch 2.15 dengan CUDA 13.2, transformers 5.22.1).

Tugaspraxis runner, praxis envlerobot-eval, torch 2.11praxis runner, torch 2.15lerobot-eval, torch 2.15
lift_cube7/88/88/88/8
cube_on_plate8/87/88/88/8
block_in_bowl8/88/88/88/8
block_out_of_bowl8/88/87/88/8
move_block7/88/88/88/8
stack_block8/87/88/86/8
press_button8/88/87/88/8
Total54/56 96 %54/56 96 %54/56 96 %54/56 96 %

Dipasangkan di atas 56 episode, lerobot-eval dikurangi praxis runner adalah +0,0 poin di kedua stack (interval bootstrap 95 % [-7,1 %, +7,1 %], menang 2 / kalah 2, McNemar p 1,00 masing-masing). Episode yang berubah bukan episode yang sama di kedua stack: kernel dari torch 2.15 menggeser perintah hingga 0,02, dan beberapa episode borderline mengikuti. praxis-1-droid dengan pengaturannya menyelesaikan press_button, yang sebagian besar gagal oleh checkpoint DROID sebelumnya dengan pengaturannya.

Paritas dengan repositori praxis

  • Pada observasi yang identik dalam satu proses, kebijakan LeRobot dan Session praxis menghasilkan embedding teks, latens VAE, proprio, aksi yang disampel, dan perintah yang setara secara bit (dengan bobot yang dimuat sama). tests/policies/praxis/test_praxis.py mengulang pemeriksaan ini pada model acak kecil di CPU.
  • Antara proses, eksekusi pipeline praxis melalui paket praxis asli dan kebijakan LeRobot memberikan perintah yang setara secara bit demi bit pada checkpoint asli, baik pada backend flash maupun triton (kedua backend tersebut berbeda satu sama lain hingga 0.055 pada perintahnya), pada stack LeRobot 0.6 (torch 2.11.0+cu128, transformers 5.5.4, flash-attn-4 4.0.0b36) dan pada stack yang dikunci oleh LeRobot 0.7 (torch 2.15.0+cu132, transformers 5.22.1 dan 5.22.2, triton 3.9, flash-attn-4 4.0.0b36). Referensi itu sendiri bergerak di antara kedua stack (hingga 0.019 pada flash, 0.015 pada triton); kebijakan tersebut mengikutinya bit demi bit pada masing-masing stack.
  • praxis-1-droid: pemeriksaan lintas proses terhadap pipeline praxis dari cabang main repositori praxis (dengan sampler-nya saat ini) menghasilkan kesamaan bitwise di kedua backend dan kedua stack untuk delapan cara pemanggilan kebijakan: melalui pipeline prosesor yang disimpan (seperti yang dilakukan lerobot-eval), pada frame mentah dan pose 7-nilai tanpa pipeline, dengan dua lingkungan dalam satu batch (instruksi dan benih adegan yang berbeda), melalui predict_action_chunk (dimulai dari nol, dan chunk berikutnya diberikan frame yang telah dieksekusi sebagai stack), dengan n_action_steps=12 (satu chunk setiap 12 perintah, dikondisikan pada frame yang telah dieksekusi), dengan panduan aksi aktif (cfg_scale=3), dan selama 70 perintah dengan tiga chunk konteks (kedalaman 0 hingga 3). Pemeriksaan ini tetap valid di bawah bendera TF32 dan benchmark cuDNN bawaan lerobot-eval: kebijakan mengunci numerik praxis saat melakukan sampling dan mengembalikan bendera tersebut ke host. Langkah tile menghitung kanvas di CPU apa pun perangkat frame-nya: resize anti-alias CUDA membulatkan satu tingkat berbeda pada sekitar sepertiga piksel, yang menggeser perintah hingga 0.02 sebelum langkah tersebut dilakukan.
  • Pelatihan: pada bobot yang dirilis, PraxisPolicy.forward dan praxis.train.objective dari repositori praxis memberikan kerugian (loss) yang sama (dan istilah video serta aksi) bit demi bit untuk jendela dan undian acak yang sama, serta gradien yang sama pada semua 200 tensor dari ahli aksi (action expert). Metrik keseimbangan MoE yang dilaporkan bervariasi sebesar satu atau dua ulp float32 antar eksekusi di kedua sisi (reduksi nondeterministik dalam statistik keseimbangan; hal ini masuk ke dalam kerugian dengan bobot 1e-4).
  • GB300 (SM103, host aarch64): pada tumpukan LeRobot 0.7 yang dikunci (torch 2.15.0+cu132, cuDNN 9.26, transformers 5.22.1, triton 3.9, flash-attn-4 4.0.0b36, flash-linear-attention 0.6.0), pemeriksaan lintas proses terhadap main dari repositori praxis sama persis secara bit pada kedua backend (flash dengan blok mask 256-token di kedua sisi): untuk praxis-1-droid dalam tujuh cara pemanggilan kebijakan (pipeline yang disimpan di bawah flag lerobot-eval, frame mentah 720 x 1280, dua lingkungan dalam satu batch, predict_action_chunk dengan frame stacks, n_action_steps=12, cfg_scale=3, dan 94 perintah dengan tiga chunk konteks), untuk praxis-1-yam melalui pipeline, pada frame mentah dan dengan dua lingkungan, serta untuk rig DROID yang dibangun ulang dari praxis-1-base. forward memberikan loss dari tujuan praxis dan gradien dari semua 200 tensor action-expert secara bit demi bit pada bobot yang dirilis.
  • RTX PRO 6000 Blackwell (SM120, 96 GB, host x86_64), triton di kedua sisi: pada stack LeRobot 0.6 (torch 2.11.0+cu128, cuDNN 9.19, transformers 5.5.4, triton 3.6, flash-linear-attention 0.5.0) dan pada stack yang dikunci oleh LeRobot 0.7 (torch 2.15.0+cu132, cuDNN 9.26, transformers 5.22.1, triton 3.9, flash-linear-attention 0.6.0 dan causal-conv1d 1.6.1, sehingga Qwen3.5 menjalankan kernel mereka), keduanya dengan flash-attn-4 4.0.0b36 terpasang, pemeriksaan lintas proses terhadap main dari repositori praxis sama secara bit demi bit dalam hal-hal GB300: praxis-1-droid dalam tujuh (463 perintah, kedalaman konteks 0 hingga 3), praxis-1-yam dalam tiga, dan rig DROID yang dibangun ulang dari praxis-1-base (enam tensor head-nya dan konfigurasinya sama dengan init_heads dari repositori praxis). forward memberikan loss dari tujuan praxis dan gradien dari semua 200 tensor action-expert bit demi bit di kedua stack, dengan backbone dibekukan di kedua sisi (54 GB gradiennya tidak muat berdampingan dengan bobot). Pada stack LeRobot 0.6, sisi praxis juga memerlukan perbaikan Qwen3.5 dari peringatan di atas: praxis-1 mengunci transformers 5.2.0, dan di bawah 5.5.4 encoder teksnya tetap acak. Loop tertutup pada droid_guard dengan praxis-1-droid pada stack LeRobot 0.6: lerobot-eval 53/56 (94,6 %), runner praxis 54/56 (96,4 %, seperti pada H100 dan GB300); berpasangan, -1,8 poin, interval 95 % [-8,9, +5,4], menang 2 / kalah 3, McNemar p 1,00. Fine-tune LoRA melalui lerobot-train (r 16, alpha 32, target default, satu jendela per langkah) berjalan pada satu GPU: 5,5 juta parameter yang dapat dilatih, 1,1 detik per langkah, 62 GB.
  • B200 (SM100, host x86_64): pada stack LeRobot 0.6 (torch 2.11.0+cu128, cuDNN 9.19, transformers 5.5.4, triton 3.6) dan pada stack yang dikunci oleh LeRobot 0.7 (torch 2.15.0+cu132, cuDNN 9.26, transformers 5.22.1, triton 3.9, flash-linear-attention 0.6.0), keduanya dengan flash-attn-4 4.0.0b36, pemeriksaan lintas proses terhadap main dari repositori praxis sama secara bit pada kedua backend (flash dengan blok mask 256-token di kedua sisi) dengan cara yang sama seperti pada GB300: praxis-1-droid pada tujuh (463 perintah per backend dan stack, kedalaman konteks 0 hingga 3), praxis-1-yam pada tiga, dan rig DROID yang dibangun ulang dari praxis-1-base (enam tensor head-nya dan konfigurasinya sama dengan init_heads dari repositori praxis). Kedua backend berbeda satu sama lain hingga 0.19 pada perintah. forward memberikan loss dari tujuan praxis, istilah video dan aksinya, serta gradien dari semua 200 tensor action-expert secara bit untuk bit pada kedua backend dan kedua stack, dengan backbone yang telah dilatih. Fine-tune LoRA melalui lerobot-train berjalan pada satu GPU (1,2 s per langkah, 62 GB), dan adapter serta checkpoint yang digabungkannya dimuat di lerobot-eval.
  • Closed loop pada B200 (droid_guard, praxis-1-droid, flash): praxis runner mencetak skor 54/56 pada stack torch 2.15 dan 55/56 pada torch 2.11, lerobot-eval 53/56 dan 51/56 (berpasangan: -1,8 poin, interval 95 % [-8,9, +5,4]; dan -7,1 poin, [-14,3, -1,8], menang 0 / kalah 4, McNemar p 0,125). Setiap harness mengulang dirinya episode demi episode, sehingga selisihnya bukan noise antar-run, dan juga bukan karena policy: lerobot-eval membawa state dan perintah sebagai 7 nilai DROID dalam float32 (PraxisSimGymEnv, langkah pose dan command processor), sedangkan praxis runner meneruskan pose dan perintah sesi apa adanya. Perjalanan bolak-balik menggeser pose sekitar 1e-7, dan sepanjang satu episode perbedaan itu membesar menjadi trajektori lain. praxis runner dengan state dan perintahnya dikirim melalui konversi float32 yang sama menghasilkan hasil lerobot-eval di semua 56 episode, pada kedua stack.
  • Terhadap lingkungan repositori praxis itu sendiri (torch 2.13.0+cu130, transformers 5.2.0, causal-conv1d), output tidak sama secara bitwise: kernel berbeda, embedding Qwen3.5 berbeda hingga 0.125 dalam bfloat16, dan bit terakhir dari actions mengikuti. Oleh karena itu, pemeriksaan antar-repositori adalah evaluasi closed-loop berpasangan di atas.
  • Simulasi dirender dengan 4x multisampling, dan sejumlah kecil piksel per frame berbeda antar render dari adegan yang sama, sehingga dua episode closed-loop dari kebijakan yang sama menyimpang setelah chunk pertama meskipun dengan bobot yang identik. Episode berpasangan dibandingkan secara statistik, bukan per frame.

Checkpoint YAM bimanual

praxis-1-yam ("embodiment": "bimanual", runwayml/praxis-1-yam-lerobot) menggerakkan dua lengan YAM dengan satu kamera atas dan dua kamera pergelangan tangan (tampilan ZED 16:10, 1920 x 1200). Model yang sama menjalankannya; checkpoint-nya berbeda pada lebar kepala ahli (20 nilai aksi: [xyz, rot6d, gripper] per lengan), kanvas tiga-tile, dan normalisasi. Adapter LeRobot mengikuti praxis/bimanual.py dari repositori praxis (divendorkan sebagai praxis_core/bimanual.py):

KunciBentukArti
observation.images.top_left, observation.images.wrist_left, observation.images.wrist_rightRGBTiga tampilan dalam urutan kanvas (camera_keys). Ukuran 16:10 apa pun; prosesor membuat ubin 256 x 416 dengan aturan pas YAM (tampilan-tampilan tersebut pas dalam kotak 416 px secara bersama, kemudian pemotongan 32 px).
observation.state(14,)[x, y, z, roll, pitch, yaw, gripper] dari lengan kiri, kemudian lengan kanan, dalam kerangka dunia rig (pose_frame: rig, tanpa putaran flange); gripper sebagaimana dilaporkan oleh rig (tidak dipangkas). 16 nilai (pose8 per lengan) juga diteruskan.
action(14,)14 nilai yang sama: target absolut dari masing-masing lengan untuk tick 15 Hz berikutnya. select_action mengeluarkan 26 nilai (pose kabel dan gripper dari masing-masing lengan); langkah perintah mengubahnya.

Pengaturan serve checkpoint (berkas configs/serve_yam.yaml di repositori praxis: 2 langkah Euler, flow shift 1.0, tanpa panduan teks, 1 chunk konteks, rig bimanual tidak memiliki mode kontrol) adalah yang ditulis konverter ke dalam config, sehingga --policy.path=runwayml/praxis-1-yam-lerobot menjalankannya. Prompt dikirim ke text encoder apa adanya; checkpoint dilatih pada caption seperti “Pick up the pen from the center of the table, then place the pen in the bag”, tanpa titik penutup.

Paritas: pada checkpoint asli, kebijakan LeRobot dan pipeline praxis BimanualServeSession memberikan perintah yang setara secara bit untuk tiga tampilan, pose, dan instruksi yang sama (22 tick: chunk cold-start dan perintah pertama dari chunk kedalaman-1) melalui pipeline yang disimpan, pada frame mentah tanpa mereka, dan dengan dua lingkungan dengan instruksi berbeda dalam satu batch. Uji model kecil mengulangi pemeriksaan pada CPU terhadap Session praxis.

Batasan: tidak ada simulasi rig YAM, sehingga tidak ada suite loop tertutup; forward (fine-tuning) hanya untuk satu lengan, karena repositori praxis belum memiliki resep pelatihan bimanual.

Pelatihan

lerobot-train melakukan fine-tuning pada policy dengan tujuan dari repositori praxis (praxis/train): loss flow-matching gabungan untuk video dan aksi, dropout untuk teks dan proprio, istilah keseimbangan urutan MoE, dan pembaruan bias routing setelah setiap langkah optimizer. Dengan jendela dan undian acak yang sama, PraxisPolicy.forward setara secara bitwise dengan tujuan trainer praxis pada checkpoint yang dirilis. Sebuah jendela terdiri dari 93 frame berurutan (chunk 21, 24, 24, 24) dari kedua kamera, beserta pose flange yang diamati dan yang diperintahkan untuk setiap frame, serta instruksi; policy menyatakannya melalui observation_delta_indices / action_delta_indices (93 frame) dan menjaga jendela tetap berada di dalam episode dengan drop_n_last_frames (93, sehingga sampler mengambil titik awal jendela resep). Ubin kamera mengikuti aturan kanvas dari checkpoint (video.antialias), seperti pada modul data praxis. forward dan backward dari loss-nya (termasuk recompute activation-checkpoint) berjalan di bawah numerik praxis apa pun yang diset oleh launcher, termasuk lerobot-train --tf32: tidak ada autocast (skor router MoE tetap float32), dan tidak ada TF32 pada matmul float32. Jumlah jendela pelatihan yang dilihat adalah buffer dari policy (train_counter): ini menjadi benih untuk undian, ikut bersama checkpoint dan adapter, dan run yang dilanjutkan akan meneruskan urutannya; evaluasi yang dipegang (held-out) tidak menggesernya.

Data

Resep ini melatih pada DROID. lerobot/droid_1.0.1 menyimpan pose Cartesian sebagai enam plus satu kolom; kolom observation.state.cartesian dan action.cartesian 7-D dari PR #11 merakitnya terlebih dahulu (gunakan --dataset.revision=refs/pr/11 sampai digabungkan). Kolom observation.state dan action milik dataset itu sendiri berada di ruang sendi; peta penamaan ulang menempatkan kolom Cartesian di tempatnya (kunci yang namanya diubah menggantikan yang sudah ada) dan dua kamera di bawah kunci yang dibaca oleh kebijakan:

RENAME='{"observation.state.cartesian":"observation.state","action.cartesian":"action",
"observation.images.exterior_1_left":"observation.images.exterior","observation.images.wrist_left":"observation.images.wrist"}'

lerobot-train menerapkan pemetaan ke batch mentah dan sekali lagi di dalam pipeline prosesor, sehingga tidak boleh menukar kunci (memetakan observation.state ke nama lain akan dibatalkan).

Sekitar setengah dari episode DROID tidak memiliki instruksi dan beberapa lebih pendek dari sebuah jendela; resep ini mengabaikannya. examples/praxis/select_droid_episodes.py menulis daftar untuk --dataset.episodes:

python examples/praxis/select_droid_episodes.py --repo-id lerobot/droid_1.0.1 \
    --revision refs/pr/11 --out droid_episodes.json

Salinan Hub menyimpan video 180x320; checkpoint dilatih pada rekaman DROID 1280x720. Ubin-ubin tersebut adalah upscale dengan detail yang lebih sedikit pada salinan Hub, yang tidak masalah untuk uji asap. Untuk fine-tune yang setia, buat salinan lokal dengan video mentah seperti yang dijelaskan dalam praxis/train/README.md dari repositori praxis, dan arahkan --dataset.root ke sana.

Fine-tune penuh

Bobotnya bfloat16; preset optimizer praxis_adamw adalah AdamW dengan stochastic rounding (AdamW biasa akan membulatkan pembaruan 3e-6 menjadi nol), scheduler berupa linear warmup dan cosine decay hingga 3e-7, dan setiap blok transformer menghitung ulang forward-nya pada backward pass (activation_checkpointing, aktif secara default). Bobot, gradien, dan momen optimizer membutuhkan 8 byte per parameter, total 218 GB untuk 27.2B, yang dibagi ke GPU oleh FSDP: fine-tune penuh membutuhkan minimal 4 x 80 GB. Resep praxis adalah 96 jendela per langkah selama 1.200 langkah; pada 8 GPU itu adalah --batch_size=1 --accelerator.gradient_accumulation.steps=12. lerobot-train menghitung micro-batch (satu langkah loop adalah satu batch di setiap GPU) dan menggerakkan scheduler per micro-batch, sehingga 1.200 pembaruan adalah --steps=14400, dengan warmup dan decay dalam micro-steps.

torchrun --nproc-per-node=8 $(which lerobot-train) \
    --dataset.repo_id=lerobot/droid_1.0.1 --dataset.revision=refs/pr/11 \
    --dataset.episodes="$(cat droid_episodes.json)" --rename_map="$RENAME" \
    --policy.path=runwayml/praxis-1-droid-lerobot --policy.device=cuda --policy.push_to_hub=false \
    --parallelism.dp_shard=8 --accelerator.fsdp.mixed_precision_policy.reduce_dtype=float32 \
    --batch_size=1 --accelerator.gradient_accumulation.steps=12 --steps=14400 \
    --policy.scheduler_warmup_steps=600 --policy.scheduler_decay_steps=14400 \
    --num_workers=8 --save_freq=100 --output_dir=outputs/train/praxis_droid

Satu penyimpanan berisi model bersarang 54 GB (pretrained_model/, dapat dimuat oleh PraxisPolicy.from_pretrained dan lerobot-eval) serta sekitar 108 GB state optimizer. PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True menghindari fragmentasi allocator, seperti pada praxis trainer.

Diukur pada 8 x H100 80 GB dengan praxis-1-droid, satu window per GPU dan --dataset.episodes sebesar 256 episode DROID (video dari Hub), 1.000 langkah optimizer: 3,7 detik per langkah setelah langkah pertama (yang mengompilasi kernel), 48,5 GB memori GPU per rank, dan data loader yang mampu mengikuti dengan 8 worker per rank. Loss turun dari 0,216 pada seratus langkah pertama menjadi 0,190 pada seratus langkah terakhir (video 0,191 menjadi 0,171, aksi 0,025 menjadi 0,019). Checkpoint menyimpan model yang di-shard dan state optimizer dalam waktu sekitar dua menit melalui FSDP. Checkpoint hasil fine-tuning mencetak skor 50 dari 56 pada droid_guard dibandingkan 54 untuk model dasar: video dari Hub adalah upscale 180x320, sehingga fine-tune pada video tersebut menggeser policy menjauh dari rekaman 1280x720 yang menjadi dasar pelatihannya.

LoRA

Adapters melalui PEFT (pip install -e ".[peft]"). Target default adalah grup expert praxis, serta proyeksi attention dan MLP dari action expert (PraxisPolicy.PEFT_TARGETS); proyeksi output attention backbone adalah grup kedua, yang diteruskan dengan --peft.target_modules. Bobot expert MoE bukan lapisan linear dan tidak menerima adapters. Dengan bobot dasar yang dibekukan, jalankan LoRA muat di lebih sedikit GPU:

torchrun --nproc-per-node=4 $(which lerobot-train) ... --parallelism.dp_shard=4 \
    --peft.r=16 --peft.lora_alpha=32 --output_dir=outputs/train/praxis_lora

Biarkan --peft.full_training_modules tidak disetel: nilai default modules_to_save dari kebijakan adalah counter pelatihan, yang harus dibawa oleh adapter (konfigurasi menolak adapter tanpa counter ini); modul lain yang diterima hanyalah tiga modul head dari rig, untuk fine-tune dari checkpoint dasar (di bawah). Bias routing MoE milik base dan tetap tetap (fixed) di bawah PEFT. Diukur dengan r 16, alpha 32, dan target default pada 4 x H100 (--parallelism.dp_shard=4): 5,5 juta parameter yang dapat dilatih, 2,3 detik per langkah dengan satu window per GPU, 30 GB memori GPU per rank, adapter 22 MB; --parallelism.dp_replicate dengan dp_shard (HSDP) juga berfungsi. Total loss tetap di sekitar 0,22 selama 500 langkah karena backbone yang dibekukan (frozen) memiliki istilah video; istilah aksi berubah dari 0,026 menjadi 0,022. Adapter dari run tersebut mencetak skor 52 dari 56 pada droid_guard, dimuat di atas base oleh lerobot-eval.

Checkpoint menyimpan adapter (adapter_config.json, adapter_model.safetensors); lerobot-eval memuatnya di atas model dasar melalui --policy.path. Untuk mendapatkan checkpoint polos untuk simulasi, server dan from_pretrained, gabungkan adapter ke dalam bobot:

python examples/praxis/merge_praxis_adapter.py --base runwayml/praxis-1-droid-lerobot \
    --adapter outputs/train/praxis_lora/checkpoints/last/pretrained_model --out outputs/praxis-1-droid-lora

Perbedaan dari praxis trainer

Tujuan, resep jendela, optimizer, dan jadwal adalah milik praxis. Data berasal dari LeRobotDataset alih-alih pembaca file praxis, undian acak diberi benih dari benih LeRobot, jumlah pemanggilan, rank, dan posisi batch (sehingga kerugian dapat direproduksi tetapi tidak persis langkah demi langkah seperti pada eksekusi praxis), dan checkpoint adalah checkpoint LeRobot. Tidak dipindahkan: mode overfit dengan undian tetap dan no_sync.

Lakukan fine-tuning pada checkpoint dasar

praxis-1-base ("embodiment": "base", runwayml/praxis-1-base-lerobot) adalah video backbone dan trunk action-expert di akhir pre-training, tanpa enam tensor head dari sebuah rig (action_encoder.w1, embed_proprio, head, weights dan biases) dan tanpa optimizer state. Model ini tidak dapat dimuat sebagai policy; dua skrip mengubahnya menjadi awal fine-tune untuk rig single-arm Anda, yaitu bentuk LeRobot dari compute_norm_stats.py dan init_heads.py di repository praxis:

# the normalization statistics of your data: 1 % / 99 % quantiles of the relative actions and the
# mean and std of the proprio over random training windows (no video is read)
python examples/praxis/compute_norm_stats.py --repo-id lerobot/droid_1.0.1 --revision refs/pr/11 \
    --state-key observation.state.cartesian --action-key action.cartesian \
    --episodes droid_episodes.json --n-windows 2000 --out stats.json
# the base plus six new head tensors (`--seed`) and the rig fields: a policy directory that loads
python examples/praxis/init_heads.py --base runwayml/praxis-1-base-lerobot --out outputs/praxis-1-myrig \
    --stats stats.json --tile-height 224 --tile-width 416 --antialias --link
# then the full fine-tune command above with --policy.path=outputs/praxis-1-myrig, or LoRA with the
# six new head tensors trained in full next to the adapters:
torchrun --nproc-per-node=4 $(which lerobot-train) ... --policy.path=outputs/praxis-1-myrig \
    --parallelism.dp_shard=4 --peft.r=16 --peft.lora_alpha=32 \
    --peft.full_training_modules='["train_counter","action_expert.action_encoder.w1","action_expert.embed_proprio","action_expert.head"]'

Kolom state dan action menyimpan pose DROID dan gripper [x, y, z, roll, pitch, yaw, gripper] per frame (kolom bawaan dataset, atau peta penamaan ulang). --stats-from <single-arm checkpoint> menyalin blok normalisasi yang sudah ada sebagai gantinya (rig DROID). Rig DROID yang dibangun ulang dari basis dan statistik checkpoint yang dirilis memiliki konfigurasi yang persis sama dengan praxis-1-droid, dan tensor head-nya adalah tensor dari init_heads.py di repositori praxis untuk seed yang sama, bit demi bit. Pada subset DROID dari jalanan di atas, compute_norm_stats.py mereproduksi statistik checkpoint dalam 0,01 m pada kuantil xyz dengan gripper dikunci pada 0 dan 1. Fine-tune basis milik repositori praxis sendiri (configs/finetune_base.yaml, satu hari di 8 GPU) mencapai 62,5 % pada droid_guard dari basis ini, dibandingkan 91 % untuk praxis-1-droid yang dilatih dengan sekitar 40 kali lipat jumlah window: basis ini adalah titik awal tutorial untuk rig baru, bukan pengganti checkpoint yang dirilis. Fine-tune penuh melatih setiap bobot pada optimizer_lr; di bawah LoRA, adapter dan enam tensor head yang dilatih (PraxisPolicy.PEFT_HEAD_MODULES adalah satu-satunya modul selain counter yang diterima oleh full_training_modules) dan sisanya dari trunk tetap beku; langkah warm-up khusus head dan skala learning-rate head dari resep praxis tidak dipindahkan.

Batas yang diketahui

  • Dua rig: checkpoint DROID lengan tunggal (embodiment: single_arm) dan YAM bimanual (bimanual). Fine-tuning dan simulasi menggunakan lengan tunggal.
  • Praxis menghasilkan target pose Kartesius untuk lengan dengan pengendali impedansi; kelas robot LeRobot tidak mencakup Franka, sehingga penggunaan robot nyata dilakukan melalui klien yang mengeksekusi target Kartesius.
  • Batch select_action menjalankan lingkungannya secara berurutan (satu pemanggilan model per lingkungan).
  • Remote serving tidak didukung. Chunk runner default (lerobot/inference/policy_runner.py) menolak policy yang mengondisikan pada observasi masa lalu, dan Praxis mengondisikan pada frame dari chunk yang dieksekusi (current_observation_only=False di chunk_inference_spec); langkah tile juga mengubah ukuran frame kamera ke kanvas checkpoint, sehingga bentuknya tidak akan cocok dengan bentuk yang diperiksa oleh validate_chunk_input_features. Jalankan policy secara in-process (lerobot-eval, klien robot).
Update on GitHub