# RoboCasa365

  The commands below run the simulator locally. To keep its dependencies away from your policy's, serve it instead with `lerobot-env-server --config_path=docker/sim/configs/robocasa.yaml --sim.task= --docker=true`, where `` is the command's `--env.task`, and add `--env.server.endpoint=tcp/127.0.0.1:7448` to the command. A server runs the task it was started with (see [Simulation: local or served](./simulation)).

[RoboCasa365](https://robocasa.ai) هو إطار محاكاة واسع النطاق لتدريب واختبار **الروبوتات متعددة الاستخدامات** في مهام المطبخ اليومية. يتضمن 365 مهمة متنوعة للتعامل مع الأشياء عبر 2500 بيئة مطبخ، وأكثر من 3200 أصل كائن، وأكثر من 600 ساعة من بيانات العرض البشرية، على روبوت متنقل للتعامل مع الأشياء من طراز PandaOmnon بـ 12 درجة حرية (ذراع Franka على قاعدة متحركة كليًا).

- الورقة: [روباكازا: محاكاة واسعة النطاق للمهام اليومية للروبوتات العامة](https://arxiv.org/abs/2406.02523)
- GitHub: [robocasa/robocasa](https://github.com/robocasa/robocasa)
- موقع المشروع: [robocasa.ai](https://robocasa.ai)
- سياسة مُدرَّبة مسبقاً: [`lerobot/smolvla_robocasa`](https://huggingface.co/lerobot/smolvla_robocasa)
- مجموعة بيانات مهمة واحدة (CloseFridge): [`pepijn223/robocasa_CloseFridge`](https://huggingface.co/datasets/pepijn223/robocasa_CloseFridge)

<img
  src="https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/lerobot/robocasa-banner.webp"
  alt="RoboCasa365 benchmark overview"
  width="85%"
/>

## المهام المتاحة

تنظّم RoboCasa365 مهامها الـ 365 في عائلتين ومجموعتين مرجعيتين (upstream benchmark) تصدّرهما LeRobot كاختصارات `--env.task` من الدرجة الأولى:

| العائلة    | المهام | الوصف                                                                     |
| --------- | ----- | ------------------------------------------------------------------------------- |
| ذري    | ~65   | مهام المهارة الواحدة: التقاط ووضع، التلاعب بالأبواب/الدرج، التحكم في الأجهزة |
| مركّب | ~300  | مهام متعددة الخطوات عبر أكثر من 60 فئة: الطهي، التنظيف، التنظيم، وما إلى ذلك.     |

**أمثلة على المهام الذرّية:** `CloseFridge`، `OpenDrawer`، `OpenCabinet`، `TurnOnMicrowave`، `TurnOffStove`، `NavigateKitchen`، `PickPlaceCounterToStove`.

**فئات المهام المركبة:** الخبز، الغلي، التحضير، التقطيع، ترتيب الطاولة، إذابة تجمد الطعام، تحميل غسالة الصحون، تحضير الشاي، تسخين الطعام في الميكروويف، غسل الأطباق، والمزيد.

يقبل `--env.task` ثلاثة أشكال:

- اسم مهمة واحدة (`CloseFridge`)
- قائمة مفصولة بفواصل (`CloseFridge,OpenBlenderLid,PickPlaceCoffee`)
- اختصار لمجموعة معايير — `atomic_seen`، `composite_seen`، `composite_unseen`، `pretrain50`، `pretrain100`، `pretrain200`، `pretrain300` — يتم توسيعه تلقائياً إلى قائمة المهام الأصلية ويضبط تلقائياً `split` للمجموعة (`target` أو `pretrain`).

## التثبيت

لم تُنشر RoboCasa وتبعيتها `robosuite` على PyPI، كما أن ملف `setup.py` الخاص بـ RoboCasa نفسه يثبّت `lerobot==0.3.3` بشكل صلب، مما يتعارض مع `lerobot` في هذا المستودع. لذلك، لا يعرّض LeRobot **أي** إضافة باسم `robocasa` — ثبّت الحزمتين يدويًا كنسخ قابلة للتحرير (باستخدام `--no-deps` مع `robocasa` لتخطّي تثبيت `lerobot` المُخفى):

```bash
# After following the standard LeRobot installation instructions.

git clone https://github.com/robocasa/robocasa.git ~/robocasa
git clone https://github.com/ARISE-Initiative/robosuite.git ~/robosuite
pip install -e ~/robocasa --no-deps
pip install -e ~/robosuite

# Robocasa's runtime deps (the ones its setup.py would have pulled, minus
# the bad lerobot pin).
pip install numpy numba scipy mujoco pygame Pillow opencv-python \
            pyyaml pynput tqdm termcolor imageio h5py lxml hidapi \
            tianshou gymnasium

python -m robocasa.scripts.setup_macros
# Lightweight assets (lightwheel object meshes + textures). Enough for
# the default env out of the box.
python -m robocasa.scripts.download_kitchen_assets \
  --type tex tex_generative fixtures_lw objs_lw
# Optional: full objaverse/aigen registries (~30GB) for richer object
# variety. Enable at eval time via --env.obj_registries (see below).
# python -m robocasa.scripts.download_kitchen_assets --type objs_objaverse
```

يتطلب RoboCasa استخدام MuJoCo. اضبط واجهة العرض قبل التدريب أو التقييم:

```bash
export MUJOCO_GL=egl  # for headless servers (HPC, cloud)
```

### سجلات الكائنات

بشكل افتراضي، تعيّن البيئة الكائنات من سجل `lightwheel` فقط (وهو ما يوفّره `--type objs_lw`)، مما يتجنّب حدوث عطل `Probabilities contain NaN` عندما لا تكون حزم objaverse / aigen موجودة على القرص. إذا كنت قد حمّلت مجموعة الأصول الكاملة، فعّل السجل الكامل وقت التشغيل:

```bash
--env.obj_registries='[objaverse,lightwheel]'
```

## التقييم

تعكس جميع مقتطفات التقييم أدناه أمر CI (انظر `.github/workflows/benchmark_tests.yml`). يربط الحجة `--rename_map` مفاتيح الكاميرات الأصلية الخاصة بـ RoboCasa بتخطيط مدخلات الكاميرات الثلاث (`camera1` / `camera2` / `camera3`) الذي تم تدريب سياسة `smolvla_robocasa` المُصدَّرة عليه: `robot0_agentview_left` → `camera1`، `robot0_agentview_right` → `camera2`، `robot0_eye_in_hand` → `camera3`. يجب أن يتطابق هذا الاقتران مع خرائط التدريب الخاصة بالسياسة (انظر `rename_map` في ملف `train_config.json` الخاص بالنقطة الفاصلة)؛ إذ يتم قبول تبديل مفتاحي كاميرتين بصمت، لأن جميع العروض الثلاثة تشترك في نفس الشكل.

بشكل افتراضي، يستخدم كل مهمة أفق التمرين المسجّل بواسطة RoboCasa. اضبط `--env.episode_length=<steps>` لتطبيق أفق صريح موحّد على كل مهمة مختارة.

### التقييم أحادي المهمة (موصى به للتكرار السريع)

```bash
lerobot-eval \
  --policy.path=lerobot/smolvla_robocasa \
  --env.type=robocasa \
  --env.task=CloseFridge \
  --eval.batch_size=1 \
  --eval.n_episodes=20 \
  --eval.use_async_envs=false \
  --policy.device=cuda \
  '--rename_map={"observation.images.robot0_agentview_left": "observation.images.camera1", "observation.images.robot0_agentview_right": "observation.images.camera2", "observation.images.robot0_eye_in_hand": "observation.images.camera3"}'
```

### التقييم متعدد المهام

مرر قائمة مهام مفصولة بفواصل:

```bash
lerobot-eval \
  --policy.path=lerobot/smolvla_robocasa \
  --env.type=robocasa \
  --env.task=CloseFridge,OpenCabinet,OpenDrawer,TurnOffStove \
  --eval.batch_size=1 \
  --eval.n_episodes=20 \
  --eval.use_async_envs=false \
  --policy.device=cuda \
  '--rename_map={"observation.images.robot0_agentview_left": "observation.images.camera1", "observation.images.robot0_agentview_right": "observation.images.camera2", "observation.images.robot0_eye_in_hand": "observation.images.camera3"}'
```

### تقييم مجموعة المعايير

شغّل مجموعة كاملة من المنبع (على سبيل المثال، جميع مهام `atomic_seen` الثمانية عشر مع `split=target`):

```bash
lerobot-eval \
  --policy.path=lerobot/smolvla_robocasa \
  --env.type=robocasa \
  --env.task=atomic_seen \
  --eval.batch_size=1 \
  --eval.n_episodes=20 \
  --eval.use_async_envs=false \
  --policy.device=cuda \
  '--rename_map={"observation.images.robot0_agentview_left": "observation.images.camera1", "observation.images.robot0_agentview_right": "observation.images.camera2", "observation.images.robot0_eye_in_hand": "observation.images.camera3"}'
```

### حلقات التقييم الموصى بها

**20 حلقة لكل مهمة** للتقييم القابل للتكرار. يتطابق مع البروتوكول المستخدم في النتائج المنشورة.

## مدخلات ومخرجات السياسة

**الملاحظات** (تُحفظ أسماء كاميرات RoboCasa الخام كما هي):

- `observation.state` — حالة إدراكية ذاتية بعدد 16 (موضع القاعدة، رباعي الاتجاهات للقاعدة، موضع الطرف النهائي النسبي، رباعي الاتجاهات للطرف النهائي النسبي، موضع الماسك)
- `observation.images.robot0_agentview_left` — عرض الوكيل الأيسر، 256×256 HWC uint8
- `observation.images.robot0_eye_in_hand` — عرض كاميرا المعصم، 256×256 HWC uint8
- `observation.images.robot0_agentview_right` — عرض الوكيل الأيمن، 256×256 HWC uint8

**الإجراءات:**

- التحكم المستمر في `Box(-1, 1, shape=(12,))` — الحركة الأساسية (4D) + وضع التحكم (1D) + موضع الطرف النهائي (3D) + دوران الطرف النهائي (3D) + الماسك (1D).

## التدريب

### مثال على مهمة واحدة

توجد مجموعة بيانات جاهزة للاستخدام لمهمة واحدة على الـ Hub: [`pepijn223/robocasa_CloseFridge`](https://huggingface.co/datasets/pepijn223/robocasa_CloseFridge).

قم بضبط نموذج SmolVLA الأساسي على `CloseFridge`:

```bash
lerobot-train \
  --policy.type=smolvla \
  --policy.repo_id=${HF_USER}/smolvla_robocasa_CloseFridge \
  --policy.load_vlm_weights=true \
  --policy.push_to_hub=true \
  --dataset.repo_id=pepijn223/robocasa_CloseFridge \
  --env.type=robocasa \
  --env.task=CloseFridge \
  --output_dir=./outputs/smolvla_robocasa_CloseFridge \
  --steps=100000 \
  --batch_size=4 \
  --env_eval_freq=5000 \
  --eval.batch_size=1 \
  --eval.n_episodes=5 \
  --save_freq=10000
```

قيّم نقطة التفتيش الناتجة:

```bash
lerobot-eval \
  --policy.path=${HF_USER}/smolvla_robocasa_CloseFridge \
  --env.type=robocasa \
  --env.task=CloseFridge \
  --eval.batch_size=1 \
  --eval.n_episodes=20
```

## إعادة إنتاج النتائج المنشورة

يتم تقييم نقطة الفحص المُصدَّرة [`lerobot/smolvla_robocasa`](https://huggingface.co/lerobot/smolvla_robocasa) باستخدام الأوامر الموجودة في قسم [التقييم](#evaluation). وتشغّل بيئة التكامل المستمر (CI) تقييمًا سريعًا (smoke eval) يتكون من 10 مهام ذرّية (مهمة واحدة لكل حلقة) على كل طلب دمج (PR) يمس المعيار المرجعي، مع اختيار مهام تركز على العناصر الثابتة (fixtures) ولا تتطلب حزمة أصول objaverse.

