Menggunakan 🤗 Datasets

Setelah Anda menemukan dataset menarik di Hugging Face Hub, Anda dapat memuat dataset tersebut menggunakan 🤗 Datasets. Anda dapat mengklik tombol Gunakan dataset ini untuk menyalin kode yang memuat dataset.

Pertama, Anda perlu Masuk dengan akun Hugging Face Anda, misalnya menggunakan:

hf auth login

Lalu, Anda dapat memuat dataset dari Hugging Face Hub menggunakan

from datasets import load_dataset

dataset = load_dataset("username/my_dataset")

# or load the separate splits if the dataset has train/validation/test splits
train_dataset = load_dataset("username/my_dataset", split="train")
valid_dataset = load_dataset("username/my_dataset", split="validation")
test_dataset  = load_dataset("username/my_dataset", split="test")

Anda juga dapat mengunggah dataset ke Hugging Face Hub:

my_new_dataset.push_to_hub("username/my_new_dataset")

Ini membuat repositori dataset username/my_new_dataset yang berisi Dataset Anda dalam format Parquet, yang dapat dimuat ulang nanti.

Untuk informasi lebih lanjut tentang penggunaan 🤗 Datasets, lihat tutorial dan panduan cara melakukan yang tersedia dalam dokumentasi 🤗 Datasets.