Hub documentation

Data Designer

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Data Designer

Data Designer adalah kerangka kerja NVIDIA NeMo untuk menghasilkan dataset sintetis berkualitas tinggi menggunakan LLM. Kerangka kerja ini memungkinkan Anda membuat data yang beragam menggunakan sampler statistik, LLM, atau dataset benih yang sudah ada.

Prasyarat

pip install data-designer

Unduh dataset dari Hub sebagai benih

Gunakan HuggingFaceSeedSource untuk memuat dataset langsung dari Hub sebagai data benih untuk generasi.

import data_designer.config as dd
from data_designer.interface import DataDesigner

data_designer = DataDesigner()
config_builder = dd.DataDesignerConfigBuilder()

# Load seed data from HuggingFace
seed_source = dd.HuggingFaceSeedSource(
    path="datasets/gretelai/symptom_to_diagnosis/data/train.parquet",
    token="hf_...",  # Optional, for private datasets
)
config_builder.with_seed_dataset(seed_source)

# Reference seed columns in prompts
config_builder.add_column(
    dd.LLMTextColumnConfig(
        name="physician_notes",
        model_alias="openai-gpt-5",
        prompt="Write notes for a patient with {{ diagnosis }}. Symptoms: {{ patient_summary }}",
    )
)

preview = data_designer.preview(config_builder, num_records=5)

Push dataset yang dihasilkan ke Hub

Gunakan metode bawaan push_to_hub untuk mengunggah dataset yang dihasilkan ke Hub.

# Generate dataset
results = data_designer.create(config_builder, num_records=1000, dataset_name="my-dataset")

# Push to Hub
url = results.push_to_hub(
    repo_id="username/my-synthetic-dataset",
    description="Synthetic dataset generated with Data Designer.",
    tags=["medical", "notes"],
    private=False,
)

Sumber daya

Update on GitHub