Model ini dipublikasikan di HF papers pada 2021-11-17 dan disumbangkan ke Hugging Face Transformers pada 2023-06-20.

XLS-R

Ikhtisar

Model XLS-R diusulkan dalam XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale oleh Arun Babu, Changhan Wang, Andros Tjandra, Kushal Lakhotia, Qiantong Xu, Naman Goyal, Kritika Singh, Patrick von Platen, Yatharth Saraf, Juan Pino, Alexei Baevski, Alexis Conneau, Michael Auli.

Abstrak dari makalah tersebut adalah sebagai berikut:

Paper ini memperkenalkan XLS-R, sebuah model berskala besar untuk pembelajaran representasi ucapan lintas bahasa yang didasarkan pada wav2vec 2.0. Kami melatih model dengan hingga 2B parameter menggunakan hampir setengah juta jam audio ucapan yang tersedia secara publik dalam 128 bahasa, yaitu data publik yang lebih besar satu orde magnitudo dibandingkan karya terdahulu terbesar yang diketahui. Evaluasi kami mencakup berbagai tugas, domain, rezim data, dan bahasa, baik yang beresourc tinggi maupun rendah. Pada benchmark terjemahan ucapan CoVoST-2, kami meningkatkan state of the art sebelumnya rata-rata sebesar 7.4 BLEU di 21 arah terjemahan ke bahasa Inggris. Untuk pengenalan ucapan, XLS-R meningkatkan kinerja terbaik karya terdahulu yang diketahui pada BABEL, MLS, CommonVoice, serta VoxPopuli, menurunkan tingkat kesalahan rata-rata sebesar 14-34% secara relatif. XLS-R juga menetapkan state of the art baru pada identifikasi bahasa VoxLingua107. Selain itu, kami menunjukkan bahwa dengan ukuran model yang cukup, prapelatihan lintas bahasa dapat melampaui prapelatihan hanya bahasa Inggris saat menerjemahkan ucapan bahasa Inggris ke bahasa lain, sebuah pengaturan yang menguntungkan prapelatihan monolingual. Kami berharap XLS-R dapat membantu meningkatkan tugas pemrosesan ucapan untuk lebih banyak bahasa di dunia.

Checkpoint yang relevan dapat ditemukan di https://huggingface.co/models?other=xls_r.

Kode asli dapat ditemukan di sini.

Tips penggunaan

• XLS-R adalah model ucapan yang menerima array float yang sesuai dengan gelombang mentah dari sinyal ucapan.
• Model XLS-R dilatih menggunakan connectionist temporal classification (CTC), sehingga output model harus didekode menggunakan Wav2Vec2CTCTokenizer.

Arsitektur XLS-R didasarkan pada model Wav2Vec2, silakan lihat halaman dokumentasi Wav2Vec2 untuk referensi API.