Mô hình này được công bố trên HF papers vào ngày 17-11-2021 và được đóng góp cho Hugging Face Transformers vào ngày 20-06-2023.

XLS-R

Tổng quan

Mô hình XLS-R được đề xuất trong XLS-R: Self-supervised Cross-lingual Speech Representation Learning at Scale bởi Arun Babu, Changhan Wang, Andros Tjandra, Kushal Lakhotia, Qiantong Xu, Naman Goyal, Kritika Singh, Patrick von Platen, Yatharth Saraf, Juan Pino, Alexei Baevski, Alexis Conneau, Michael Auli.

Tóm tắt từ bài báo như sau:

Bài báo này giới thiệu XLS-R, một mô hình quy mô lớn cho việc học biểu diễn giọng nói đa ngôn ngữ dựa trên wav2vec 2.0. Chúng tôi huấn luyện các mô hình với tối đa 2B tham số trên gần nửa triệu giờ âm thanh giọng nói công khai trong 128 ngôn ngữ, nhiều hơn một bậc độ lớn so với dữ liệu công khai của công trình lớn nhất trước đó. Đánh giá của chúng tôi bao phủ một phạm vi rộng các tác vụ, lĩnh vực, chế độ dữ liệu và ngôn ngữ, cả nguồn lực cao và thấp. Trên bộ chuẩn dịch giọng nói CoVoST-2, chúng tôi cải thiện mức tiên tiến trước đó trung bình 7,4 BLEU trên 21 hướng dịch sang tiếng Anh. Đối với nhận dạng giọng nói, XLS-R vượt trội so với công trình tốt nhất trước đó trên BABEL, MLS, CommonVoice cũng như VoxPopuli, giảm tỷ lệ lỗi trung bình tương đối từ 14-34%. XLS-R cũng thiết lập mức tiên tiến mới trên nhận dạng ngôn ngữ VoxLingua107. Hơn nữa, chúng tôi chỉ ra rằng với kích thước mô hình đủ lớn, tiền huấn luyện đa ngôn ngữ có thể vượt trội hơn tiền huấn luyện chỉ tiếng Anh khi dịch giọng nói tiếng Anh sang các ngôn ngữ khác, một cài đặt ưu tiên tiền huấn luyện đơn ngữ. Chúng tôi hy vọng XLS-R có thể giúp cải thiện các tác vụ xử lý giọng nói cho nhiều ngôn ngữ hơn trên thế giới.

Các checkpoint liên quan có thể được tìm thấy tại https://huggingface.co/models?other=xls_r.

Mã nguồn gốc có thể được tìm thấy tại đây.

Mẹo sử dụng

• XLS-R là một mô hình giọng nói nhận vào một mảng float tương ứng với dạng sóng thô của tín hiệu giọng nói.
• Mô hình XLS-R được huấn luyện bằng phân loại thời gian liên kết (CTC) nên đầu ra của mô hình phải được giải mã bằng Wav2Vec2CTCTokenizer.

Kiến trúc của XLS-R dựa trên mô hình Wav2Vec2, hãy tham khảo trang tài liệu của Wav2Vec2 để xem tham chiếu API.