# FLAN-T5

## 개요

FLAN-T5는 [Scaling Instruction-Finetuned Language Models](https://huggingface.co/papers/2210.11416) 논문에서 공개되었습니다. 이는 여러 작업의 혼합으로 fine-tuning된 T5의 향상된 버전입니다.

모델을 fine-tuning하지 않고 FLAN-T5 가중치를 바로 사용할 수 있습니다:

```python
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer

model = AutoModelForSeq2SeqLM.from_pretrained("google/flan-t5-small", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("google/flan-t5-small")

inputs = tokenizer("A step by step recipe to make bolognese pasta:", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['Pour a cup of bolognese into a large bowl and add the pasta']
```

FLAN-T5에는 T5 버전 1.1과 동일한 개선 사항이 포함되어 있습니다(모델 개선 사항의 전체 세부 정보는 [여기](./t5v1.1)를 참조하세요).

Google은 다음 변형을 출시했습니다:

- [google/flan-t5-small](https://huggingface.co/google/flan-t5-small)

- [google/flan-t5-base](https://huggingface.co/google/flan-t5-base)

- [google/flan-t5-large](https://huggingface.co/google/flan-t5-large)

- [google/flan-t5-xl](https://huggingface.co/google/flan-t5-xl)

- [google/flan-t5-xxl](https://huggingface.co/google/flan-t5-xxl).

원본 체크포인트는 [여기](https://github.com/google-research/t5x/blob/main/docs/models.md#flan-t5-checkpoints)에서 찾을 수 있습니다.

모든 API 참조, 코드 예제 및 노트북은 [T5 문서 페이지](./t5)를 참조하세요. FLAN-T5의 학습 및 평가에 대한 자세한 내용은 모델 카드를 참조하세요.