Transformers documentation
FalconMamba
Эта модель была опубликована в HF papers 07.10.2024 и добавлена в Hugging Face Transformers 12.08.2024.
FalconMamba
FalconMamba — это большая языковая модель объёмом 7B, доступная в вариантах с предобучением и с обучением по инструкциям, основанная на архитектуре Mamba. Модель реализует чистый дизайн Mamba, ориентированный на вычислительную эффективность при сохранении высокого качества. FalconMamba значительно быстрее при инференсе и требует существенно меньше памяти для генерации длинных последовательностей. Модели предобучены на разнообразном наборе данных объёмом 5,8 трлн токенов, включающем RefinedWeb, технический контент, код и математические данные.
Официальные контрольные точки FalconMamba можно найти в коллекции FalconMamba 7B.
Щёлкните по моделям FalconMamba в боковой панели справа, чтобы увидеть дополнительные примеры применения FalconMamba к различным языковым задачам.
Приведённые ниже примеры показывают, как генерировать текст с помощью Pipeline, AutoModel и из командной строки.
from transformers import pipeline
pipeline = pipeline(
"text-generation",
model="tiiuae/falcon-mamba-7b-instruct",
device=0
)
pipeline(
"Explain the difference between transformers and SSMs",
max_length=100,
do_sample=True,
temperature=0.7
)from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("tiiuae/falcon-mamba-7b-instruct")
model = AutoModelForCausalLM.from_pretrained(
"tiiuae/falcon-mamba-7b-instruct",
device_map="auto"
)
input_ids = tokenizer("Explain the difference between transformers and SSMs", return_tensors="pt").to(model.device)
output = model.generate(**input_ids, max_new_tokens=100, cache_implementation="static")
print(tokenizer.decode(output[0], skip_special_tokens=True))transformers chat tiiuae/falcon-mamba-7b-instruct --dtype auto --device 0
Квантование снижает нагрузку на память при работе с большими моделями, представляя веса в пониженной точности. Подробнее о доступных бэкендах квантования см. в обзоре Квантование.
Приведённый ниже пример использует bitsandbytes для квантования весов до 4 бит.
from transformers import AutoTokenizer, BitsAndBytesConfig, FalconMambaForCausalLM
quantization_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_use_double_quant=True,
)
tokenizer = AutoTokenizer.from_pretrained("tiiuae/falcon-mamba-7b")
model = FalconMambaForCausalLM.from_pretrained(
"tiiuae/falcon-mamba-7b",
device_map="auto",
quantization_config=quantization_config,
)
inputs = tokenizer("Explain the concept of state space models in simple terms", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs, max_new_tokens=100)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))Примечания
- Используйте левое выравнивание (left padding) для пакетной генерации. См. Сторона выравнивания.
FalconMambaConfig
класс transformers.FalconMambaConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 50280hidden_size: int = 768state_size: int = 16num_hidden_layers: int = 32layer_norm_epsilon: float = 1e-05pad_token_id: int | None = 0bos_token_id: int | None = 0eos_token_id: int | list[int] | None = 0expand: int = 2conv_kernel: int = 4use_bias: bool = Falseuse_conv_bias: bool = Truehidden_act: str = 'silu'initializer_range: float = 0.1residual_in_fp32: bool = Truetime_step_rank: str | int = 'auto'time_step_scale: float = 1.0time_step_min: float = 0.001time_step_max: float = 0.1time_step_init_scheme: str = 'random'time_step_floor: float = 0.0001rescale_prenorm_residual: bool = Falseuse_cache: bool = Trueuse_mambapy: bool = Falseuse_associative_scan: bool = Truetie_word_embeddings: bool = Truemixer_rms_eps: float = 1e-06 )
Параметры
- vocab_size (
int, необязательный, по умолчанию50280) — Размер словаря модели. Определяет количество различных токенов, которые могут быть представлены вinput_ids. - hidden_size (
int, необязательный, по умолчанию768) — Размерность скрытых представлений. - state_size (
int, необязательный, по умолчанию16) — Размер состояния SSM (размерность латентного состояния) в слоях Mamba. - num_hidden_layers (
int, необязательный, по умолчанию32) — Количество скрытых слоев в декодере Transformer. - layer_norm_epsilon (
float, необязательный, по умолчанию1e-05) — Значение epsilon, используемое слоями нормализации. - pad_token_id (
int, необязательный, по умолчанию0) — Идентификатор токена, используемого для дополнения (padding) в словаре. - bos_token_id (
int, необязательный, по умолчанию0) — Идентификатор токена, используемого для обозначения начала потока в словаре. - eos_token_id (
Union[int, list[int]], необязательный, по умолчанию0) — Идентификатор токена, используемого для обозначения конца потока в словаре. - expand (
int, необязательный, по умолчанию 2) — Коэффициент расширения, используемый для определения промежуточного размера. - conv_kernel (
int, необязательный, по умолчанию 4) — Размер ядра свёртки. - use_bias (
bool, необязательный, по умолчаниюFalse) — Использовать ли смещение в [“in_proj”, “out_proj”] блока миксера - use_conv_bias (
bool, необязательный, по умолчаниюTrue) — Использовать ли смещение (bias) в свёрточном слое блока миксера. - hidden_act (
str, необязательный, по умолчаниюsilu) — Нелинейная функция активации (функция или строка) в декодере. Например,"gelu","relu","silu"и т. д. - initializer_range (
float, необязательный, по умолчанию0.1) — Стандартное отклонение truncated_normal_initializer, используемое для инициализации всех матриц весов. - residual_in_fp32 (
bool, необязательный, по умолчаниюTrue) — Определяет, должны ли остаточные соединения храниться в форматеfloat32. Если установлено значениеFalse, остаточные соединения сохраняют тот жеdtype, что и остальная часть модели - time_step_rank (
Union[str, int], необязательный, по умолчаниюauto) — Ранг проекции дельты (шага времени). Может быть"auto"для автоматического определения. - time_step_scale (
float, необязательный, по умолчанию1.0) — Масштаб, применяемый к дельте шага времени перед дискретизацией. - time_step_min (
float, необязательный, по умолчанию0.001) — Минимальное значениеtime_step, используемое для ограниченияdt_proj.bias. - time_step_max (
float, необязательный, по умолчанию0.1) — Максимальное значениеtime_step, используемое для ограниченияdt_proj.bias. - time_step_init_scheme (
str, необязательный, по умолчаниюrandom) — Схема инициализации для дельты шага времени. Может быть"random"или"uniform". - time_step_floor (
float, необязательный, по умолчанию0.0001) — Минимально допустимое значение дискретного шага времени delta после активации softplus. - rescale_prenorm_residual (
bool, необязательный, по умолчаниюFalse) — Указывает, следует ли перемасштабировать весаout_projпри инициализации. - use_cache (
bool, необязательный, по умолчаниюTrue) — Указывает, должен ли модель возвращать последние ключи/значения внимания (не используется во всех моделях). Актуально только еслиconfig.is_decoder=Trueили если модель является генеративной моделью только с декодером. - use_mambapy (
bool, необязательный, по умолчаниюFalse) — Определяет стратегию отката при обучении, если официальная реализация Mamba на базе CUDA недоступна. ЕслиTrue, используется реализация mamba.py. ЕслиFalse, используется наивная и более медленная реализация. При ограниченной памяти рекомендуется переключиться на наивную версию. - use_associative_scan (
bool, optional, по умолчаниюTrue) — Определяет, следует ли использоватьtorch._higher_order_ops.associative_scanиз PyTorch для параллельного сканирования вместо наивной последовательной реализации. Ассоциативное сканирование активно только во время трассировкиtorch.compileи требует torch >= 2.9.0. Оба пути протестированы на численную идентичность результатов (см.test_associative_scan_matches_sequential). УстановитеFalse, чтобы вернуться к последовательному циклу. - tie_word_embeddings (
bool, необязательный, по умолчаниюTrue) — Определяет, следует ли связывать веса эмбеддингов согласно маппингуtied_weights_keysмодели. - mixer_rms_eps (
float, необязательный, по умолчанию 1e-06) — Значение epsilon для нормализации RMS, используемое в Mixer RMS norm для состояний B, C и dt.
Это класс конфигурации для хранения настроек модели FalconMambaModel. Он используется для создания модели Falcon Mamba в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации tiiuae/falcon-mamba-7b
Объекты конфигурации наследуются от PreTrainedConfig и могут использоваться для управления выводами модели. Подробнее читайте в документации PreTrainedConfig.
Пример:
>>> from transformers import FalconMambaConfig, FalconMambaModel
>>> # Initializing a FalconMamba configuration
>>> configuration = FalconMambaConfig()
>>> # Initializing a model (with random weights) from the configuration
>>> model = FalconMambaModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configFalconMambaModel
класс transformers.FalconMambaModel
< source >( config: FalconMambaConfig )
Параметры
- config (FalconMambaConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация с помощью файла конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Чтобы загрузить веса модели, используйте метод from_pretrained().
Модель Falcon Mamba, выводящая необработанные скрытые состояния без какого-либо специализированного слоя на выходе.
Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)
Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneinputs_embeds: typing.Optional[torch.LongTensor] = Nonecache_params: transformers.cache_utils.Cache | None = Noneuse_cache: bool | None = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = Noneattention_mask: typing.Optional[torch.LongTensor] = None**kwargs ) → FalconMambaOutput or tuple(torch.Tensor)
Параметры
- input_ids (
torch.LongTensorформы(batch_size, sequence_length), , необязательный) — Индексы токенов входной последовательности в словаре. По умолчанию токены отсечки (padding) игнорируются.Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().
- inputs_embeds (
torch.LongTensorформы(batch_size, sequence_length, hidden_size), необязательный) — При необходимости, вместо передачиinput_idsможно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексыinput_idsпреобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска эмбеддингов модели. - cache_params (
Cache, необязательный) — Если передан, модель использует предыдущее состояние во всех блоках (что даст вывод дляinput_ids, как если бы модель добавилаstate_input_ids + input_idsв контекст). - use_cache (
bool, необязательный) — Если установлено вTrue, возвращаетсяcache_params, которое можно использовать для быстрого генерирования следующих logits. - output_hidden_states (
bool, необязательный) — Указывает, следует ли возвращать скрытые состояния всех слоев. Подробности см. в описанииhidden_statesсреди возвращаемых тензоров. - return_dict (
bool, необязательный) — Указывает, следует ли возвращать ModelOutput вместо обычного кортежа. - attention_mask (
torch.LongTensorформы(batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона[0, 1]:- 1 для токенов, которые не замаскированы,
- 0 для токенов, которые замаскированы.
Возвращает
FalconMambaOutput или tuple(torch.Tensor)
FalconMambaOutput или кортеж из
torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные
элементы в зависимости от конфигурации (FalconMambaConfig) и входных данных.
Метод forward модели FalconMambaModel переопределяет специальный метод __call__.
Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр
Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.
last_hidden_state (
torch.Tensorформы(batch_size, sequence_length, hidden_size), необязательный) — Последовательность скрытых состояний на выходе последнего слоя модели.cache_params (
~cache_utils.Cache, необязательный) — состояние модели на последнем шаге. Может использоваться в forward-методе вместе с новымиinput_ids, чтобы избежать передачи старыхinput_ids.Включает в себя как матрицы состояния модели пространства состояний после селективного сканирования, так и состояния свёрток
hidden_states (
tuple[torch.Tensor], необязательный, возвращается при передачеoutput_hidden_states=Trueили когдаconfig.output_hidden_states=True) — Кортеж изtorch.Tensor(один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы(batch_size, sequence_length, hidden_size).Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
FalconMambaLMHeadModel
класс transformers.FalconMambaForCausalLM
< source >( config: FalconMambaConfig )
Параметры
- config (FalconMambaConfig) — Класс конфигурации модели, содержащий все параметры модели. Инициализация с помощью файла конфигурации не загружает веса, связанные с моделью, а только конфигурацию. Чтобы загрузить веса модели, используйте метод from_pretrained().
Трансформер модели FALCON_MAMBA с головной частью для моделирования языка (линейный слой с весами, связанными с входными эмбеддингами).
Эта модель наследуется от PreTrainedModel. См. документацию родительского класса для общих методов, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка голов и т. д.)
Эта модель также является подклассом torch.nn.Module в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.
forward
< source >( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.LongTensor] = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonecache_params: transformers.cache_utils.Cache | None = Nonelabels: typing.Optional[torch.LongTensor] = Noneoutput_hidden_states: bool | None = Nonereturn_dict: bool | None = Noneuse_cache: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs ) → FalconMambaCausalLMOutput or tuple(torch.Tensor)
Параметры
- input_ids (
torch.LongTensorформы(batch_size, sequence_length), , необязательный) — Индексы токенов входной последовательности в словаре. По умолчанию токены отсечки (padding) игнорируются.Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().
- attention_mask (
torch.LongTensorформы(batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона[0, 1]:- 1 для токенов, которые не замаскированы,
- 0 для токенов, которые замаскированы.
- inputs_embeds (
torch.Tensorформы(batch_size, sequence_length, hidden_size), необязательный) — При необходимости, вместо передачиinput_idsможно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексыinput_idsпреобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели. - cache_params (
Cache, необязательный) — Если передан, модель использует предыдущее состояние во всех блоках (что даст вывод дляinput_ids, как если бы модель добавилаstate_input_ids + input_idsв контекст). - labels (
torch.LongTensorформы(batch_size, sequence_length), необязательный) — Метки для моделирования языка. Обратите внимание, что метки сдвигаются внутри модели, то есть можно задатьlabels = input_idsИндексы выбираются из диапазона[-100, 0, ..., config.vocab_size]Все метки, установленные в-100, игнорируются (маскируются); потеря вычисляется только для меток из диапазона[0, ..., config.vocab_size] - output_hidden_states (
bool, необязательный) — Указывает, следует ли возвращать скрытые состояния всех слоев. Подробности см. в описанииhidden_statesсреди возвращаемых тензоров. - return_dict (
bool, необязательный) — Указывает, следует ли возвращать ModelOutput вместо обычного кортежа. - use_cache (
bool, необязательный) — Если установлено вTrue, возвращаетсяcache_params, которое можно использовать для быстрого генерирования следующих logits. - logits_to_keep (
Union[int, torch.Tensor], необязательный, по умолчанию0) — Если передано значение типаint, вычисляет logits для последнихlogits_to_keepтокенов. Если указано0, logits вычисляются для всехinput_ids(особый случай). Для генерации нужны logits только последнего токена, и вычисление их только для этого токена позволяет сэкономить память, что становится весьма значимым для длинных последовательностей или большого размера словаря. Если передано значение типаtorch.Tensor, оно должно быть одномерным и соответствовать индексам, которые нужно сохранить в измерении длины последовательности. Это полезно при использовании упакованного формата тензоров (один размер для batch и длины последовательности).
Возвращает
FalconMambaCausalLMOutput или tuple(torch.Tensor)
FalconMambaCausalLMOutput или кортеж из
torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные
элементы в зависимости от конфигурации (FalconMambaConfig) и входных данных.
Метод FalconMambaForCausalLM forward переопределяет специальный метод __call__.
Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр
Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.
loss (
torch.Tensorформы(1,), необязательный, возвращается, если заданlabels) — Потери языковой модели (для предсказания следующего токена).logits (
torch.Tensorформы(batch_size, sequence_length, config.vocab_size)) — Оценки предсказаний языковой модели (оценки для каждого токена словаря до применения SoftMax).cache_params (
~cache_utils.Cache, необязательный) — состояние модели на последнем шаге. Может использоваться в forward-методе вместе с новымиinput_ids, чтобы избежать передачи старыхinput_ids.Включает в себя как матрицы состояния модели пространства состояний после селективного сканирования, так и состояния свёрток
hidden_states (
tuple[torch.Tensor], необязательный, возвращается при передачеoutput_hidden_states=Trueили когдаconfig.output_hidden_states=True) — Кортеж изtorch.Tensor(один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы(batch_size, sequence_length, hidden_size).Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.