Параметры

• images (`) -- Image to preprocess. Expects a single or batch of images with pixel values ranging from 0 to 255. If passing in images with pixel values between 0 and 1, set do_rescale=False`.
• do_convert_rgb (bool, kwargs, optional) — Следует ли преобразовать изображение в RGB.
• do_resize (bool, kwargs, optional) — Указывает, нужно ли изменить размер изображения.
• size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Описывает максимальные размеры входных данных для модели.
• default_to_square (bool, kwargs, optional) — Определяет, следует ли по умолчанию использовать квадратное изображение при изменении размера, если size является целым числом.
• crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер выходного изображения после применения center_crop.
• resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs) — Фильтр ресемплинга, используемый при изменении размера изображения. Может быть одним из значений перечисления PILImageResampling. Влияет только в том случае, если do_resize установлено в True.
• do_rescale (bool, kwargs, optional) — Нужно ли перемасштабировать изображение.
• rescale_factor (float, kwargs, optional) — Коэффициент масштабирования, применяемый к изображению, если do_rescale установлен в True.
• do_normalize (bool, kwargs, optional) — Нужно ли нормализовать изображение.
• image_mean (Union[float, list[float], tuple[float, ...]], kwargs, optional) — Среднее значение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
• image_std (Union[float, list[float], tuple[float, ...]], kwargs, optional) — Стандартное отклонение изображения, используемое для нормализации. Влияет только в том случае, если do_normalize установлено в True.
• do_pad (bool, kwargs, optional) — Определяет, нужно ли выравнивать изображение. Выравнивание выполняется либо до максимального размера в батче, либо до фиксированного квадратного размера для каждого изображения. Точная стратегия выравнивания зависит от модели.
• pad_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — Размер в формате {"height": int, "width" int}, до которого следует дополнить изображения. Должен быть больше любого размера изображения, предоставленного для предобработки. Если pad_size не указан, изображения будут дополнены до наибольшей высоты и ширины в батче. Применяется только при do_pad=True.
• do_center_crop (bool, kwargs, optional) — Выполнять ли центрированную обрезку изображения.
• data_format (Union[str, ~image_utils.ChannelDimension], kwargs, optional) — Поддерживается только ChannelDimension.FIRST. Добавлено для совместимости с медленными процессорами.
• input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, необязательный) — Формат размерности каналов для входного изображения. Если не задан, формат размерности каналов выводится из входного изображения. Может быть одним из:
  • "channels_first" или ChannelDimension.FIRST: изображение в формате (num_channels, height, width).
  • "channels_last" или ChannelDimension.LAST: изображение в формате (высота, ширина, число каналов).
  • "none" или ChannelDimension.NONE: изображение в формате (height, width).
• device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — Устройство, на котором будут обрабатываться видео. Если не задано, устройство определяется на основе входных видео.
• return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — Возвращает стопку тензоров, если установлено значение 'pt', иначе возвращает список тензоров.
• disable_grouping (bool, kwargs, optional) — Определяет, следует ли отключить группировку изображений по размеру для их индивидуальной обработки, а не пачками. Если значение равно None, оно будет установлено в True, если изображения находятся на CPU, и в False в противном случае. Этот выбор основан на эмпирических наблюдениях, описанных здесь: https://github.com/huggingface/transformers/pull/38157
• image_seq_length (int, kwargs, optional) — Количество токенов изображения, используемых для каждого изображения во входных данных. Добавлено для обратной совместимости, но в будущих моделях это значение следует задавать как атрибут процессора.
• patch_size (int, kwargs, optional, по умолчанию 16) — Длина стороны, в пикселях, одного патча башни зрения.
• downsample_ratio (float, kwargs, optional, по умолчанию 0.5) — Пространственный коэффициент downsampling, применяемый моделью через pixel-shuffle; каждая сторона сетки патчей является кратной его обратному значению.
• min_num_patches (int, kwargs, optional, по умолчанию 1024) — Минимальное количество патчей размера patch_size, до которого изображение масштабируется.
• max_num_patches (int, kwargs, optional, по умолчанию 13312) — Максимальное количество патчей размера patch_size, до которого изображение масштабируется; 0 отключает ограничение.
• max_model_len (int, kwargs, необязательный, по умолчанию 16384) — Длина контекста языковой модели, которая ограничивает бюджет патчей для изображений в одном вызове.

Параметры

• input_ids (torch.LongTensor формы (batch_size, sequence_length), , необязательный) — Индексы токенов входной последовательности в словаре. По умолчанию токены отсечки (padding) игнорируются.

  Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().

  Что такое входные идентификаторы?

• pixel_values (torch.Tensor формы (total_patches, num_channels * patch_size**2), необязательный) — Сплющенные патчи всех изображений, объединённые в один тензор, как возвращает процессор изображений.
• image_grid_hw (torch.LongTensor формы (num_images, 2), необязательный) — Сетка патчей (height, width) для каждого изображения в pixel_values.
• pixel_values_videos (torch.Tensor формы (batch_size, num_frames, num_channels, frame_size, frame_size), необязательный) — Тензоры, соответствующие входному видео. Пиксельные значения для видео можно получить с помощью NemotronH_Omni_Reasoning_V3VideoProcessor. Подробности см. в NemotronH_Omni_Reasoning_V3VideoProcessor.call() (NemotronH_Omni_Reasoning_V3Processor использует NemotronH_Omni_Reasoning_V3VideoProcessor для обработки видео).
• input_features (torch.Tensor формы (batch_size, num_frames, num_mel_bins), необязательный) — Мел-фичи, сгенерированные процессором, закодированные и распределённые по токенам-заполнителям аудио.
• input_features_mask (torch.Tensor формы (batch_size, num_frames), необязательный) — Маска, отмечающая реальные мел-кадры каждого дополненного клипа.
• attention_mask (torch.Tensor формы (batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона [0, 1]:
  • 1 для токенов, которые не замаскированы,
  • 0 для токенов, которые замаскированы.

  Что такое маски внимания?

• position_ids (torch.LongTensor формы (batch_size, sequence_length), , необязательный) — Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона [0, config.n_positions - 1].

  Что такое идентификаторы позиций?

• past_key_values (~cache_utils.Cache, необязательный) — Предвычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно это past_key_values , возвращённые моделью на предыдущем этапе декодирования, когда use_cache=True или config.use_cache=True.

  В качестве входного параметра допускается только экземпляр Cache, см. наше руководство по кэшу KV. Если past_key_values не переданы, по умолчанию будет инициализирован DynamicCache.

  Модель будет выводить тот же формат кэша, который был передан на вход.

  Если используются past_key_values, ожидается, что пользователь передаст только необработанные input_ids (те, для которых в этой модели ещё не заданы состояния прошлых ключей и значений) формы (batch_size, unprocessed_length), а не все input_ids формы (batch_size, sequence_length).

• labels (torch.LongTensor формы (batch_size, sequence_length), необязательный) — Метки для вычисления потерь маскированного языкового моделирования. Индексы должны находиться в диапазоне [0, ..., config.vocab_size] или быть равны -100 (см. docstring input_ids). Токены с индексами, установленными в -100, игнорируются (маскируются); потери вычисляются только для токенов с метками в диапазоне [0, ..., config.vocab_size].
• inputs_embeds (torch.Tensor формы (batch_size, sequence_length, hidden_size), необязательный) — При необходимости, вместо передачи input_ids можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы input_ids преобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели.
• use_cache (bool, необязательный) — Если установлено в True, возвращаются состояния ключей и значений past_key_values, которые можно использовать для ускорения декодирования (см. past_key_values).
• mm_encoder_outputs (dict[str, ~modeling_outputs.BaseModelOutputWithPooling], необязательный) — Словарь, где ключами являются поддерживаемые модальности, а значениями — закодированные результаты для соответствующей модальности. Каждый закодированный результат представляет собой кортеж вида (pooler_output, необязательный: last_hidden_states, необязательный: hidden_states, необязательный: attentions) pooler_output формы (batch_size, sequence_length, hidden_size), необязательный) — последовательность мультимодальных признаков энкодера, объединённых с текстовыми эмбеддингами.

Параметры

• inputs (torch.Tensor произвольной формы в зависимости от модальности, необязательный) — Последовательность, используемая в качестве промпта для генерации или в качестве входных данных для энкодера. Если None, метод инициализирует её с помощью bos_token_id и размером батча, равным 1. Для моделей только с декодером inputs должен быть в формате input_ids. Для моделей с энкодером-декодером inputs может представлять собой input_ids, input_values, input_features или pixel_values.
• generation_config (GenerationConfig, optional) — Конфигурация генерации, используемая в качестве базовой параметризации для вызова генерации. **kwargs, передаваемые в generate и совпадающие с атрибутами generation_config, будут переопределять их. Если generation_config не указан, будет использован вариант по умолчанию, который имеет следующий приоритет загрузки: 1) из файла модели generation_config.json, если он существует; 2) из конфигурации модели. Обратите внимание, что не указанные параметры наследуют значения по умолчанию GenerationConfig, документация по которым должна быть проверена для параметризации генерации.
• logits_processor (LogitsProcessorList, необязательный) — Пользовательские обработчики logits, дополняющие стандартные обработчики logits, создаваемые на основе аргументов и конфигурации генерации. Если передан обработчик logits, который уже был создан с помощью аргументов или конфигурации генерации, возникает ошибка. Эта функция предназначена для опытных пользователей.
• stopping_criteria (StoppingCriteriaList, необязательный) — Пользовательские критерии остановки, дополняющие критерии остановки по умолчанию, формируемые на основе аргументов и конфигурации генерации. Если передан критерий остановки, который уже был создан с использованием этих аргументов или конфигурации генерации, будет выброшена ошибка. Если ваш критерий остановки зависит от входных данных scores, убедитесь, что вы передаёте return_dict_in_generate=True, output_scores=True в generate. Эта функция предназначена для опытных пользователей.
• prefix_allowed_tokens_fn (Callable[[int, torch.Tensor], list[int]], необязательный) — Если указан, этот параметр ограничивает поиск лучами (beam search) только разрешёнными токенами на каждом шаге. Если не указан, ограничения не применяются. Функция принимает два аргумента: идентификатор батча batch_id и input_ids. Она должна возвращать список разрешённых токенов для следующего шага генерации, зависящий от идентификатора батча batch_id и ранее сгенерированных токенов inputs_ids. Этот аргумент полезен для ограниченной генерации, обусловленной префиксом, как описано в Autoregressive Entity Retrieval.
• synced_gpus (bool, необязательный) — Определяет, следует ли продолжать выполнение цикла while до достижения max_length. Если значение не переопределено, этот флаг будет установлен в True при использовании FullyShardedDataParallel или DeepSpeed ZeRO Stage 3 с несколькими GPU, чтобы избежать блокировки, если один GPU завершает генерацию раньше других. В противном случае по умолчанию устанавливается False.
• assistant_model (PreTrainedModel, необязательный) — Модель ассистента, которая может использоваться для ускорения генерации. Модель ассистента должна использовать точно такой же токенизатор. Ускорение достигается, когда прогнозирование кандидатных токенов с помощью модели ассистента выполняется значительно быстрее, чем запуск генерации с моделью, от которой вы вызываете generate. В связи с этим модель ассистента должна быть значительно меньше.
• streamer (BaseStreamer, необязательный) — Объект, который будет использоваться для потоковой передачи сгенерированных последовательностей. Сгенерированные токены передаются через streamer.put(token_ids), а streamer отвечает за дальнейшую обработку.
• negative_prompt_ids (torch.LongTensor формы (batch_size, sequence_length), необязательный) — Негативный промпт, необходимый для некоторых процессоров, например CFG. Размер батча должен совпадать с размером входного батча. Это экспериментальная функция, которая может претерпеть несовместимые изменения API в будущих версиях.
• negative_prompt_attention_mask (torch.LongTensor формы (batch_size, sequence_length), необязательный) — Attention_mask для negative_prompt_ids.
• custom_generate (str или Callable, необязательный) — Одно из следующих значений:
  • str (имя репозитория Hugging Face Hub): выполняет пользовательскую функцию generate, определённую в файле custom_generate/generate.py этого репозитория, вместо стандартного метода generate. Репозиторий полностью заменяет логику генерации, а тип возвращаемого значения может отличаться.
  • str (путь к локальному репозиторию): то же самое, но из локального пути. Для локальных каталогов также требуется trust_remote_code=True, поскольку выполняется локальный custom_generate/generate.py.
  • Callable: generate выполнит стандартные шаги подготовки входных данных, а затем вызовет переданную callable для запуска цикла декодирования. Подробнее см. документацию.
• kwargs (dict[str, Any], необязательный) — Служебная параметризация generation_config и/или дополнительные специфичные для модели kwargs, которые будут переданы в функцию forward модели. Если модель является моделью с кодировщиком-декодировщиком, kwargs, специфичные для кодировщика, не должны иметь префикса, а kwargs, специфичные для декодера, должны иметь префикс decoder_.