# Nougat ## Resumen El modelo Nougat se propuso en [Nougat: Neural Optical Understanding for Academic Documents](https://huggingface.co/papers/2308.13418) de Lukas Blecher, Guillem Cucurull, Thomas Scialom y Robert Stojnic. Nougat utiliza la misma arquitectura que [Donut](donut), es decir, un codificador Transformer de imágenes y un decodificador Transformer de texto autoregresivo para traducir PDF científicos a markdown, lo que facilita su acceso. El resumen del artículo es el siguiente: *El conocimiento científico se almacena principalmente en libros y revistas científicas, a menudo en formato PDF. Sin embargo, el formato PDF provoca una pérdida de información semántica, especialmente en el caso de las expresiones matemáticas. Proponemos Nougat (Neural Optical Understanding for Academic Documents), un modelo Visual Transformer que realiza una tarea de Reconocimiento Óptico de Caracteres (OCR) para procesar documentos científicos en un lenguaje de marcado, y demostramos la eficacia de nuestro modelo en un nuevo conjunto de datos de documentos científicos. El enfoque propuesto ofrece una solución prometedora para mejorar la accesibilidad del conocimiento científico en la era digital, al cerrar la brecha entre los documentos legibles por humanos y el texto legible por máquinas. Publicamos los modelos y el código para acelerar el trabajo futuro en el reconocimiento de texto científico.* drawing Nougat: visión general de alto nivel. Tomado del artículo original. Este modelo fue aportado por [nielsr](https://huggingface.co/nielsr). El código original se puede encontrar [aquí](https://github.com/facebookresearch/nougat). ## Consejos de uso - La forma más rápida de empezar con Nougat es consultar los [cuadernos de tutorial](https://github.com/NielsRogge/Transformers-Tutorials/tree/master/Nougat), que muestran cómo usar el modelo en tiempo de inferencia y cómo realizar el ajuste fino con datos personalizados. - Nougat siempre se utiliza dentro del marco de [VisionEncoderDecoder](vision-encoder-decoder). El modelo es idéntico a [Donut](donut) en términos de arquitectura. ## Inferencia El modelo `VisionEncoderDecoder` de Nougat acepta imágenes como entrada y utiliza [generate()](/docs/transformers/main/es/main_classes/text_generation#transformers.GenerationMixin.generate) para generar texto de forma autoregresiva a partir de la imagen de entrada. La clase [NougatImageProcessor](/docs/transformers/main/es/model_doc/nougat#transformers.NougatImageProcessor) se encarga de preprocesar la imagen de entrada y [NougatTokenizerFast](/docs/transformers/main/es/model_doc/nougat#transformers.NougatTokenizer) decodifica los tokens objetivo generados en la cadena objetivo. [NougatProcessor](/docs/transformers/main/es/model_doc/nougat#transformers.NougatProcessor) agrupa las clases [NougatImageProcessor](/docs/transformers/main/es/model_doc/nougat#transformers.NougatImageProcessor) y [NougatTokenizerFast](/docs/transformers/main/es/model_doc/nougat#transformers.NougatTokenizer) en una única instancia para extraer las características de entrada y decodificar los ids de tokens predichos. - Transcripción de PDF paso a paso ```python from huggingface_hub import hf_hub_download from PIL import Image from transformers import AutoModelForImageTextToText, NougatProcessor processor = NougatProcessor.from_pretrained("facebook/nougat-base") model = AutoModelForImageTextToText.from_pretrained("facebook/nougat-base", device_map="auto") model.to(model.device) # doctest: +IGNORE_RESULT # prepare PDF image for the model filepath = hf_hub_download(repo_id="hf-internal-testing/fixtures_docvqa", filename="nougat_paper.png", repo_type="dataset") image = Image.open(filepath) pixel_values = processor(image, return_tensors="pt").to(model.device).pixel_values # generate transcription (here we only generate 30 tokens) outputs = model.generate( pixel_values.to(model.device), min_length=1, max_new_tokens=30, bad_words_ids=[[processor.tokenizer.unk_token_id]], ) sequence = processor.batch_decode(outputs, skip_special_tokens=True)[0] sequence = processor.post_process_generation(sequence, fix_markdown=False) # note: we're using repr here such for the sake of printing the \n characters, feel free to just print the sequence print(repr(sequence)) '\n\n# Nougat: Neural Optical Understanding for Academic Documents\n\n Lukas Blecher\n\nCorrespondence to: lblecher@' ``` Consulte el [model hub](https://huggingface.co/models?filter=nougat) para buscar puntos de control de Nougat. El modelo es idéntico a [Donut](donut) en términos de arquitectura. ## NougatConfig[[transformers.NougatConfig]] #### transformers.NougatConfig[[transformers.NougatConfig]] ```python transformers.NougatConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, is_encoder_decoder: bool = True, encoder: dict | transformers.configuration_utils.PreTrainedConfig | None = None, decoder: dict | transformers.configuration_utils.PreTrainedConfig | None = None) ``` [Fuente](https://github.com/huggingface/transformers/blob/main/src/transformers/models/nougat/configuration_nougat.py#L28) **Parámetros:** is_encoder_decoder (`bool`, *opcional*, valor predeterminado `True`) : Indica si el modelo se utiliza como codificador/decodificador o no. encoder (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *opcional*) : El objeto de configuración o el diccionario del backbone del codificador. decoder (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *opcional*) : El objeto de configuración o el diccionario del backbone del decodificador. Esta es la clase de configuración para almacenar la configuración de un NougatModel. Se utiliza para instanciar un modelo Nougat según los argumentos especificados, definiendo la arquitectura del modelo. Instanciar una configuración con los valores predeterminados producirá una configuración similar a la de [facebook/nougat-base](https://huggingface.co/facebook/nougat-base) Los objetos de configuración heredan de [PreTrainedConfig](/docs/transformers/main/es/main_classes/configuration#transformers.PreTrainedConfig) y se pueden utilizar para controlar las salidas del modelo. Consulte la documentación de [PreTrainedConfig](/docs/transformers/main/es/main_classes/configuration#transformers.PreTrainedConfig) para obtener más información. Ejemplos: ```python >>> from transformers import NougatConfig, VisionEncoderDecoderModel >>> # Initializing a Nougat configuration >>> config = NougatConfig() >>> # Initializing a VisionEncoderDecoder model (with random weights) from a Nougat configurations >>> model = VisionEncoderDecoderModel(config=config) ``` #### from_encoder_decoder_configs[[transformers.NougatConfig.from_encoder_decoder_configs]] ```python from_encoder_decoder_configs(encoder_config: PreTrainedConfig, decoder_config: PreTrainedConfig, **kwargs) ``` [Fuente](https://github.com/huggingface/transformers/blob/main/src/transformers/models/nougat/configuration_nougat.py#L52) **Devuelve:** [VisionEncoderDecoderConfig](/docs/transformers/main/es/model_doc/vision-encoder-decoder#transformers.VisionEncoderDecoderConfig) Una instancia de un objeto de configuración Instanciar un [VisionEncoderDecoderConfig](/docs/transformers/main/es/model_doc/vision-encoder-decoder#transformers.VisionEncoderDecoderConfig) (o una clase derivada) a partir de la configuración de un modelo codificador preentrenado y la configuración de un modelo decodificador. ## NougatImageProcessor[[transformers.NougatImageProcessor]] #### transformers.NougatImageProcessor[[transformers.NougatImageProcessor]] ```python transformers.NougatImageProcessor(**kwargs: *) ``` [Fuente](https://github.com/huggingface/transformers/blob/main/src/transformers/models/nougat/image_processing_nougat.py#L57) **Parámetros:** do_convert_rgb (`bool`, *kwargs*, *opcional*) : Si se debe convertir la imagen a RGB. do_resize (`bool`, *kwargs*, *opcional*, valor predeterminado `True`) : Si se debe redimensionar la imagen. size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*, por defecto `{'height' : 896, 'width': 672}`): Describe las dimensiones máximas de entrada para el modelo. default_to_square (`bool`, *kwargs*, *opcional*, valor predeterminado `True`) : Si se debe usar una imagen cuadrada por defecto al redimensionar, cuando el tamaño es un entero. crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Tamaño de la imagen de salida tras aplicar `center_crop`. resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*, por defecto `2`) : Filtro de remuestreo que se utilizará si se redimensiona la imagen. Puede ser uno de los valores de la enumeración `PILImageResampling`. Solo tiene efecto si `do_resize` está establecido en `True`. do_rescale (`bool`, *kwargs*, *opcional*, valor predeterminado `True`) : Indica si se debe reescalar la imagen. rescale_factor (`float`, *kwargs*, *opcional*, valor predeterminado `0.00392156862745098`) : Factor de reescalado para reescalar la imagen si `do_rescale` está establecido en `True`. do_normalize (`bool`, *kwargs*, *opcional*, valor predeterminado `True`) : Si se debe normalizar la imagen. image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opcional*, valor predeterminado `[0.485, 0.456, 0.406]`) : Media de la imagen a utilizar para la normalización. Solo tiene efecto si `do_normalize` está establecido en `True`. image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opcional*, valor predeterminado `[0.229, 0.224, 0.225]`) : Desviación estándar de la imagen que se utilizará para la normalización. Solo tiene efecto si `do_normalize` está establecido en `True`. do_pad (`bool`, *kwargs*, *opcional*, valor predeterminado `True`) : Indica si se debe aplicar relleno a la imagen. El relleno se realiza hasta el mayor tamaño del lote o hasta un tamaño cuadrado fijo por imagen. La estrategia exacta de relleno depende del modelo. pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : El tamaño en `{"height": int, "width" int}` al que se rellenan las imágenes. Debe ser mayor que el tamaño de cualquier imagen proporcionada para el preprocesamiento. Si no se proporciona `pad_size`, las imágenes se rellenarán hasta la mayor altura y anchura del lote. Se aplica solo cuando `do_pad=True.` do_center_crop (`bool`, *kwargs*, *opcional*) : Si se debe recortar la imagen centrada. data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *opcional*) : Solo se admite `ChannelDimension.FIRST`. Se añadió para garantizar la compatibilidad con los procesadores lentos. input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *opcional*) : El formato de la dimensión de canal para la imagen de entrada. Si no se establece, el formato de la dimensión de canal se infiere a partir de la imagen de entrada. Puede ser uno de: - `"channels_first"` o `ChannelDimension.FIRST`: imagen en formato (num_channels, height, width). - `"channels_last"` o `ChannelDimension.LAST`: imagen en formato (height, width, num_channels). - `"none"` o `ChannelDimension.NONE`: imagen en formato (height, width). device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : El dispositivo en el que se procesarán los vídeos. Si no se establece, el dispositivo se infiere a partir de los vídeos de entrada. return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : Devuelve tensores apilados si se establece en `'pt'`; en caso contrario, devuelve una lista de tensores. disable_grouping (`bool`, *kwargs*, *opcional*) : Si se debe deshabilitar el agrupamiento de imágenes por tamaño para procesarlas de forma individual y no en lotes. Si es None, se establecerá en True si las imágenes están en CPU, y en False en caso contrario. Esta elección se basa en observaciones empíricas, como se detalla aquí: https://github.com/huggingface/transformers/pull/38157 image_seq_length (`int`, *kwargs*, *opcional*) : El número de tokens de imagen que se utilizarán para cada imagen en la entrada. Se añadió por compatibilidad con versiones anteriores, pero en los modelos futuros esto debería configurarse como un atributo del procesador. do_crop_margin (`bool`, *kwargs*, *opcional*, valor predeterminado `self.do_crop_margin`) : Si se recortan los márgenes de la imagen. do_thumbnail (`bool`, *kwargs*, *opcional*, valor predeterminado `self.do_thumbnail`) : Si se debe redimensionar la imagen usando el método thumbnail. do_align_long_axis (`bool`, *kwargs*, *opcional*, valor predeterminado `self.do_align_long_axis`) : Si se debe alinear el eje largo de la imagen con el eje largo de `size` mediante una rotación de 90 grados. Construye un procesador de imágenes NougatImageProcessor. #### preprocess[[transformers.NougatImageProcessor.preprocess]] ```python preprocess(images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']], **kwargs: *) ``` [Fuente](https://github.com/huggingface/transformers/blob/main/src/transformers/models/nougat/image_processing_nougat.py#L74) **Parámetros:** images (`Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]`) : Imagen a preprocesar. Espera una imagen única o un lote de imágenes con valores de píxeles que van de 0 a 255. Si se pasan imágenes con valores de píxeles entre 0 y 1, establezca `do_rescale=False`. do_convert_rgb (`bool`, *kwargs*, *opcional*) : Si se debe convertir la imagen a RGB. do_resize (`bool`, *kwargs*, *opcional*) : Si se debe redimensionar la imagen. size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Describe las dimensiones máximas de entrada del modelo. default_to_square (`bool`, *kwargs*, *opcional*) : Si el tamaño es un entero, si se debe usar una imagen cuadrada por defecto al redimensionar. crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Tamaño de la imagen de salida tras aplicar `center_crop`. resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*) : Filtro de remuestreo que se utilizará si se redimensiona la imagen. Puede ser uno de los valores de la enumeración `PILImageResampling`. Solo tiene efecto si `do_resize` está establecido en `True`. do_rescale (`bool`, *kwargs*, *opcional*) : Si se debe reescalar la imagen. rescale_factor (`float`, *kwargs*, *opcional*) : Factor de reescalado para reescalar la imagen si `do_rescale` está establecido en `True`. do_normalize (`bool`, *kwargs*, *opcional*) : Si se debe normalizar la imagen. image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opcional*) : Media de la imagen a utilizar para la normalización. Solo tiene efecto si `do_normalize` está establecido en `True`. image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opcional*) : Desviación estándar de la imagen a utilizar para la normalización. Solo tiene efecto si `do_normalize` está establecido en `True`. do_pad (`bool`, *kwargs*, *opcional*) : Indica si se debe aplicar relleno a la imagen. El relleno se realiza hasta el tamaño más grande del lote o hasta un tamaño cuadrado fijo por imagen. La estrategia exacta de relleno depende del modelo. pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : El tamaño en `{"height": int, "width" int}` al que se rellenan las imágenes. Debe ser mayor que el tamaño de cualquier imagen proporcionada para el preprocesamiento. Si no se proporciona `pad_size`, las imágenes se rellenarán hasta la mayor altura y anchura del lote. Se aplica solo cuando `do_pad=True.` do_center_crop (`bool`, *kwargs*, *opcional*) : Si se debe recortar la imagen centrada. data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *opcional*) : Solo se admite `ChannelDimension.FIRST`. Se añadió para garantizar la compatibilidad con los procesadores lentos. input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *opcional*) : El formato de la dimensión de canal para la imagen de entrada. Si no se establece, el formato de la dimensión de canal se infiere a partir de la imagen de entrada. Puede ser uno de: - `"channels_first"` o `ChannelDimension.FIRST`: imagen en formato (num_channels, height, width). - `"channels_last"` o `ChannelDimension.LAST`: imagen en formato (height, width, num_channels). - `"none"` o `ChannelDimension.NONE`: imagen en formato (height, width). device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : El dispositivo en el que se procesarán los vídeos. Si no se establece, el dispositivo se infiere a partir de los vídeos de entrada. return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : Devuelve tensores apilados si se establece en `'pt'`; en caso contrario, devuelve una lista de tensores. disable_grouping (`bool`, *kwargs*, *opcional*) : Si se debe deshabilitar el agrupamiento de imágenes por tamaño para procesarlas de forma individual y no en lotes. Si es None, se establecerá en True si las imágenes están en CPU, y en False en caso contrario. Esta elección se basa en observaciones empíricas, como se detalla aquí: https://github.com/huggingface/transformers/pull/38157 image_seq_length (`int`, *kwargs*, *opcional*) : El número de tokens de imagen que se utilizarán para cada imagen en la entrada. Se añadió por compatibilidad con versiones anteriores, pero en los modelos futuros esto debería configurarse como un atributo del procesador. do_crop_margin (`bool`, *kwargs*, *opcional*, valor predeterminado `self.do_crop_margin`) : Si se recortan los márgenes de la imagen. do_thumbnail (`bool`, *kwargs*, *opcional*, valor predeterminado `self.do_thumbnail`) : Si se debe redimensionar la imagen usando el método thumbnail. do_align_long_axis (`bool`, *kwargs*, *opcional*, valor predeterminado `self.do_align_long_axis`) : Si se debe alinear el eje largo de la imagen con el eje largo de `size` mediante una rotación de 90 grados. **Devuelve:** `~image_processing_base.BatchFeature` - **data** (`dict`) -- Diccionario de listas/arrays/tensores devueltos por el método __call__ ('pixel_values', etc.). - **tensor_type** (`Union[None, str, TensorType]`, *opcional*) -- Puede especificar un tensor_type aquí para convertir las listas de enteros en Tensors de PyTorch/Numpy durante la inicialización. ## NougatImageProcessorPil[[transformers.NougatImageProcessorPil]] #### transformers.NougatImageProcessorPil[[transformers.NougatImageProcessorPil]] ```python transformers.NougatImageProcessorPil(**kwargs: *) ``` [Fuente](https://github.com/huggingface/transformers/blob/main/src/transformers/models/nougat/image_processing_pil_nougat.py#L59) **Parámetros:** do_convert_rgb (`bool`, *kwargs*, *opcional*) : Si se debe convertir la imagen a RGB. do_resize (`bool`, *kwargs*, *opcional*, valor predeterminado `True`) : Si se debe redimensionar la imagen. size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*, por defecto `{'height' : 896, 'width': 672}`): Describe las dimensiones máximas de entrada para el modelo. default_to_square (`bool`, *kwargs*, *opcional*, valor predeterminado `True`) : Si se debe usar una imagen cuadrada por defecto al redimensionar, cuando el tamaño es un entero. crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Tamaño de la imagen de salida tras aplicar `center_crop`. resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*, por defecto `2`) : Filtro de remuestreo que se utilizará si se redimensiona la imagen. Puede ser uno de los valores de la enumeración `PILImageResampling`. Solo tiene efecto si `do_resize` está establecido en `True`. do_rescale (`bool`, *kwargs*, *opcional*, valor predeterminado `True`) : Indica si se debe reescalar la imagen. rescale_factor (`float`, *kwargs*, *opcional*, valor predeterminado `0.00392156862745098`) : Factor de reescalado para reescalar la imagen si `do_rescale` está establecido en `True`. do_normalize (`bool`, *kwargs*, *opcional*, valor predeterminado `True`) : Si se debe normalizar la imagen. image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opcional*, valor predeterminado `[0.485, 0.456, 0.406]`) : Media de la imagen a utilizar para la normalización. Solo tiene efecto si `do_normalize` está establecido en `True`. image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opcional*, valor predeterminado `[0.229, 0.224, 0.225]`) : Desviación estándar de la imagen que se utilizará para la normalización. Solo tiene efecto si `do_normalize` está establecido en `True`. do_pad (`bool`, *kwargs*, *opcional*, valor predeterminado `True`) : Indica si se debe aplicar relleno a la imagen. El relleno se realiza hasta el mayor tamaño del lote o hasta un tamaño cuadrado fijo por imagen. La estrategia exacta de relleno depende del modelo. pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : El tamaño en `{"height": int, "width" int}` al que se rellenan las imágenes. Debe ser mayor que el tamaño de cualquier imagen proporcionada para el preprocesamiento. Si no se proporciona `pad_size`, las imágenes se rellenarán hasta la mayor altura y anchura del lote. Se aplica solo cuando `do_pad=True.` do_center_crop (`bool`, *kwargs*, *opcional*) : Si se debe recortar la imagen centrada. data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *opcional*) : Solo se admite `ChannelDimension.FIRST`. Se añadió para garantizar la compatibilidad con los procesadores lentos. input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *opcional*) : El formato de la dimensión de canal para la imagen de entrada. Si no se establece, el formato de la dimensión de canal se infiere a partir de la imagen de entrada. Puede ser uno de: - `"channels_first"` o `ChannelDimension.FIRST`: imagen en formato (num_channels, height, width). - `"channels_last"` o `ChannelDimension.LAST`: imagen en formato (height, width, num_channels). - `"none"` o `ChannelDimension.NONE`: imagen en formato (height, width). device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : El dispositivo en el que se procesarán los vídeos. Si no se establece, el dispositivo se infiere a partir de los vídeos de entrada. return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : Devuelve tensores apilados si se establece en `'pt'`; en caso contrario, devuelve una lista de tensores. disable_grouping (`bool`, *kwargs*, *opcional*) : Si se debe deshabilitar el agrupamiento de imágenes por tamaño para procesarlas de forma individual y no en lotes. Si es None, se establecerá en True si las imágenes están en CPU, y en False en caso contrario. Esta elección se basa en observaciones empíricas, como se detalla aquí: https://github.com/huggingface/transformers/pull/38157 image_seq_length (`int`, *kwargs*, *opcional*) : El número de tokens de imagen que se utilizarán para cada imagen en la entrada. Se añadió por compatibilidad con versiones anteriores, pero en los modelos futuros esto debería configurarse como un atributo del procesador. do_crop_margin (`bool`, *kwargs*, *opcional*, valor predeterminado `self.do_crop_margin`) : Si se recortan los márgenes de la imagen. do_thumbnail (`bool`, *kwargs*, *opcional*, valor predeterminado `self.do_thumbnail`) : Si se debe redimensionar la imagen usando el método thumbnail. do_align_long_axis (`bool`, *kwargs*, *opcional*, valor predeterminado `self.do_align_long_axis`) : Si se debe alinear el eje largo de la imagen con el eje largo de `size` mediante una rotación de 90 grados. Construye un procesador de imágenes NougatImageProcessor. #### preprocess[[transformers.NougatImageProcessorPil.preprocess]] ```python preprocess(images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']], **kwargs: *) ``` [Fuente](https://github.com/huggingface/transformers/blob/main/src/transformers/models/nougat/image_processing_pil_nougat.py#L76) **Parámetros:** images (`Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]`) : Imagen a preprocesar. Espera una imagen única o un lote de imágenes con valores de píxeles que van de 0 a 255. Si se pasan imágenes con valores de píxeles entre 0 y 1, establezca `do_rescale=False`. do_convert_rgb (`bool`, *kwargs*, *opcional*) : Si se debe convertir la imagen a RGB. do_resize (`bool`, *kwargs*, *opcional*) : Si se debe redimensionar la imagen. size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Describe las dimensiones máximas de entrada del modelo. default_to_square (`bool`, *kwargs*, *opcional*) : Si el tamaño es un entero, si se debe usar una imagen cuadrada por defecto al redimensionar. crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : Tamaño de la imagen de salida tras aplicar `center_crop`. resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*) : Filtro de remuestreo que se utilizará si se redimensiona la imagen. Puede ser uno de los valores de la enumeración `PILImageResampling`. Solo tiene efecto si `do_resize` está establecido en `True`. do_rescale (`bool`, *kwargs*, *opcional*) : Si se debe reescalar la imagen. rescale_factor (`float`, *kwargs*, *opcional*) : Factor de reescalado para reescalar la imagen si `do_rescale` está establecido en `True`. do_normalize (`bool`, *kwargs*, *opcional*) : Si se debe normalizar la imagen. image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opcional*) : Media de la imagen a utilizar para la normalización. Solo tiene efecto si `do_normalize` está establecido en `True`. image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *opcional*) : Desviación estándar de la imagen a utilizar para la normalización. Solo tiene efecto si `do_normalize` está establecido en `True`. do_pad (`bool`, *kwargs*, *opcional*) : Indica si se debe aplicar relleno a la imagen. El relleno se realiza hasta el tamaño más grande del lote o hasta un tamaño cuadrado fijo por imagen. La estrategia exacta de relleno depende del modelo. pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : El tamaño en `{"height": int, "width" int}` al que se rellenan las imágenes. Debe ser mayor que el tamaño de cualquier imagen proporcionada para el preprocesamiento. Si no se proporciona `pad_size`, las imágenes se rellenarán hasta la mayor altura y anchura del lote. Se aplica solo cuando `do_pad=True.` do_center_crop (`bool`, *kwargs*, *opcional*) : Si se debe recortar la imagen centrada. data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *opcional*) : Solo se admite `ChannelDimension.FIRST`. Se añadió para garantizar la compatibilidad con los procesadores lentos. input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *opcional*) : El formato de la dimensión de canal para la imagen de entrada. Si no se establece, el formato de la dimensión de canal se infiere a partir de la imagen de entrada. Puede ser uno de: - `"channels_first"` o `ChannelDimension.FIRST`: imagen en formato (num_channels, height, width). - `"channels_last"` o `ChannelDimension.LAST`: imagen en formato (height, width, num_channels). - `"none"` o `ChannelDimension.NONE`: imagen en formato (height, width). device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : El dispositivo en el que se procesarán los vídeos. Si no se establece, el dispositivo se infiere a partir de los vídeos de entrada. return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : Devuelve tensores apilados si se establece en `'pt'`; en caso contrario, devuelve una lista de tensores. disable_grouping (`bool`, *kwargs*, *opcional*) : Si se debe deshabilitar el agrupamiento de imágenes por tamaño para procesarlas de forma individual y no en lotes. Si es None, se establecerá en True si las imágenes están en CPU, y en False en caso contrario. Esta elección se basa en observaciones empíricas, como se detalla aquí: https://github.com/huggingface/transformers/pull/38157 image_seq_length (`int`, *kwargs*, *opcional*) : El número de tokens de imagen que se utilizarán para cada imagen en la entrada. Se añadió por compatibilidad con versiones anteriores, pero en los modelos futuros esto debería configurarse como un atributo del procesador. do_crop_margin (`bool`, *kwargs*, *opcional*, valor predeterminado `self.do_crop_margin`) : Si se recortan los márgenes de la imagen. do_thumbnail (`bool`, *kwargs*, *opcional*, valor predeterminado `self.do_thumbnail`) : Si se debe redimensionar la imagen usando el método thumbnail. do_align_long_axis (`bool`, *kwargs*, *opcional*, valor predeterminado `self.do_align_long_axis`) : Si se debe alinear el eje largo de la imagen con el eje largo de `size` mediante una rotación de 90 grados. **Devuelve:** `~image_processing_base.BatchFeature` - **data** (`dict`) -- Diccionario de listas/arrays/tensores devueltos por el método __call__ ('pixel_values', etc.). - **tensor_type** (`Union[None, str, TensorType]`, *opcional*) -- Puede especificar un tensor_type aquí para convertir las listas de enteros en Tensors de PyTorch/Numpy durante la inicialización. ## NougatTokenizer[[transformers.NougatTokenizer]] #### transformers.NougatTokenizer[[transformers.NougatTokenizer]] ```python transformers.NougatTokenizer(errors: str = 'replace', unk_token: str = '', bos_token: str = '', eos_token: str = '', pad_token: str = '', vocab: str | dict | list | None = None, merges: str | list | None = None, **kwargs) ``` [Fuente](https://github.com/huggingface/transformers/blob/main/src/transformers/models/nougat/tokenization_nougat.py#L347) **Parámetros:** vocab_file (`str`, *opcional*) : Ruta al archivo de vocabulario. merges_file (`str`, *opcional*) : Ruta al archivo de fusiones. tokenizer_file (`str`, *opcional*) : archivo de [tokenizers](https://github.com/huggingface/tokenizers) (generalmente con extensión .json) que contiene todo lo necesario para cargar el tokenizador. clean_up_tokenization_spaces (`str`, *opcional*, valor predeterminado `False`) : Si se deben limpiar los espacios tras la decodificación; la limpieza consiste en eliminar posibles artefactos, como espacios adicionales. unk_token (`str`, *opcional*, valor predeterminado `""`) : El token desconocido. Un token que no está en el vocabulario no se puede convertir en un ID y se establece como este token en su lugar. bos_token (`str`, *opcional*, valor predeterminado `""`) : El token de inicio de secuencia que se utilizó durante el preentrenamiento. Puede usarse como token de clasificador de secuencias. eos_token (`str`, *opcional*, valor predeterminado `""`) : El token de fin de secuencia. pad_token (`str`, *opcional*, valor predeterminado `""`) : El token utilizado para el relleno, por ejemplo, al agrupar secuencias de diferentes longitudes. vocab (`str`, `dict` o `list`, *opcional*) : Diccionario de vocabulario personalizado. Si no se proporciona, el vocabulario se carga desde vocab_file. merges (`str` o `list`, *opcional*) : Lista de fusiones personalizada. Si no se proporciona, las fusiones se cargan desde merges_file. Tokenizer para Nougat (respaldado por la biblioteca HuggingFace tokenizers). Este tokenizador hereda de [TokenizersBackend](/docs/transformers/main/es/main_classes/tokenizer#transformers.TokenizersBackend), que contiene la mayoría de los métodos principales. Los usuarios deben consultar esta superclase para obtener más información sobre dichos métodos. Esta clase añade principalmente métodos específicos de Nougat para el posprocesamiento del texto generado. #### correct_tables[[transformers.NougatTokenizer.correct_tables]] ```python correct_tables(generation: str) ``` [Fuente](https://github.com/huggingface/transformers/blob/main/src/transformers/models/nougat/tokenization_nougat.py#L493) **Parámetros:** generation (str) : El texto generado que se debe postprocesar. **Devuelve:** `str` El texto procesado. Toma una cadena generada y corrige las tablas para que coincidan con el formato de Markdown necesario. Ejemplo: ```python correct_tables("\begin{table} \begin{tabular}{l l} & \ \end{tabular} \end{table}") "\begin{table} abular}{l l} & \ \end{tabular} le}" ``` #### post_process_generation[[transformers.NougatTokenizer.post_process_generation]] ```python post_process_generation(generation: str | list[str], fix_markdown: bool = True, num_workers: int | None = None) ``` [Fuente](https://github.com/huggingface/transformers/blob/main/src/transformers/models/nougat/tokenization_nougat.py#L623) **Parámetros:** generation (Union[str, list[str]]) : El texto generado o una lista de textos generados. fix_markdown (`bool`, *opcional*, valor predeterminado `True`) : Si se deben aplicar correcciones de formato Markdown. num_workers (`int`, *opcional*) : Número opcional de workers para aprovechar la multiprocesación (postprocesar varios textos en paralelo). **Devuelve:** Union[str, list[str]] El texto o lista de textos posprocesados. Postprocesa un texto generado o una lista de textos generados. Esta función se puede utilizar para realizar el posprocesamiento del texto generado, como corregir el formato de Markdown. El postprocesamiento es bastante lento, por lo que se recomienda usar multiprocesamiento para acelerar el proceso. #### post_process_single[[transformers.NougatTokenizer.post_process_single]] ```python post_process_single(generation: str, fix_markdown: bool = True) ``` [Fuente](https://github.com/huggingface/transformers/blob/main/src/transformers/models/nougat/tokenization_nougat.py#L528) **Parámetros:** generation (str) : El texto generado que se debe postprocesar. fix_markdown (bool, opcional) : Si se deben realizar correcciones de formato de Markdown. El valor predeterminado es True. **Devuelve:** `str` El texto procesado. Postprocesa un texto generado individual. Las expresiones regulares utilizadas aquí se toman directamente de los autores del artículo de Nougat. Estas expresiones están comentadas para mayor claridad y, en la mayoría de los casos, se han probado de extremo a extremo. #### remove_hallucinated_references[[transformers.NougatTokenizer.remove_hallucinated_references]] ```python remove_hallucinated_references(text: str) ``` [Fuente](https://github.com/huggingface/transformers/blob/main/src/transformers/models/nougat/tokenization_nougat.py#L463) **Parámetros:** text (`str`) : El texto de entrada que contiene referencias. **Devuelve:** `str` El texto con las referencias alucinadas eliminadas. Elimine las referencias alucinadas o ausentes del texto. Esta función identifica y elimina las referencias marcadas como ausentes o alucinadas del texto de entrada. ## NougatProcessor[[transformers.NougatProcessor]] #### transformers.NougatProcessor[[transformers.NougatProcessor]] ```python transformers.NougatProcessor(image_processor, tokenizer) ``` [Fuente](https://github.com/huggingface/transformers/blob/main/src/transformers/models/nougat/processing_nougat.py#L37) **Parámetros:** image_processor (`NougatImageProcessor`) : El procesador de imágenes es un parámetro de entrada obligatorio. tokenizer (`NougatTokenizer`) : El tokenizador es una entrada obligatoria. Construye un NougatProcessor que envuelve un procesador de imágenes y un tokenizador en un único procesador. [NougatProcessor](/docs/transformers/main/es/model_doc/nougat#transformers.NougatProcessor) ofrece todas las funcionalidades de [NougatImageProcessor](/docs/transformers/main/es/model_doc/nougat#transformers.NougatImageProcessor) y [NougatTokenizer](/docs/transformers/main/es/model_doc/nougat#transformers.NougatTokenizer). Consulte [~NougatImageProcessor](/docs/transformers/main/es/model_doc/nougat#transformers.NougatImageProcessor) y [~NougatTokenizer](/docs/transformers/main/es/model_doc/nougat#transformers.NougatTokenizer) para obtener más información. #### __llamada__[[transformers.NougatProcessor.__call__]] ```python __call__(images = None, text = None, **kwargs) ``` [Fuente](https://github.com/huggingface/transformers/blob/main/src/transformers/models/nougat/processing_nougat.py#L43) **Parámetros:** images (``) : Image to preprocess. Expects a single or batch of images with pixel values ranging from 0 to 255. If passing in images with pixel values between 0 and 1, set `do_rescale=False`. text (``) : The sequence or batch of sequences to be encoded. Each sequence can be a string or a list of strings (pretokenized string). If you pass a pretokenized input, set `is_split_into_words=True` to avoid ambiguity with batched inputs. return_tensors (`str` o [TensorType](/docs/transformers/main/es/internal/file_utils#transformers.TensorType), *opcional*) : Si se establece, devolverá tensores de un marco de trabajo específico. Los valores aceptables son: - `'pt'`: Devuelve objetos `torch.Tensor` de PyTorch. - `'np'`: Devuelve objetos `np.ndarray` de NumPy. #### from_pretrained[[transformers.NougatProcessor.from_pretrained]] ```python from_pretrained(pretrained_model_name_or_path: str | os.PathLike, cache_dir: str | os.PathLike | None = None, force_download: bool = False, local_files_only: bool = False, token: str | bool | None = None, revision: str = 'main', **kwargs) ``` [Fuente](https://github.com/huggingface/transformers/blob/main/src/transformers/processing_utils.py#L1693) **Parámetros:** pretrained_model_name_or_path (`str` o `os.PathLike`) : Puede ser cualquiera de las siguientes opciones: - una cadena, el *model id* de un feature_extractor preentrenado alojado en un repositorio de modelos en huggingface.co. - una ruta a un *directorio* que contiene un archivo de feature extractor guardado mediante el método [save_pretrained()](/docs/transformers/main/es/main_classes/feature_extractor#transformers.FeatureExtractionMixin.save_pretrained), por ejemplo, `./my_model_directory/`. - una ruta a un *archivo* JSON de feature extractor guardado, por ejemplo, `./my_model_directory/preprocessor_config.json`. - ****kwargs** : Argumentos de palabra clave adicionales que se pasan tanto a [from_pretrained()](/docs/transformers/main/es/main_classes/feature_extractor#transformers.FeatureExtractionMixin.from_pretrained) como a `~tokenization_utils_base.PreTrainedTokenizer.from_pretrained`. Instanciar un procesador asociado con un modelo preentrenado. Este método de clase simplemente llama al método [from_pretrained()](/docs/transformers/main/es/main_classes/feature_extractor#transformers.FeatureExtractionMixin.from_pretrained) del extractor de características, al método [ImageProcessingMixin](/docs/transformers/main/es/internal/image_processing_utils#transformers.ImageProcessingMixin) del procesador de imágenes y al método `~tokenization_utils_base.PreTrainedTokenizer.from_pretrained` del tokenizador. Consulte las docstrings de los métodos anteriores para obtener más información. #### save_pretrained[[transformers.NougatProcessor.save_pretrained]] ```python save_pretrained(save_directory, push_to_hub: bool = False, **kwargs) ``` [Fuente](https://github.com/huggingface/transformers/blob/main/src/transformers/processing_utils.py#L1108) **Parámetros:** save_directory (`str` o `os.PathLike`) : Directorio donde se guardará el archivo JSON del feature extractor y los archivos del tokenizer (se creará el directorio si no existe). push_to_hub (`bool`, *opcional*, valor predeterminado `False`) : Indica si se debe subir el modelo al Hugging Face model hub después de guardarlo. Puede especificar el repositorio al que desea subirlo con `repo_id` (por defecto, se usará el nombre de `save_directory` en su espacio de nombres). kwargs (`dict[str, Any]`, *opcional*) : Argumentos de palabra clave adicionales que se pasan al método [push_to_hub()](/docs/transformers/main/es/main_classes/model#transformers.utils.PushToHubMixin.push_to_hub). Guarda los atributos de este procesador (extractor de características, tokenizador...) en el directorio especificado para que pueda recargarse mediante el método [from_pretrained()](/docs/transformers/main/es/model_doc/wav2vec2#transformers.Wav2Vec2Processor.from_pretrained). Este método de clase simplemente llama a [save_pretrained()](/docs/transformers/main/es/main_classes/feature_extractor#transformers.FeatureExtractionMixin.save_pretrained) y [save_pretrained()](/docs/transformers/main/es/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.save_pretrained). Consulte las docstrings de los métodos anteriores para obtener más información. #### batch_decode[[transformers.NougatProcessor.batch_decode]] ```python batch_decode(*args, **kwargs) ``` [Fuente](https://github.com/huggingface/transformers/blob/main/src/transformers/processing_utils.py#L1948) Este método reenvía todos sus argumentos a [batch_decode()](/docs/transformers/main/es/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.batch_decode) de PreTrainedTokenizer. Consulte la docstring de este método para obtener más información. #### decode[[transformers.NougatProcessor.decode]] ```python decode(*args, **kwargs) ``` [Fuente](https://github.com/huggingface/transformers/blob/main/src/transformers/processing_utils.py#L1957) Este método reenvía todos sus argumentos a [decode()](/docs/transformers/main/es/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.decode) de PreTrainedTokenizer. Consulte la docstring de este método para obtener más información. #### post_process_generation[[transformers.NougatProcessor.post_process_generation]] ```python post_process_generation(*args, **kwargs) ``` [Fuente](https://github.com/huggingface/transformers/blob/main/src/transformers/models/nougat/processing_nougat.py#L51) Este método reenvía todos sus argumentos a `~PreTrainedTokenizer.post_process_generation` de NougatTokenizer. Consulte la docstring de este método para obtener más información.