ExportConfig를 기반으로 올바른 HfExporter를 자동으로 인스턴스화하는 Auto-HF exporter 클래스입니다.

exporter = AutoHfExporter.from_pretrained("org/model-name")
program = exporter.export(model, inputs)

사전에 저장된 export config를 기반으로 올바른 export config로 자동으로 분배하는 작업을 담당하는 Auto-HF export config 클래스입니다.

모든 Transformers 내보내기기의 추상 베이스 클래스입니다.

새로운 export backends를 추가하려면 ~HfExporter.export를 서브클래스화하고 구현하세요.

ExportedProgram으로 PreTrainedModel을 변환하는 Exporter입니다.

>>> from transformers.exporters.exporter_dynamo import DynamoExporter, DynamoConfig

>>> exporter = DynamoExporter()
>>> exported = exporter.export(model, inputs, config=DynamoConfig(dynamic=True))
>>> outputs = exported.module()(**inputs)

PreTrainedModel을 ONNX ONNXProgram으로 변환하는 Exporter입니다.

>>> from transformers.exporters.exporter_onnx import OnnxExporter, OnnxConfig

>>> exporter = OnnxExporter()
>>> onnx_program = exporter.export(model, inputs, config=OnnxConfig(dynamic=True))
>>> outputs = onnx_program(**inputs)  # run in-memory
>>> exporter.export(model, inputs, config=OnnxConfig(output_path="model.onnx"))  # save to disk

PreTrainedModel을 ExecuTorch ExecutorchProgramManager로 변환하는 Exporter입니다.

>>> from transformers.exporters.exporter_executorch import ExecutorchExporter, ExecutorchConfig

>>> exporter = ExecutorchExporter()
>>> et_program = exporter.export(model, inputs, config=ExecutorchConfig(backend="xnnpack"))
>>> et_program.write_to_file("model.pte")

torch.export를 통해 모델을 내보내는 데 사용되는 설정 클래스입니다.

torch.onnx.export를 통해 모델을 ONNX로 내보내는 데 사용되는 구성 클래스입니다.

DynamoConfig의 모든 필드(dynamic, strict, dynamic_shapes, prefer_deferred_runtime_asserts_over_guards)를 상속합니다.

ExecuTorch 형식으로 모델을 내보내기 위한 구성 클래스입니다.

DynamoConfig의 모든 필드(dynamic, strict, dynamic_shapes, prefer_deferred_runtime_asserts_over_guards)를 상속합니다.

openvino.convert_model을 통해 모델을 OpenVINO IR로 내보내기 위한 설정 클래스입니다.

[DynamoConfig]의 모든 필드(dynamic, strict, dynamic_shapes, prefer_deferred_runtime_asserts_over_guards)를 상속합니다.

export 과정에서 적용되는 사후 학습 양자화기의 기본 클래스입니다.

Quantizer는 지원되는 내보내기 형식과 필요한 패키지(exporters와 마찬가지로 테스트된 버전 포함)를 선언하며, torch.export FX 그래프를 변환 전에 양자화하는지(이 경우 모든 백엔드가 결과를 사용함) 아니면 백엔드가 변환한 모델(onnx_ir.Model, openvino.Model)을 양자화하는지를 지정합니다. Exporter는 이를 내보내기에 대해 사전에 검증한 후, 해당 모델과 내보내기의 샘플 입력을 인수로 ~ExportQuantizer.quantize를 호출합니다. 새로운 양자화 방법을 추가하려면 이를 서브클래스로 상속하고 quantize를 구현하세요. CalibrationSet는 교정 샘플을 모델 자체의 입력으로 매핑합니다.

모델 입력으로 사용될 보정 샘플의 반복 가능한 뷰.

샘플은 양자화기의 calibration_dataset이거나, 해당 값이 없는 경우 내보내기의 자체 sample_inputs입니다(읽어 들여질 때 경고가 한 번 표시됩니다). 토크나이저의 BatchEncoding과 같은 임의의 매핑일 수 있습니다. transform는 각 forward-kwarg 샘플을 양자화된 모델이 받는 값(추적된 kwargs, ONNX feeds, OpenVINO port feeds)으로 매핑하며, 모든 패스에서 지연 방식으로 샘플 하나씩 처리합니다.

PyTorch 2 Export (PT2E) 양자화로 FX 그래프를 양자화합니다: prepare_pt2e가 옵저버를 삽입하고, 캘리브레이션 세트가 이를 구동하며, convert_pt2e가 이를 quantize/dequantize 연산으로 대체합니다. 모든 export 백엔드와 호환됩니다.

>>> from torchao.quantization.pt2e.quantizer.x86_inductor_quantizer import (
...     X86InductorQuantizer,
...     get_default_x86_inductor_quantization_config,
... )
>>> from transformers.exporters import DynamoConfig, PT2EQuantizer

>>> x86 = X86InductorQuantizer().set_global(get_default_x86_inductor_quantization_config())
>>> DynamoConfig(quantizer=PT2EQuantizer(x86, calibration_dataset=samples))

변환된 ONNX 모델을 ONNX Runtime의 자체 도구(onnxruntime.quantization)로 양자화합니다: 기본값인 OnnxRuntimeStaticConfig와 함께 quantize_static을 사용하거나, OnnxRuntimeDynamicConfig와 함께 quantize_dynamic를 사용할 수 있습니다.

>>> from transformers.exporters import (
...     OnnxConfig,
...     OnnxRuntimeDynamicConfig,
...     OnnxRuntimeQuantizer,
...     OnnxRuntimeStaticConfig,
... )

>>> static = OnnxRuntimeStaticConfig(per_channel=True)
>>> OnnxConfig(quantizer=OnnxRuntimeQuantizer(static, calibration_dataset=samples))
>>> OnnxConfig(quantizer=OnnxRuntimeQuantizer(OnnxRuntimeDynamicConfig()))

onnxruntime.quantization.quantize_static의 인자: int8 활성화 및 가중치(기본적으로 QDQ), 퀀타이저의 calibration_dataset로 보정됩니다. None으로 남겨진 필드는 ONNX Runtime의 기본값을 유지합니다. 각 인자에 대해서는 quantize_static을 참조하세요.

onnxruntime.quantization.quantize_dynamic의 인자: int8 가중치, 런타임에 양자화된 활성화, 보정 없음. None으로 남겨둔 필드는 ONNX Runtime의 기본값을 유지합니다. 각 인자에 대해서는 quantize_dynamic를 참조하세요.

변환된 OpenVINO 모델을 NNCF로 양자화합니다: nncf.quantize에 NNCFQuantizationConfig(기본값)를 사용하거나, nncf.compress_weights에 NNCFWeightCompressionConfig를 사용합니다.

>>> import nncf
>>> from transformers.exporters import NNCFOpenVINOQuantizer, NNCFWeightCompressionConfig, OpenVINOConfig

>>> OpenVINOConfig(quantizer=NNCFOpenVINOQuantizer(calibration_dataset=samples))
>>> OpenVINOConfig(
...     quantizer=NNCFOpenVINOQuantizer(NNCFWeightCompressionConfig(mode=nncf.CompressWeightsMode.INT4_SYM))
... )

변환된 ONNX 모델을 NNCF의 ONNX 백엔드를 통해 양자화합니다: nncf.quantize에 NNCFQuantizationConfig(기본값, int8 QDQ)를 사용하거나, nncf.compress_weights에 NNCFWeightCompressionConfig(ONNX Runtime의 MatMulNBits로 int4)를 사용합니다.

>>> import nncf
>>> from transformers.exporters import NNCFOnnxQuantizer, NNCFWeightCompressionConfig, OnnxConfig

>>> OnnxConfig(quantizer=NNCFOnnxQuantizer(calibration_dataset=samples))
>>> OnnxConfig(quantizer=NNCFOnnxQuantizer(NNCFWeightCompressionConfig(mode=nncf.CompressWeightsMode.INT4_SYM)))

NNCF의 TorchFX 백엔드를 통해 torch.export FX 그래프를 양자화합니다: NNCF의 nncf.quantize를 NNCFQuantizationConfig(기본값인 quantize/dequantize 연산)와 함께 사용하거나, nncf.compress_weights를 NNCFWeightCompressionConfig와 함께 사용할 수 있습니다. PT2EQuantizer와 마찬가지로 모든 변환 전에 실행되므로 모든 백엔드가 그 결과를 사용합니다. ExecuTorch는 weight-only 결과만 로우어링합니다: XNNPACK은 quantize/dequantize 연산을 위임하지 않으며, ExecuTorch에는 해당 연산에 대한 커널이 없습니다.

>>> from transformers.exporters import DynamoConfig, NNCFTorchFXQuantizer

>>> DynamoConfig(quantizer=NNCFTorchFXQuantizer(calibration_dataset=samples))

nncf.quantize의 인자: int8 활성화 값과 가중치, 양자화기의 calibration_dataset로 보정됩니다. None으로 남겨 두면 NNCF의 기본값이 유지되지만, 기본값이 nncf.ModelType.TRANSFORMER인 model_type는 예외입니다. 각 인자에 대해서는 nncf.quantize를 참조하세요.

nncf.compress_weights의 인수: 데이터 인식 방식(AWQ, scale estimation, GPTQ)을 지원하는 int4 모드와 데이터가 필요 없는 int8 모드를 포함한 weight-only int8 또는 int4입니다. int8 모드는 데이터가 필요 없으며, 다른 모드는 quantizer의 calibration_dataset로 보정합니다. gptq와 lora_correction은 OpenVINO 전용입니다. None으로 남겨 두면 NNCF의 기본값이 유지됩니다. 각 인수에 대한 자세한 내용은 nncf.compress_weights를 참조하세요.

…

내보내기를 위해 모델과 입력을 구성합니다. model과 inputs를 모두 인플레이스(in-place)로 변경하며, output_flags에 inputs에서 use_cache, return_dict 등의 값이 팝(pop)된 값이 저장된 (model, inputs, output_flags)를 반환합니다. (patch_model_config가 트레이스 중에 model.config에 가역적으로 적용할 값입니다.)

• 레이블 입력(labels, future_values)을 제거합니다. 손실 계산은 지원되지 않습니다.
• inputs에서 출력 플래그(use_cache, return_dict, …)를 제거하여 추적된 kwargs로 나타나지 않도록 합니다. 값은 model.config에 적용하도록 trace 블록에 반환됩니다.
• @register_export_input_preparer를 통해 등록된 데이터 의존형 vision/audio kwargs를 사전 계산하여 inputs에 기록합니다.
• 모델의 dtype / device에 맞게 입력 텐서를 캐스팅합니다.

model.generate()를 실행하고 prefill 및 decode 입력을 캡처합니다.

전체 생성 메커니즘을 재사용하여 모든 아키텍처(decoder-only, SSM, encoder-decoder, multi-modal, …)가 루프를 다시 구현하지 않고도 올바른 입력을 받을 수 있도록 합니다.

generation_config는 generate()로 전달되며(기본값은 모델 자체의 설정), 캡처된 입력은 generate()가 구축할 캐시를 사용합니다. cache_implementation="static"과 max_cache_len=N를 전달하면 디코딩 입력에 정적 크기의 캐시를 캡처할 수 있으며, 이는 정적 캐시 내보내기의 기반이 됩니다. max_cache_len은 캡처와 독립적으로 캐시 크기를 설정하므로, 내보내진 디코딩은 성장하는 캐시가 아닌 고정된 [..., N, ...] 캐시를 사용합니다.

multi_token_decode가 True인 경우, decode 컴포넌트는 멀티 토큰 디코드로 캡처됩니다. 이는 두 개의 연속된 디코드 스텝을 병합한 것입니다(_merge_decode_calls 참조). 이렇게 하면 쿼리 시퀀스 축이 심볼릭 상태로 유지됩니다(단일 토큰 디코드의 경우 해당 축이 1로 특수화됩니다). 이후 이 컴포넌트는 단일 토큰(일반 디코딩)과 다중 토큰(캐시 기반의 과거로부터의 연속 처리 또는 캐시가 비어 있는 경우의 일반 프리필)을 모두 처리합니다. 그렇지 않은 경우 decode는 고전적인 단일 토큰 디코딩입니다.

forward 패스 한 번으로 각 멀티모달 서브모듈의 입력을 캡처합니다.

속성 이름(vision tower, projector, language model, lm_head, …)을 기준으로 알려진 모든 멀티모달 서브모듈을 감지하고, model(**inputs) 호출 한 번 동안它们的 forward kwargs를 캡처합니다.

각 서브모듈은 독립적인 내보내기를 위해 name: (module, inputs) 항목으로 개별 반환됩니다. 토큰 병합 단계(예: 멀티모달 모델의 masked_scatter)는 의도적으로 내보낸 그래프 외부에 두며, 디코더를 실행하기 전에 인코더 출력에서 inputs_embeds를 조립하는 것은 호출자의 책임입니다.

생성 모델을 독립적으로 내보낼 수 있는 (model, forward_inputs) 쌍으로 분해합니다.

decompose_prefill_decode를 실행하여 실제 model.generate(**inputs, max_new_tokens=2)에서 prefill 및 decode forward kwargs를 캡처합니다. prefill이 멀티모달인 경우(is_multimodal 기준), decompose_multimodal를 통해 서브모듈(비전/오디오 인코더, 프로젝터, 언어 모델, lm_head)별로 하나의 항목씩으로 추가 분할합니다.

모델이 모달 인코더와 언어 모델을 갖춘 멀티모달인 경우 True를 반환합니다.

PreTrainedModel이 아닌 모델(예: 단순한 nn.Module)은 정해진 get_encoder/get_decoder 접근자가 없으며, 당연히 멀티모달이 아니므로 False로 바로 반환됩니다.