# MiniMax > تم إصدار [MiniMax-M2](./minimax_m2) في 2025‑10‑27. ننصح باستخدام MiniMax‑M2 لمعظم حالات الاستخدام نظرًا لأدائه العام الأفضل. ## نظرة عامة قُدِّم نموذج MiniMax-Text-01 في [MiniMax-01: Scaling Foundation Models with Lightning Attention](https://huggingface.co/papers/2501.08313) بواسطة MiniMax، وAonian Li، وBangwei Gong، وBo Yang، وBoji Shan، وChang Liu، وCheng Zhu، وChunhao Zhang، وCongchao Guo، وDa Chen، وDong Li، وEnwei Jiao، وGengxin Li، وGuojun Zhang، وHaohai Sun، وHouze Dong، وJiadai Zhu، وJiaqi Zhuang، وJiayuan Song، وJin Zhu، وJingtao Han، وJingyang Li، وJunbin Xie، وJunhao Xu، وJunjie Yan، وKaishun Zhang، وKecheng Xiao، وKexi Kang، وLe Han، وLeyang Wang، وLianfei Yu، وLiheng Feng، وLin Zheng، وLinbo Chai، وLong Xing، وMeizhi Ju، وMingyuan Chi، وMozhi Zhang، وPeikai Huang، وPengcheng Niu، وPengfei Li، وPengyu Zhao، وQi Yang، وQidi Xu، وQiexiang Wang، وQin Wang، وQiuhui Li، وRuitao Leng، وShengmin Shi، وShuqi Yu، وSichen Li، وSongquan Zhu، وTao Huang، وTianrun Liang، وWeigao Sun، وWeixuan Sun، وWeiyu Cheng، وWenkai Li، وXiangjun Song، وXiao Su، وXiaodong Han، وXinjie Zhang، وXinzhu Hou، وXu Min، وXun Zou، وXuyang Shen، وYan Gong، وYingjie Zhu، وYipeng Zhou، وYiran Zhong، وYongyi Hu، وYuanxiang Fan، وYue Yu، وYufeng Yang، وYuhao Li، وYunan Huang، وYunji Li، وYunpeng Huang، وYunzhi Xu، وYuxin Mao، وZehan Li، وZekang Li، وZewei Tao، وZewen Ying، وZhaoyang Cong، وZhen Qin، وZhenhua Fan، وZhihang Yu، وZhuo Jiang، وZijia Wu. المستخلص من الورقة البحثية هو كالتالي: *نقدّم سلسلة MiniMax-01، التي تشمل MiniMax-Text-01 وMiniMax-VL-01، وهي نماذج قابلة للمقارنة مع النماذج الرائدة في فئتها مع تقديم قدرات متفوقة في معالجة السياقات الأطول. يعتمد جوهرها على lightning attention وتوسيعها بكفاءة. ولتحقيق أقصى قدر من السعة الحسابية، قمنا بدمجه مع Mixture of Experts (MoE)، مما أوجد نموذجًا يضم 32 خبيرًا و456 مليار معامل إجمالي، حيث يتم تفعيل 45.9 مليار معامل لكل رمز. طورنا استراتيجية موازاة مُحسّنة وتقنيات تداخل عالية الكفاءة بين الحساب والتواصل لـ MoE وlightning attention. تُمكّننا هذه المنهجية من إجراء تدريب واستدلال فعالين على نماذج تضم مئات المليارات من المعاملات عبر سياقات تمتد لملايين الرموز. يمكن لنافذة السياق في MiniMax-Text-01 أن تصل إلى مليون رمز أثناء التدريب، وأن تتجاوز ذلك لتصل إلى 4 ملايين رمز أثناء الاستدلال بتكلفة معقولة. تم بناء نموذجنا البصري-اللغوي MiniMax-VL-01 من خلال التدريب المستمر باستخدام 512 مليار رمز بصري-لغوي. تُظهر التجارب على معايير الأداء القياسية والداخلية أن نماذجنا تتطابق مع أداء أحدث النماذج مثل GPT-4o وClaude-3.5-Sonnet، مع تقديم نافذة سياق أطول بمقدار 20 إلى 32 ضعفًا.* ### تفاصيل البنية MiniMax هو نموذج لغوي قوي يضم 456 مليار معامل إجمالي، منها 45.9 مليار معامل يُفعَّل لكل رمز.为了更好地 (لتحسين) الاستفادة من قدرات السياق الطويل للنموذج، يتبنى MiniMax بنية هجينة تجمع بين Lightning Attention وSoftmax Attention وMixture-of-Experts (MoE). بالاستفادة من استراتيجيات التوازي المتقدمة وطرق تداخل الحساب والتواصل المبتكرة—مثل Linear Attention Sequence Parallelism Plus (LASP+)، وvarlen ring attention، وExpert Tensor Parallel (ETP)، وغيرها—تمتد طول سياق تدريب MiniMax إلى مليون رمز، ويمكنه التعامل مع سياق يصل إلى 4 ملايين رمز أثناء الاستدلال. كما يُظهر MiniMax أداءً بمستوى النماذج الرائدة على مختلف المعايير الأكاديمية. يُوصف بنية MiniMax بإيجاز على النحو التالي: - إجمالي المعاملات: 456B - عدد المعاملات المفعّلة لكل رمز: 45.9B - عدد الطبقات: 80 - الانتباه الهجين: يتم وضع انتباه softmax بعد كل 7 انتباهات lightning. - عدد رؤوس الانتباه: 64 - بُعد رأس الانتباه: 128 - مزيج الخبراء: - عدد الخبراء: 32 - البُعد الخفي للخبراء: 9216 - استراتيجية التوجيه الأعلى-2 - ترميز الموضع: يُطبَّق تضمين الموضع الدوّاري (RoPE) على نصف بُعد رأس الانتباه مع تردد أساسي قدره 10,000,000 - حجم المخفي: 6144 - حجم المفردات: 200,064 لمزيد من التفاصيل، راجع [منشور المدونة الخاص بالإصدار](https://www.minimaxi.com/en/news/minimax-01-series-2). ### رخصة `MiniMax` منشور بموجب اتفاقية ترخيص نموذج MINIMAX. ## نصائح للاستخدام يمكن استخدام النموذج المُدرَّب مسبقًا على النحو التالي: ```python from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoModelForCausalLM.from_pretrained("MiniMaxAI/MiniMax-Text-01-hf", device_map="auto") tokenizer = AutoTokenizer.from_pretrained("MiniMaxAI/MiniMax-Text-01-hf") messages = [ {"role": "user", "content": "What is your favourite condiment?"}, {"role": "assistant", "content": "Well, I'm quite partial to a good squeeze of fresh lemon juice. It adds just the right amount of zesty flavour to whatever I'm cooking up in the kitchen!"}, {"role": "user", "content": "Do you have mayonnaise recipes?"} ] model_inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device) generated_ids = model.generate(model_inputs, max_new_tokens=100, do_sample=True) tokenizer.batch_decode(generated_ids)[0] "Mayonnaise can be made as follows: (...)" ``` كما هو واضح، يتطلب النموذج المُعدّل بالتعليمات تطبيق [قالب محادثة](../chat_templating) للتأكد من تجهيز المدخلات بالصيغة الصحيحة. ## تسريع MiniMax باستخدام Flash Attention تُظهر مقتطفات الأكواد أعلاه الاستدلال دون أي حيل تحسين. ومع ذلك، يمكن تسريع النموذج بشكل كبير من خلال الاستفادة من [Flash Attention](../kernel_doc/loading_kernels#attention-kernels)، وهو تنفيذ أسرع لآلية الانتباه المستخدمة داخل النموذج. أولاً، تأكد من تثبيت أحدث إصدار من Flash Attention 2 لتضمين ميزة الانتباه النافذة المنزلقة. ```bash pip install -U flash-attn --no-build-isolation ``` تأكد أيضاً من أن لديك عتاداً متوافقاً مع Flash-Attention 2. اقرأ المزيد حول ذلك في التوثيق الرسمي لـ [مستودع flash attention](https://github.com/Dao-AILab/flash-attention). تأكد أيضاً من تحميل نموذجك بدقة نصفية (على سبيل المثال `torch.float16`) لتحميل نموذج وتشغيله باستخدام Flash Attention-2، راجع المقطع أدناه: ```python from transformers import AutoModelForCausalLM, AutoTokenizer model = AutoModelForCausalLM.from_pretrained("MiniMaxAI/MiniMax-Text-01-hf", attn_implementation="flash_attention_2", device_map="auto") tokenizer = AutoTokenizer.from_pretrained("MiniMaxAI/MiniMax-Text-01-hf") prompt = "My favourite condiment is" model_inputs = tokenizer([prompt], return_tensors="pt").to(model.device) model.to(model.device) generated_ids = model.generate(**model_inputs, max_new_tokens=100, do_sample=True) tokenizer.batch_decode(generated_ids)[0] "The expected output" ``` ### انتباه النافذة المنزلقة تدعم النسخة الحالية من التنفيذ آلية الانتباه النافذة المنزلقة وإدارة ذاكرة فعّالة. لتفعيل الانتباه النافذة المنزلقة، تأكد فقط من امتلاكك لنسخة من `flash-attn` متوافقة مع الانتباه النافذة المنزلقة (`>=2.3.0`). يستخدم نموذج Flash Attention-2 أيضاً آلية تقطيع ذاكرة أكثر كفاءة - كما يُوصى به في التنفيذ الرسمي لنموذج Mistral الذي يستخدم آلية ذاكرة متدحرجة، نُبقي حجم الذاكرة المؤقتة ثابتاً (`self.config.sliding_window`)، وندعم التوليد الدُفعي فقط عند `padding_side="left"`، ونستخدم الموقع المطلق للرمز الحالي لحساب التضمين الموضعي. ## تقليص حجم MiniMax باستخدام التكميم بما أن نموذج MiniMax يحتوي على 456 مليار معامل، فإن ذلك سيتطلب حوالي 912 جيجابايت من ذاكرة GPU بدقة نصفية (float16)، حيث يُخزَّن كل معامل في بايتين. ومع ذلك، يمكن تصغير حجم النموذج باستخدام [التكميم](../quantization/overview). إذا تم تكميم النموذج إلى 4 بتات (أو نصف بايت لكل معامل)، فإن حوالي 228 جيجابايت من الذاكرة ستكون مطلوبة. تتم عملية تكميم النموذج ببساطة عن طريق تمرير `quantization_config` إلى النموذج. أدناه، سنستفيد من مكتبة bitsandbytes للتكميم (لكن راجع [هذه الصفحة](../quantization/overview) لمعرفة طرق التكميم البديلة): ```python from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig # specify how to quantize the model quantization_config = BitsAndBytesConfig( load_in_4bit=True, bnb_4bit_quant_type="nf4", bnb_4bit_compute_dtype="torch.float16", ) model = AutoModelForCausalLM.from_pretrained("MiniMaxAI/MiniMax-Text-01-hf", quantization_config=True, device_map="auto") tokenizer = AutoTokenizer.from_pretrained("MiniMaxAI/MiniMax-Text-01-hf") prompt = "My favourite condiment is" messages = [ {"role": "user", "content": "What is your favourite condiment?"}, {"role": "assistant", "content": "Well, I'm quite partial to a good squeeze of fresh lemon juice. It adds just the right amount of zesty flavour to whatever I'm cooking up in the kitchen!"}, {"role": "user", "content": "Do you have mayonnaise recipes?"} ] model_inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device) generated_ids = model.generate(model_inputs, max_new_tokens=100, do_sample=True) tokenizer.batch_decode(generated_ids)[0] "The expected output" ``` تمت مساهمة هذا النموذج من قِبل [geetu040](https://github.com/geetu040) و [Shakib-IO](https://github.com/Shakib-IO). يمكن العثور على الكود الأصلي [هنا](https://huggingface.co/MiniMaxAI/MiniMax-Text-01/blob/main/modeling_minimax_text_01.py). ## الموارد قائمة بالموارد الرسمية من Hugging Face وموارد المجتمع (المشار إليها بـ 🌎) لمساعدتك على البدء مع MiniMax. إذا كنت مهتمًا بتقديم مورد ليُدرج هنا، فلا تتردد في فتح طلب سحب (Pull Request) وسنقوم بمراجعته! يُفضَّل أن يُظهر المورد شيئًا جديدًا بدلاً من تكرار مورد موجود مسبقًا. - يتضمن [دليل المحاذاة](https://github.com/huggingface/alignment-handbook) من Hugging Face سكربتات وصفات لتنفيذ الضبط الدقيق الإشرافي (SFT) والتحسين المباشر للتفضيلات مع Mistral-7B. ويشمل ذلك سكربتات للضبط الدقيق الكامل، وQLoRa على وحدة معالجة رسومية واحدة، وكذلك الضبط الدقيق متعدد وحدات المعالجة الرسومية. - [دليل مهمة نمذجة اللغة السببية](../tasks/language_modeling) - استخدم التعبئة اليسرى (left padding) للتوليد المجمّع. راجع [جانب التعبئة](../llm_tutorial#padding-side). ## MiniMaxConfig[[transformers.MiniMaxConfig]] #### transformers.MiniMaxConfig[[transformers.MiniMaxConfig]] ```python transformers.MiniMaxConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 32000, hidden_size: int = 4096, intermediate_size: int = 14336, num_hidden_layers: int = 32, num_attention_heads: int = 32, num_key_value_heads: int = 8, head_dim: int | None = None, hidden_act: str = 'silu', max_position_embeddings: int = 131072, initializer_range: float = 0.02, rms_norm_eps: float = 1e-05, use_cache: bool = True, pad_token_id: int | None = None, bos_token_id: int | None = 1, eos_token_id: int | list[int] | None = 2, tie_word_embeddings: bool = False, sliding_window: int | None = None, attention_dropout: float | int = 0.0, num_experts_per_tok: int = 2, num_local_experts: int = 8, output_router_logits: bool = False, router_aux_loss_coef: float = 0.001, router_jitter_noise: float = 0.0, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, layer_types: list[str] | None = None, block_size: int = 256, full_attn_alpha_factor: int | float = 1, full_attn_beta_factor: int | float = 1, linear_attn_alpha_factor: int | float = 1, linear_attn_beta_factor: int | float = 1, mlp_alpha_factor: int | float = 1, mlp_beta_factor: int | float = 1) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/minimax/configuration_minimax.py#L30) **المعاملات:** vocab_size (`int`، *اختياري*، القيمة الافتراضية `32000`) : حجم مفردات النموذج. يحدد عدد الرموز المختلفة التي يمكن تمثيلها بواسطة `input_ids`. hidden_size (`int`، *اختياري*، القيمة الافتراضية `4096`) : بُعد التمثيلات المخفية. intermediate_size (`int`، *اختياري*، القيمة الافتراضية `14336`) : بُعد تمثيلات MLP. num_hidden_layers (`int`، *اختياري*، القيمة الافتراضية `32`) : عدد الطبقات المخفية في مُفكِّك Transformer. num_attention_heads (`int`، *اختياري*، القيمة الافتراضية `32`) : عدد رؤوس الانتباه في كل طبقة انتباه داخل مُفكِّك Transformer. num_key_value_heads (`int`، *اختياري*، القيمة الافتراضية `8`) : يمثل هذا عدد رؤوس key_value التي يجب استخدامها لتنفيذ Grouped Query Attention. إذا كان `num_key_value_heads=num_attention_heads`، فسيستخدم النموذج Multi Head Attention (MHA)، وإذا كان `num_key_value_heads=1` فسيستخدم النموذج Multi Query Attention (MQA)، وإلا فسيتم استخدام GQA. عند تحويل نقطة تفتيش متعددة الرؤوس إلى نقطة تفتيش GQA، يجب بناء كل رأس key و value ضمن المجموعة عن طريق meanpooling جميع الرؤوس الأصلية داخل تلك المجموعة. لمزيد من التفاصيل، راجعوا [هذا البحث](https://huggingface.co/papers/2305.13245). إذا لم يتم تحديد القيمة، فستتخذ القيمة الافتراضية `num_attention_heads`. head_dim (`int`، *اختياري*) : بُعد رأس الانتباه. إذا كانت القيمة None، فسيتم افتراض hidden_size // num_attention_heads hidden_act (`str`، *اختياري*، القيمة الافتراضية `silu`) : دالة التنشيط غير الخطية (دالة أو نص) في المُفكِّك. على سبيل المثال، `"gelu"`، `"relu"`، `"silu"`، وما إلى ذلك. max_position_embeddings (`int`، *اختياري*، الافتراضي هو `131072`) : أقصى طول تسلسل قد يُستخدم به هذا النموذج. initializer_range (`float`، *اختياري*، القيمة الافتراضية `0.02`) : الانحراف المعياري لـ truncated_normal_initializer المستخدم في تهيئة جميع مصفوفات الأوزان. rms_norm_eps (`float`، *اختياري*، القيمة الافتراضية `1e-05`) : قيمة الإيبسلون المستخدمة في طبقات تطبيع rms. use_cache (`bool`، *اختياري*، القيمة الافتراضية `True`) : ما إذا كان يجب على النموذج إرجاع قيم المفاتيح/القيم الأخيرة للانتباه (لا تستخدمها جميع النماذج). لا ينطبق إلا إذا كان `config.is_decoder=True` أو عندما يكون النموذج نموذجًا توليديًا يعتمد على المُفكِّك فقط. pad_token_id (`int`, *اختياري*) : معرّف الرمز (Token id) المستخدم للتعبئة (padding) في المفردات. bos_token_id (`int`، *اختياري*، القيمة الافتراضية `1`) : معرّف الرمز المستخدم لبدء البث في المفردات. eos_token_id (`Union[int, list[int]]`، *اختياري*، القيمة الافتراضية `2`) : معرّف الرمز المستخدم لنهاية البث في المفردات. tie_word_embeddings (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان يجب ربط ترميزات الأوزان وفقاً لخريطة `tied_weights_keys` الخاصة بالنموذج. sliding_window (`int`, *اختياري*) : حجم نافذة الانتباه ذات النافذة المنزلقة. إذا كانت `None`، فلا تُطبَّق نافذة منزلقة. attention_dropout (`Union[float, int]`، *اختياري*، القيمة الافتراضية `0.0`) : نسبة الإسقاط (dropout) لاحتمالات الانتباه. num_experts_per_tok (`int`، *اختياري*، القيمة الافتراضية `2`) : عدد الخبراء الذين يُوجَّه إليهم كل رمز. هذه هي قيمة top-k الخاصة بتوجيه اختيار الرموز. num_local_experts (`int`، *اختياري*، القيمة الافتراضية `8`) : عدد الخبراء المحليين على كل جهاز. يجب أن يكون `num_experts` قابلاً للقسمة على `num_local_experts`. output_router_logits (`bool`، *اختياري*، القيمة الافتراضية `False`) : ما إذا كان يجب على النموذج إرجاع قيم التوجيه (router logits) أم لا. تمكين هذا الخيار سيتيح أيضًا للنموذج إخراج الخسارة المساعدة، بما في ذلك خسارة موازنة الحمل وخسارة توجيه z. router_aux_loss_coef (`float`، *اختياري*، القيمة الافتراضية `0.001`) : معامل خسارة موازنة الحمل المساعدة. يُستخدم لعقابلة التوجيه غير المتساوي للخبراء في نماذج MoE. router_jitter_noise (`float`، *اختياري*، القيمة الافتراضية `0.0`) : كمية الضوضاء المضافة إلى قيم التوجيه (logits) أثناء التدريب لتحسين توازن الحمل. rope_parameters (`Union[~modeling_rope_utils.RopeParameters, dict]`، *اختياري*) : قاموس يحتوي على معاملات التهيئة الخاصة بتضمينات RoPE. يجب أن يحتوي القاموس على قيمة لـ `rope_theta`، وبشكل اختياري معاملات تُستخدم للتوسيع في حال رغبتَ في استخدام RoPE مع `max_position_embeddings` أطول. layer_types (`list[str]`، *اختياري*) : قائمة تُقرن صراحةً كل فهرس طبقة بنوعها. إذا لم تُقدَّم، فسيتم توليدها تلقائيًا بناءً على قيم الإعداد. block_size (`int`، *اختياري*، القيمة الافتراضية 256) : طول كل كتلة انتباه، يحدد كيفية تجميع المعالجات والمفاتيح والقيم ومعالجتها للانتباه داخل الكتلة وبين الكتل. full_attn_alpha_factor (`float`، *اختياري*، القيمة الافتراضية 1) : الوزن الخاص بالقيمة المتبقية في الاتصال المتبقي بعد الانتباه العادي. full_attn_beta_factor (`float`، *اختياري*، القيمة الافتراضية 1) : الوزن الخاص بقيمة الحالة المخفية في الاتصال المتبقي بعد الانتباه العادي. linear_attn_alpha_factor (`float`، *اختياري*، القيمة الافتراضية 1) : الوزن الخاص بالقيمة المتبقية في الاتصال المتبقي بعد الانتباه البرقي. linear_attn_beta_factor (`float`، *اختياري*، القيمة الافتراضية 1) : الوزن الخاص بقيمة الحالة المخفية في الاتصال المتبقي بعد الانتباه البرقي (lightning attention). mlp_alpha_factor (`float`، *اختياري*، القيمة الافتراضية 1) : الوزن الخاص بالقيمة المتبقية في الاتصال المتبقي بعد MLP. mlp_beta_factor (`float`، *اختياري*، القيمة الافتراضية 1) : الوزن الخاص بقيمة الحالة المخفية في الاتصال المتبقي بعد MLP. هذه فئة الإعدادات المخزنة لإعدادات MiniMaxModel. تُستخدم لاستحداث نموذج Minimax وفقًا للحجج المحددة، مع تعريف بنية النموذج. إن استحداث إعدادات باستخدام القيم الافتراضية سيؤدي إلى إعدادات مشابهة لتلك الخاصة بـ [MiniMaxAI/MiniMax-Text-01-hf](https://huggingface.co/MiniMaxAI/MiniMax-Text-01-hf) ترث كائنات الإعداد من [PreTrainedConfig](/docs/transformers/main/ar/main_classes/configuration#transformers.PreTrainedConfig) ويمكن استخدامها للتحكم في مخرجات النموذج. اقرأ التوثيق الخاص بـ [PreTrainedConfig](/docs/transformers/main/ar/main_classes/configuration#transformers.PreTrainedConfig) لمزيد من المعلومات. ```python >>> from transformers import MiniMaxModel, MiniMaxConfig >>> # Initializing a MiniMax style configuration >>> configuration = MiniMaxConfig() >>> # Initializing a model from the MiniMax style configuration >>> model = MiniMaxModel(configuration) >>> # Accessing the model configuration >>> configuration = model.config ``` ## MiniMaxModel[[transformers.MiniMaxModel]] #### transformers.MiniMaxModel[[transformers.MiniMaxModel]] ```python transformers.MiniMaxModel(config: MiniMaxConfig) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/minimax/modeling_minimax.py#L618) **المعاملات:** config ([MiniMaxConfig](/docs/transformers/main/ar/model_doc/minimax#transformers.MiniMaxConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/main/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج. نموذج Minimax الأساسي الذي يُخرج حالات مخفية خام دون أي رأس محدد في الأعلى. يرث هذا النموذج من [PreTrainedModel](/docs/transformers/main/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك). هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك. #### forward[[transformers.MiniMaxModel.forward]] ```python forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.models.minimax.modeling_minimax.MiniMaxCache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, **kwargs: *) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/minimax/modeling_minimax.py#L635) ## MiniMaxForCausalLM[[transformers.MiniMaxForCausalLM]] #### transformers.MiniMaxForCausalLM[[transformers.MiniMaxForCausalLM]] ```python transformers.MiniMaxForCausalLM(config: MiniMaxConfig) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/minimax/modeling_minimax.py#L773) **المعاملات:** config ([MiniMaxConfig](/docs/transformers/main/ar/model_doc/minimax#transformers.MiniMaxConfig)) : فئة إعدادات النموذج التي تحتوي على جميع معاملات النموذج. عند التهيئة باستخدام ملف إعدادات، لا يتم تحميل الأوزان المرتبطة بالنموذج، بل الإعدادات فقط. راجع طريقة [from_pretrained()](/docs/transformers/main/ar/main_classes/model#transformers.PreTrainedModel.from_pretrained) لتحميل أوزان النموذج. نموذج Minimax لنمذجة اللغة السببية. يرث هذا النموذج من [PreTrainedModel](/docs/transformers/main/ar/main_classes/model#transformers.PreTrainedModel). راجع توثيق الفئة الأصلية لمعرفة الطرق العامة التي تنفذها المكتبة لجميع نماذجها (مثل التنزيل أو الحفظ، وتغيير حجم تضمينات الإدخال، وقص الرؤوس، وما إلى ذلك). هذا النموذج هو أيضاً فئة فرعية من [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) في PyTorch. استخدمه كوحدة PyTorch عادية، وارجع إلى توثيق PyTorch لكل ما يتعلق بالاستخدام العام والسلوك. #### forward[[transformers.MiniMaxForCausalLM.forward]] ```python forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.LongTensor] = None, use_cache: bool | None = None, output_router_logits: bool | None = None, logits_to_keep: typing.Union[int, torch.Tensor] = 0, **kwargs: *) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/minimax/modeling_minimax.py#L791) **المعاملات:** input_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا. يمكن الحصول على الفهارس باستخدام [AutoTokenizer](/docs/transformers/main/ar/model_doc/auto#transformers.AutoTokenizer). راجع [PreTrainedTokenizer.encode()](/docs/transformers/main/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) و [PreTrainedTokenizer.__call__()](/docs/transformers/main/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) للتفاصيل. [ما هي معرّفات الإدخال؟](../glossary#input-ids) attention_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي **ليست مقنّعة**، - 0 للرموز التي **مقنّعة**. [ما هي أقنعة الانتباه؟](../glossary#attention-mask) position_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس مواضع رموز كل تسلسل إدخال في تضمينات المواضع. يتم اختيارها من النطاق `[0, config.n_positions - 1]`. [ما هي معرّفات المواضع؟](../glossary#position-ids) past_key_values (`~cache_utils.Cache`، *اختياري*) : حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي وكتل الانتباه المتقاطع) يمكن استخدامها لتسريع فك الترميز التسلسلي. يتكوّن هذا عادةً من `past_key_values` التي يعيدها النموذج في مرحلة سابقة من فك الترميز، عندما يكون `use_cache=True` أو `config.use_cache=True`. يُسمح فقط بتمرير كائن [Cache](/docs/transformers/main/ar/internal/generation_utils#transformers.Cache) كمدخل، راجع [دليل ذاكرة kv](https://huggingface.co/docs/transformers/en/kv_cache). إذا لم يتم تمرير `past_key_values`، فسيتم تهيئة [DynamicCache](/docs/transformers/main/ar/internal/generation_utils#transformers.DynamicCache) افتراضيًا. سيُخرج النموذج نفس تنسيق الذاكرة المؤقتة المُدخل. إذا تم استخدام `past_key_values`، يُتوقع من المستخدم إدخال `input_ids` غير المعالجة فقط (تلك التي لم تُعطَ حالات مفاتيح وقيم سابقة لها في هذا النموذج) بأبعاد `(batch_size, unprocessed_length)` بدلاً من جميع `input_ids` بأبعاد `(batch_size, sequence_length)`. inputs_embeds (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`، *اختياري*) : بدلاً من تمرير `input_ids`، يمكنك اختيار تمرير تمثيل مضمّن مباشرةً. هذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس `input_ids` إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج. labels (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : تسميات لحساب خسارة نمذجة اللغة المقنّعة. يجب أن تكون الفهارس إما ضمن `[0, ..., config.vocab_size]` أو -100 (انظر `input_ids` docstring). يتم تجاهل الرموز التي تكون فهارسها مضبوطة على `-100` (مقنّعة)، ولا تُحسب الخسارة إلا للرموز التي تسمياتها ضمن `[0, ..., config.vocab_size]`. use_cache (`bool`، *اختياري*) : إذا تم ضبطه على `True`، تُعاد حالات المفاتيح والقيم `past_key_values` ويمكن استخدامها لتسريع فك الترميز (انظر `past_key_values`). output_router_logits (`bool`، *اختياري*) : ما إذا كان يجب إرجاع قيم logits لجميع الموجّهات (routers) أم لا. تُفيد هذه القيم في حساب خسارة الموجّه (router loss)، ولا ينبغي إرجاعها أثناء الاستدلال. logits_to_keep (`Union[int, torch.Tensor]`، *اختياري*، القيمة الافتراضية `0`) : إذا كان `int`، يتم حساب القيم اللوجستية (logits) لآخر `logits_to_keep` رموز. إذا كانت `0`، يتم حساب القيم اللوجستية لجميع `input_ids` (حالة خاصة). لا تكون قيم اللوجستيات للرمز الأخير فقط ضرورية للتوليد، ويمكن أن يوفر حسابها لذلك الرمز وحده ذاكرة، وهو ما يصبح ذا أهمية كبيرة للترتيبات الطويلة أو لحجم المفردات الكبير. إذا كان `torch.Tensor`، يجب أن يكون بعدًا واحدًا (1D) ويتوافق مع الفهارس التي يجب الاحتفاظ بها في بُعد طول الترتيب. وهذا مفيد عند استخدام تنسيق المصفوفات المعبأة (packed tensor format) (بعد واحد لكل من الدفعة وطول الترتيب). **يعيد:** `MoeCausalLMOutputWithPast` أو `tuple(torch.Tensor)` `MoeCausalLMOutputWithPast` أو مجموعة من `torch.Tensor` (إذا تم تمرير `return_dict=False` أو عندما يكون `config.return_dict=False`) وتتضمن عناصر مختلفة اعتماداً على الإعداد ([MiniMaxConfig](/docs/transformers/main/ar/model_doc/minimax#transformers.MiniMaxConfig)) والمدخلات. تتجاوز طريقة [MiniMaxForCausalLM](/docs/transformers/main/ar/model_doc/minimax#transformers.MiniMaxForCausalLM) الخاصة بالتقديم (forward) الطريقة الخاصة `__call__`. على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت. - **loss** (`torch.Tensor` من الشكل `(1,)`، *اختياري*، يُعاد عند توفير `labels`) -- خسارة نمذجة اللغة (لتوقع الرمز التالي). - **logits** (`torch.Tensor` من الشكل `(batch_size, sequence_length, config.vocab_size)`) -- درجات التنبؤ لرأس نمذجة اللغة (درجات لكل رمز في المفردات قبل SoftMax). - **aux_loss** (`torch.Tensor`، *اختياري*، يُعاد عند تمرير `output_router_logits=True` أو عند تعيين `config.output_router_logits=True`، وفي حال تدريب النموذج لموجّهه باستخدام خسارة توازن الأحمال) -- خسارة مساعدة لتوازن الأحمال الخاصة بالوحدات المتناثرة. تُعيد النماذج التي توازن خبرائها باستخدام انحياز الموجّه بدلاً من ذلك (DeepSeek-V3 والهندسات المشتقة منه) قيمة `None` هنا مع الاستمرار في إرجاع `router_logits`. - **router_logits** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_router_logits=True` أو عند تعيين `config.output_router_logits=True`) -- مجموعة من `torch.Tensor` (واحدة لكل طبقة متناثرة) بأبعاد `(batch_size * sequence_length, num_experts)`. قيمات التوجيه الخام (logits) التي يحسبها موجّهات MoE. يمكن استخدامها لحساب خسارة موازنة الحمل أو لفحص كيفية توزيع الرموز على الخبراء. - **past_key_values** (`Cache`، *اختياري*، يُعاد عند تمرير `use_cache=True` أو عند تعيين `config.use_cache=True`) -- هو كائن من نوع [Cache](/docs/transformers/main/ar/internal/generation_utils#transformers.Cache). لمزيد من التفاصيل، راجع [دليل ذاكرة kv](https://huggingface.co/docs/transformers/en/kv_cache). تحتوي على حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي) يمكن استخدامها (انظر مدخل `past_key_values`) لتسريع فك الترميز التسلسلي. - **hidden_states** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_hidden_states=True` أو عند تعيين `config.output_hidden_states=True`) -- مجموعة من `torch.Tensor` (واحدة لمخرجات التضمينات، إذا كان النموذج يحتوي على طبقة تضمين، + واحدة لمخرجات كل طبقة) بأبعاد `(batch_size, sequence_length, hidden_size)`. حالات النموذج المخفية عند مخرج كل طبقة بالإضافة إلى مخرجات التضمين الأولي الاختيارية. - **attentions** (`tuple(torch.Tensor)`، *اختياري*، يُعاد عند تمرير `output_attentions=True` أو عند تعيين `config.output_attentions=True`) -- مجموعة من `torch.Tensor` (واحدة لكل طبقة) بأبعاد `(batch_size, num_heads, sequence_length, sequence_length)`. أوزان الانتباه بعد تطبيق دالة softmax على الانتباه، وتُستخدم لحساب المتوسط الموزون في رؤوس الانتباه الذاتي. مثال: ```python >>> from transformers import AutoTokenizer, MiniMaxForCausalLM >>> model = MiniMaxForCausalLM.from_pretrained("MiniMaxAI/MiniMax-Text-01-hf") >>> tokenizer = AutoTokenizer.from_pretrained("MiniMaxAI/MiniMax-Text-01-hf") >>> prompt = "Hey, are you conscious? Can you talk to me?" >>> inputs = tokenizer(prompt, return_tensors="pt") >>> # Generate >>> generate_ids = model.generate(inputs.input_ids, max_length=30) >>> tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0] "Hey, are you conscious? Can you talk to me?\nI'm not conscious, but I can talk to you." ``` ## MiniMaxForSequenceClassification[[transformers.MiniMaxForSequenceClassification]] #### transformers.MiniMaxForSequenceClassification[[transformers.MiniMaxForSequenceClassification]] ```python transformers.MiniMaxForSequenceClassification(config) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/minimax/modeling_minimax.py#L870) #### forward[[transformers.MiniMaxForSequenceClassification.forward]] ```python forward(input_ids: torch.LongTensor | None = None, attention_mask: torch.Tensor | None = None, position_ids: torch.LongTensor | None = None, past_key_values: Cache | None = None, inputs_embeds: torch.Tensor | None = None, labels: torch.LongTensor | None = None, use_cache: bool | None = None, **kwargs: Unpack[TransformersKwargs]) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/modeling_layers.py#L128) **المعاملات:** input_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا. يمكن الحصول على الفهارس باستخدام [AutoTokenizer](/docs/transformers/main/ar/model_doc/auto#transformers.AutoTokenizer). راجع [PreTrainedTokenizer.encode()](/docs/transformers/main/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) و [PreTrainedTokenizer.__call__()](/docs/transformers/main/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) للتفاصيل. [ما هي معرّفات الإدخال؟](../glossary#input-ids) attention_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي **ليست مقنّعة**، - 0 للرموز التي **مقنّعة**. [ما هي أقنعة الانتباه؟](../glossary#attention-mask) position_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس مواضع رموز كل تسلسل إدخال في تضمينات المواضع. يتم اختيارها من النطاق `[0, config.n_positions - 1]`. [ما هي معرّفات المواضع؟](../glossary#position-ids) past_key_values (`Cache`، *اختياري*) : حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي وكتل الانتباه المتقاطع) يمكن استخدامها لتسريع فك الترميز التسلسلي. يتكوّن هذا عادةً من `past_key_values` التي يعيدها النموذج في مرحلة سابقة من فك الترميز، عندما يكون `use_cache=True` أو `config.use_cache=True`. يُسمح فقط بمرور كائن [Cache](/docs/transformers/main/ar/internal/generation_utils#transformers.Cache) كمدخل، راجع [دليل ذاكرة kv](https://huggingface.co/docs/transformers/en/kv_cache). إذا لم يتم تمرير `past_key_values`، فسيتم تهيئة [DynamicCache](/docs/transformers/main/ar/internal/generation_utils#transformers.DynamicCache) افتراضيًا. سيُخرج النموذج نفس تنسيق الذاكرة المؤقتة المُدخل. إذا تم استخدام `past_key_values`، يُتوقع من المستخدم إدخال `input_ids` غير المعالجة فقط (تلك التي لم تُعطَ حالات مفاتيح وقيم سابقة لها في هذا النموذج) بأبعاد `(batch_size, unprocessed_length)` بدلاً من جميع `input_ids` بأبعاد `(batch_size, sequence_length)`. inputs_embeds (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`، *اختياري*) : بدلاً من تمرير `input_ids`، يمكنك اختيار تمرير تمثيل مضمّن مباشرةً. هذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس `input_ids` إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج. labels (`torch.LongTensor` من الشكل `(batch_size,)`، *اختياري*) : تسميات لحساب خسارة تصنيف/انحدار التسلسل. يجب أن تكون الفهارس ضمن `[0, ..., config.num_labels - 1]`. إذا كان `config.num_labels == 1` يتم حساب خسارة الانحدار (خسارة متوسط المربع)، وإذا كان `config.num_labels > 1` يتم حساب خسارة التصنيف (الإنتروبيا المتقاطعة). use_cache (`bool`، *اختياري*) : إذا تم ضبطه على `True`، تُعاد حالات المفاتيح والقيم `past_key_values` ويمكن استخدامها لتسريع فك الترميز (انظر `past_key_values`). **يعيد:** `SequenceClassifierOutputWithPast` تُعيد طريقة `GenericForSequenceClassification` الخاصة بالتقديم (forward) تعريف الطريقة الخاصة `__call__`. على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت. ## MiniMaxForTokenClassification[[transformers.MiniMaxForTokenClassification]] #### transformers.MiniMaxForTokenClassification[[transformers.MiniMaxForTokenClassification]] ```python transformers.MiniMaxForTokenClassification(config) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/minimax/modeling_minimax.py#L874) #### forward[[transformers.MiniMaxForTokenClassification.forward]] ```python forward(input_ids: torch.LongTensor | None = None, attention_mask: torch.Tensor | None = None, position_ids: torch.LongTensor | None = None, past_key_values: Cache | None = None, inputs_embeds: torch.Tensor | None = None, labels: torch.LongTensor | None = None, use_cache: bool | None = None, **kwargs: Unpack[TransformersKwargs]) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/modeling_layers.py#L275) **المعاملات:** input_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا. يمكن الحصول على الفهارس باستخدام [AutoTokenizer](/docs/transformers/main/ar/model_doc/auto#transformers.AutoTokenizer). راجع [PreTrainedTokenizer.encode()](/docs/transformers/main/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) و [PreTrainedTokenizer.__call__()](/docs/transformers/main/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) للتفاصيل. [ما هي معرّفات الإدخال؟](../glossary#input-ids) attention_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي **ليست مقنّعة**، - 0 للرموز التي **مقنّعة**. [ما هي أقنعة الانتباه؟](../glossary#attention-mask) position_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس مواضع رموز كل تسلسل إدخال في تضمينات المواضع. يتم اختيارها من النطاق `[0, config.n_positions - 1]`. [ما هي معرّفات المواضع؟](../glossary#position-ids) past_key_values (`Cache`، *اختياري*) : حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي وكتل الانتباه المتقاطع) يمكن استخدامها لتسريع فك الترميز التسلسلي. يتكوّن هذا عادةً من `past_key_values` التي يعيدها النموذج في مرحلة سابقة من فك الترميز، عندما يكون `use_cache=True` أو `config.use_cache=True`. يُسمح فقط بمرور كائن [Cache](/docs/transformers/main/ar/internal/generation_utils#transformers.Cache) كمدخل، راجع [دليل ذاكرة kv](https://huggingface.co/docs/transformers/en/kv_cache). إذا لم يتم تمرير `past_key_values`، فسيتم تهيئة [DynamicCache](/docs/transformers/main/ar/internal/generation_utils#transformers.DynamicCache) افتراضيًا. سيُخرج النموذج نفس تنسيق الذاكرة المؤقتة المُدخل. إذا تم استخدام `past_key_values`، يُتوقع من المستخدم إدخال `input_ids` غير المعالجة فقط (تلك التي لم تُعطَ حالات مفاتيح وقيم سابقة لها في هذا النموذج) بأبعاد `(batch_size, unprocessed_length)` بدلاً من جميع `input_ids` بأبعاد `(batch_size, sequence_length)`. inputs_embeds (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`، *اختياري*) : بدلاً من تمرير `input_ids`، يمكنك اختيار تمرير تمثيل مضمّن مباشرةً. هذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس `input_ids` إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج. labels (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : تسميات لحساب خسارة تصنيف الرموز. يجب أن تكون الفهارس ضمن `[0, ..., config.num_labels - 1]`. use_cache (`bool`، *اختياري*) : إذا تم ضبطه على `True`، تُعاد حالات المفاتيح والقيم `past_key_values` ويمكن استخدامها لتسريع فك الترميز (انظر `past_key_values`). **يعيد:** `TokenClassifierOutput` تُعيد طريقة `GenericForTokenClassification` الخاصة بالتقديم (forward) تعريف الطريقة الخاصة `__call__`. على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت. ## MiniMaxForQuestionAnswering[[transformers.MiniMaxForQuestionAnswering]] #### transformers.MiniMaxForQuestionAnswering[[transformers.MiniMaxForQuestionAnswering]] ```python transformers.MiniMaxForQuestionAnswering(config) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/models/minimax/modeling_minimax.py#L878) #### forward[[transformers.MiniMaxForQuestionAnswering.forward]] ```python forward(input_ids: torch.LongTensor | None = None, attention_mask: torch.Tensor | None = None, position_ids: torch.LongTensor | None = None, past_key_values: Cache | None = None, inputs_embeds: torch.Tensor | None = None, start_positions: torch.LongTensor | None = None, end_positions: torch.LongTensor | None = None, **kwargs: Unpack[TransformersKwargs]) ``` [المصدر](https://github.com/huggingface/transformers/blob/main/src/transformers/modeling_layers.py#L208) **المعاملات:** input_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس رموز تسلسل الإدخال في قاموس الكلمات. سيتم تجاهل الحشو افتراضيًا. يمكن الحصول على الفهارس باستخدام [AutoTokenizer](/docs/transformers/main/ar/model_doc/auto#transformers.AutoTokenizer). راجع [PreTrainedTokenizer.encode()](/docs/transformers/main/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) و [PreTrainedTokenizer.__call__()](/docs/transformers/main/ar/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) للتفاصيل. [ما هي معرّفات الإدخال؟](../glossary#input-ids) attention_mask (`torch.Tensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : قناع لتجنب تنفيذ الانتباه على فهارس رموز الحشو. قيم القناع المختارة من `[0, 1]`: - 1 للرموز التي **ليست مقنّعة**، - 0 للرموز التي **مقنّعة**. [ما هي أقنعة الانتباه؟](../glossary#attention-mask) position_ids (`torch.LongTensor` من الشكل `(batch_size, sequence_length)`، *اختياري*) : فهارس مواضع رموز كل تسلسل إدخال في تضمينات المواضع. يتم اختيارها من النطاق `[0, config.n_positions - 1]`. [ما هي معرّفات المواضع؟](../glossary#position-ids) past_key_values (`Cache`، *اختياري*) : حالات مخفية محسوبة مسبقًا (المفاتيح والقيم في كتل الانتباه الذاتي وكتل الانتباه المتقاطع) يمكن استخدامها لتسريع فك الترميز التسلسلي. يتكوّن هذا عادةً من `past_key_values` التي يعيدها النموذج في مرحلة سابقة من فك الترميز، عندما يكون `use_cache=True` أو `config.use_cache=True`. يُسمح فقط بمرور كائن [Cache](/docs/transformers/main/ar/internal/generation_utils#transformers.Cache) كمدخل، راجع [دليل ذاكرة kv](https://huggingface.co/docs/transformers/en/kv_cache). إذا لم يتم تمرير `past_key_values`، فسيتم تهيئة [DynamicCache](/docs/transformers/main/ar/internal/generation_utils#transformers.DynamicCache) افتراضيًا. سيُخرج النموذج نفس تنسيق الذاكرة المؤقتة المُدخل. إذا تم استخدام `past_key_values`، يُتوقع من المستخدم إدخال `input_ids` غير المعالجة فقط (تلك التي لم تُعطَ حالات مفاتيح وقيم سابقة لها في هذا النموذج) بأبعاد `(batch_size, unprocessed_length)` بدلاً من جميع `input_ids` بأبعاد `(batch_size, sequence_length)`. inputs_embeds (`torch.Tensor` من الشكل `(batch_size, sequence_length, hidden_size)`، *اختياري*) : بدلاً من تمرير `input_ids`، يمكنك اختيار تمرير تمثيل مضمّن مباشرةً. هذا مفيد إذا كنت ترغب في الحصول على مزيد من التحكم في كيفية تحويل فهارس `input_ids` إلى المتجهات المرتبطة بها، مقارنةً بمصفوفة البحث المضمّنة الداخلية للنموذج. start_positions (`torch.LongTensor` من الشكل `(batch_size,)`، *اختياري*) : تسميات لموضع (فهرس) بداية النطاق المُسمّى لحساب خسارة تصنيف الرموز. يتم تثبيت المواضع على طول التسلسل (`sequence_length`). لا تُؤخذ المواضع خارج التسلسل في الاعتبار عند حساب الخسارة. end_positions (`torch.LongTensor` من الشكل `(batch_size,)`، *اختياري*) : تسميات لموضع (فهرس) نهاية النطاق المُسمّى لحساب خسارة تصنيف الرموز. يتم تثبيت المواضع على طول التسلسل (`sequence_length`). لا تُؤخذ المواضع خارج التسلسل في الاعتبار عند حساب الخسارة. **يعيد:** `QuestionAnsweringModelOutput` تتجاوز طريقة `GenericForQuestionAnswering` الأمامية الطريقة الخاصة `__call__`. على الرغم من أنه يجب تعريف وصفة المرور الأمامي داخل هذه الدالة، إلا أنه ينبغي استدعاء كائن `Module` بدلاً من هذه الدالة، لأن الكائن يتولى تنفيذ خطوات المعالجة المسبقة والمعالجة اللاحقة، بينما تتجاهل الدالة هذه الخطوات بصمت.