blackdaqlabs/MiloX1

Milo X1 (fine-tuned)

Modelo de lenguaje Transformer autoregresivo en español, entrenado completamente desde cero (sin pesos preentrenados, arquitectura propia con RoPE + atención causal + SwiGLU + RMSNorm).

• Parámetros: ~18.79M
• d_model: 320 | capas: 6 | heads: 8
• context_length: 768
• Vocabulario: 14000 tokens (BPE byte-level, librería tokenizers)

Archivos

• model.safetensors: pesos del modelo
• config.json: hiperparámetros de arquitectura (para reconstruir MiloX1)
• tokenizer.json: tokenizer BPE byte-level (formato nativo de la librería tokenizers)