Поддержка llama.cpp ?
Привет!
Спасибо что открыли Алису для комьюнити!
Вопрос - если я ее конвертну в GGUF она будет работать в стандартной llama.cpp ?
Я имею ввиду она как идентифицируется? Как что-то чего нет в mainline llama.cpp или как qwen3vl например?
Просто не хотелось бы качать 160 гигов и узнать что под llama.cpp она не заработает.
Это базовая модель, надо ждать instuct версию. Как понятно основана на qwen3 next flash. Поэтому переделок в llama.cpp много не должно быть.
Сбер для гигачата например сразу к выходу модели подготавливают PR в llama.cpp и gguf.
Сбер делает модели основанные на deepseek.
Это базовая модель, надо ждать instuct версию. Как понятно основана на qwen3 next flash. Поэтому переделок в llama.cpp много не должно быть.
Сбер для гигачата например сразу к выходу модели подготавливают PR в llama.cpp и gguf.
Сбер делает модели основанные на deepseek.
Спасибо!
А откуда инфа что эта модель основана на Qwen3.8 Flash Next?
Или имелась ввиду Qwen3 Coder Next?
3.8 Flash по параметрам не подходит, Qwen3CN - 80B / A3B - больше подходит.
Спасибо!
А откуда инфа что эта модель основана на Qwen3.8 Flash Next?
Или имелась ввиду Qwen3 Coder Next?
3.8 Flash по параметрам не подходит, Qwen3CN - 80B / A3B - больше подходит.
Судя по описанию на Хабре, вероятно они взяли архитектуру Qwen3-Next, но без весов и с нуля сами обучали.
Так что получается обратная совместимость должна быть, но веса у них полностью свои.
Тут скорее набор из идей и экспериментов с архитектурами. В итоге, действительно получилась своя архитектура и она из коробки и day-0 поддержки не получит в sglang/vllm/llama.cpp (для Base модели оно особо и не надо, тк пока дообучишь её до chat/instruct уже и поддержка появится :))
идеи из современных LLM
│
┌───────────────────┼───────────────────┐
▼ ▼ ▼
Qwen3-Next Kimi DeepSeek
baseline KDA MoE routing
│ │ │
└──────────┬─────────┴───────────────────┘
▼
архитектурные эксперименты
│
▼
AliceAI architecture
│
random initialization
│
▼
pretraining from zero
│
▼
AliceAI 80B
Hugginface doesn't allow me to just subscribe to a thread and get notifications, so 1+. We haven't seen a good 80B parameter model in a hot minute that is supported on llama.cpp, all the ones that exist are horribly outdated and somewhat irrelevant. Hoping this can be at least better than 31B to 27B models we have, seems decent on paper but could be benchmaxxing for all I know. Might be asking a bit much for a newish lab without a lot of compute, but would love to be pleasantly surprised. Best of wishes regardless :P
Выпускать consumer hardware модель без поддержки, пусть и в своем форке, llamacpp? Зачем? На бумаге выглядит как топовая модель для HI-END пользовательского железа, а по факту - поддержка только vLLM - что само по себе не юзер френдли.
«Видишь суслика? — Нет. — И я не вижу. А он есть!»