moondream3.1-9B-A2B GGUF

moondream/moondream3.1-9B-A2B 的 GGUF 量化版本, 配套推理引擎 SkyVision.cpp。

仅供 SkyVision.cpp 使用。 GGUF 里 general.architecture = moondream3, 是自研的 MoE + SigLIP 结构,llama.cpp / ollama / LM Studio 等通用 GGUF 运行时无法加载本仓库文件。 本仓库与通用 GGUF 生态不兼容,请勿据此判断"能不能跑"。

文件 量化 大小 说明
moondream3.1-q6k.gguf Q6_K ~7.6 GB 文本解码器,12 GB 显存首选
moondream3.1-vision.gguf F16 ~0.9 GB SigLIP 视觉塔 + multimodal projector,必需
moondream3.1-region.gguf F16 ~30 MB detect / point / gaze 技能使用的 region 模型,可选

模型结构:24 层(0-3 层 dense MLP,4-23 层 MoE)、2048 dim / 32 heads、 半旋转 RoPE(仅前 32 维,theta 1.5e6)、64 专家选 8、 SigLIP 视觉塔、词表 51200、上下文 32768。

运行要求

  • 引擎:SkyVision.cpp,CUDA 与 CPU 后端均可。所有能力都由同一个 vqa-cli 提供(没有单独的 moondream 二进制)。 q6k 作为文本主干,vision 必需,region 仅 detect / point / gaze / ask-think 技能需要。
  • 分词器不打包进 GGUF:运行时需从基座仓库 moondream/moondream3.1-9B-A2B 获取 tokenizer.json。

使用方法

git clone https://github.com/SkYContact/SkyVision.cpp
cd SkyVision.cpp
git clone --depth 1 https://github.com/ggml-org/ggml
cmake -B build -DGGML_CUDA=ON && cmake --build build --target vqa-cli

# 视觉问答(--vision / --region 省略时按模型所在目录自动查找 *-vision.gguf / *-region.gguf)
./build/vqa-cli --model moondream3.1-q6k.gguf --tokenizer tokenizer.json \
    --image image.png --ask "Describe this image."

# caption:三档长度由 --ask 指定
./build/vqa-cli --model moondream3.1-q6k.gguf --tokenizer tokenizer.json \
    --image image.png --ask normal --mode caption          # short | normal | long

# 目标检测 / 目标定位(--ask 里放要检测的类别)
./build/vqa-cli --model moondream3.1-q6k.gguf --tokenizer tokenizer.json \
    --image image.png --ask "person" --mode detect
./build/vqa-cli --model moondream3.1-q6k.gguf --tokenizer tokenizer.json \
    --image image.png --ask "clock" --mode point

# 注视点预测:--ask 给一个查询点 "x,y"(归一化)
./build/vqa-cli --model moondream3.1-q6k.gguf --tokenizer tokenizer.json \
    --image image.png --ask "0.5,0.5" --mode gaze

# 带推理的问答
./build/vqa-cli --model moondream3.1-q6k.gguf --tokenizer tokenizer.json \
    --image image.png --ask "How many people are in the image?" --mode ask-think

# 纯文本批量推理(每行一个 prompt)
./build/vqa-cli --model moondream3.1-q6k.gguf --tokenizer tokenizer.json --batch prompts.txt

# Web UI:拖拽图片、caption、提问、检测、定位、注视点
./build/vqa-cli --serve 8080

# CPU 后端:--cpu,线程数默认取物理核数
./build/vqa-cli --model moondream3.1-q6k.gguf --tokenizer tokenizer.json \
    --image image.png --ask "Describe this image." --cpu --threads 16

旁挂模型在别的目录时显式指定:--vision moondream3.1-vision.gguf --region moondream3.1-region.gguf。

相关链接

许可证

继承自基座模型,见 Moondream Model License 1.0。

Downloads last month
525
GGUF
Model size
9B params
Architecture
moondream3
Hardware compatibility
Log In to add your hardware

We're not able to determine the quantization variants.

Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for SkyContact/moondream3.1-9B-A2B-GGUF

Quantized
(1)
this model

Collection including SkyContact/moondream3.1-9B-A2B-GGUF