SkyVision.cpp
Collection
13 items • Updated • 1
moondream/moondream3.1-9B-A2B 的 GGUF 量化版本,
配套推理引擎 SkyVision.cpp。
仅供
SkyVision.cpp使用。 GGUF 里general.architecture = moondream3, 是自研的 MoE + SigLIP 结构,llama.cpp / ollama / LM Studio 等通用 GGUF 运行时无法加载本仓库文件。 本仓库与通用 GGUF 生态不兼容,请勿据此判断"能不能跑"。
| 文件 | 量化 | 大小 | 说明 |
|---|---|---|---|
moondream3.1-q6k.gguf |
Q6_K | ~7.6 GB | 文本解码器,12 GB 显存首选 |
moondream3.1-vision.gguf |
F16 | ~0.9 GB | SigLIP 视觉塔 + multimodal projector,必需 |
moondream3.1-region.gguf |
F16 | ~30 MB | detect / point / gaze 技能使用的 region 模型,可选 |
模型结构:24 层(0-3 层 dense MLP,4-23 层 MoE)、2048 dim / 32 heads、 半旋转 RoPE(仅前 32 维,theta 1.5e6)、64 专家选 8、 SigLIP 视觉塔、词表 51200、上下文 32768。
SkyVision.cpp,CUDA 与 CPU 后端均可。所有能力都由同一个
vqa-cli 提供(没有单独的 moondream 二进制)。
q6k 作为文本主干,vision 必需,region 仅 detect / point / gaze / ask-think 技能需要。tokenizer.json。git clone https://github.com/SkYContact/SkyVision.cpp
cd SkyVision.cpp
git clone --depth 1 https://github.com/ggml-org/ggml
cmake -B build -DGGML_CUDA=ON && cmake --build build --target vqa-cli
# 视觉问答(--vision / --region 省略时按模型所在目录自动查找 *-vision.gguf / *-region.gguf)
./build/vqa-cli --model moondream3.1-q6k.gguf --tokenizer tokenizer.json \
--image image.png --ask "Describe this image."
# caption:三档长度由 --ask 指定
./build/vqa-cli --model moondream3.1-q6k.gguf --tokenizer tokenizer.json \
--image image.png --ask normal --mode caption # short | normal | long
# 目标检测 / 目标定位(--ask 里放要检测的类别)
./build/vqa-cli --model moondream3.1-q6k.gguf --tokenizer tokenizer.json \
--image image.png --ask "person" --mode detect
./build/vqa-cli --model moondream3.1-q6k.gguf --tokenizer tokenizer.json \
--image image.png --ask "clock" --mode point
# 注视点预测:--ask 给一个查询点 "x,y"(归一化)
./build/vqa-cli --model moondream3.1-q6k.gguf --tokenizer tokenizer.json \
--image image.png --ask "0.5,0.5" --mode gaze
# 带推理的问答
./build/vqa-cli --model moondream3.1-q6k.gguf --tokenizer tokenizer.json \
--image image.png --ask "How many people are in the image?" --mode ask-think
# 纯文本批量推理(每行一个 prompt)
./build/vqa-cli --model moondream3.1-q6k.gguf --tokenizer tokenizer.json --batch prompts.txt
# Web UI:拖拽图片、caption、提问、检测、定位、注视点
./build/vqa-cli --serve 8080
# CPU 后端:--cpu,线程数默认取物理核数
./build/vqa-cli --model moondream3.1-q6k.gguf --tokenizer tokenizer.json \
--image image.png --ask "Describe this image." --cpu --threads 16
旁挂模型在别的目录时显式指定:--vision moondream3.1-vision.gguf --region moondream3.1-region.gguf。
SkyVision.cpp继承自基座模型,见 Moondream Model License 1.0。
We're not able to determine the quantization variants.
Base model
moondream/moondream3.1-9B-A2B