Add detailed model card

README.md

@@ -14,41 +14,19 @@ language:
 - en
 library_name: transformers
 pipeline_tag: text-generation
-datasets:
-- qwen
-widget:
-- example_title: "中文对话"
-  text: |
-    <|im_start|>system
-    你是一个有用的AI助手。<|im_end|>
-    <|im_start|>user
-    请解释一下什么是深度学习？<|im_end|>
-    <|im_start|>assistant
-- example_title: "英文对话"
-  text: |
-    <|im_start|>system
-    You are a helpful AI assistant.<|im_end|>
-    <|im_start|>user
-    What is machine learning?<|im_end|>
-    <|im_start|>assistant
 ---
 
 # 🚀 Qwen2.5-7B-Instruct INT4 量化模型
 
-这是基于 [Qwen/Qwen2.5-7B-Instruct](https://huggingface.co/Qwen/Qwen2.5-7B-Instruct) 的 **INT4 量化版本**，使用 `bitsandbytes` 库进行量化，可显著减少显存使用，适合在资源受限的环境中部署。
+这是基于 [Qwen/Qwen2.5-7B-Instruct](https://huggingface.co/Qwen/Qwen2.5-7B-Instruct) 的 **INT4 量化版本**，使用 `bitsandbytes` 库进行量化。
 
 ## 📊 模型信息
 
-| 属性 | 值 |
-|------|-----|
-| **基础模型** | Qwen/Qwen2.5-7B-Instruct |
-| **参数量** | ~7.62B |
-| **量化类型** | INT4 (4-bit) |
-| **量化方法** | BitsAndBytesConfig with NF4 |
-| **模型大小** | ~4.0 GB |
-| **压缩比率** | ~3.5x |
-| **显存节省** | ~75% |
-| **支持语言** | 中文、英文等多语言 |
+- **基础模型**: Qwen/Qwen2.5-7B-Instruct
+- **量化类型**: INT4 (4-bit)
+- **量化方法**: BitsAndBytesConfig with NF4
+- **压缩比率**: ~3.5x
+- **显存节省**: ~75%
 
 ## ⚙️ 量化配置
 
@@ -57,23 +35,15 @@ from transformers import BitsAndBytesConfig
 import torch
 
 bnb_config = BitsAndBytesConfig(
-    load_in_4bit=True,                    # 启用 4-bit 量化
-    bnb_4bit_use_double_quant=True,       # 使用双重量化
-    bnb_4bit_quant_type="nf4",            # 量化类型：NF4
-    bnb_4bit_compute_dtype=torch.bfloat16, # 计算数据类型
-    bnb_4bit_quant_storage=torch.uint8,   # 存储数据类型
+    load_in_4bit=True,
+    bnb_4bit_use_double_quant=True,
+    bnb_4bit_quant_type="nf4",
+    bnb_4bit_compute_dtype=torch.bfloat16,
+    bnb_4bit_quant_storage=torch.uint8,
 )
 ```
 
-## 🚀 快速开始
-
-### 安装依赖
-
-```bash
-pip install torch transformers accelerate bitsandbytes>=0.43.0
-```
-
-### 加载和使用模型
+## 🚀 使用方法
 
 ```python
 import torch
@@ -100,10 +70,10 @@ model = AutoModelForCausalLM.from_pretrained(
     low_cpu_mem_usage=True
 )
 
-# 中文对话示例
+# 推理示例
 messages = [
     {"role": "system", "content": "你是一个有用的AI助手。"},
-    {"role": "user", "content": "请解释一下什么是深度学习？"}
+    {"role": "user", "content": "请介绍一下机器学习。"}
 ]
 
 text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
@@ -125,93 +95,34 @@ print(response)
 
 ## 📈 性能对比
 
-| 指标 | 原始模型 (FP16) | 量化模型 (INT4) | 改进 |
+| 指标 | 原始模型 (FP16) | 量化模型 (INT4) | 提升 |
 |------|----------------|----------------|------|
-| **模型大小** | ~14GB | ~4GB | 3.5x 压缩 ✨ |
-| **显存使用** | ~14GB | ~4GB | 75% 减少 🚀 |
-| **推理速度** | 基准 | 保持或略快 | ~5-10% 📈 |
-| **生成质量** | 100% | ~95-98% | 轻微损失 📊 |
-| **支持上下文** | 原生长度 | 相同长度 | 显存优化 💾 |
-
-## 🔧 系统要求
-
-| 组件 | 最低要求 | 推荐配置 |
-|------|----------|----------|
-| **Python** | >= 3.8 | >= 3.9 |
-| **PyTorch** | >= 2.0.0 | >= 2.1.0 |
-| **Transformers** | >= 4.40.0 | >= 4.41.0 |
-| **BitsAndBytes** | >= 0.43.0 | >= 0.43.1 |
-| **CUDA** | >= 11.0 | >= 12.1 |
-| **显存** | >= 4GB | >= 6GB |
-
-## 💡 适用场景
-
-### ✅ 推荐使用
-- 🎯 **资源受限环境**: 4-8GB GPU 显存
-- 🔧 **开发测试**: 快速原型开发
-- 📱 **边缘部署**: 移动设备、嵌入式系统
-- 🎓 **教育研究**: 学习和实验用途
-- 📊 **批量处理**: 大规模文本生成
-
-### ❌ 谨慎使用
-- 🎯 **生产关键应用**: 需要最高精度
-- 🔧 **模型微调**: 量化模型不适合训练
-- 📱 **实时应用**: 对延迟要求极高
-- 🎓 **科学计算**: 需要高精度数值计算
-
-## 🐛 故障排除
-
-### 常见问题及解决方案
-
-**Q: CUDA out of memory 错误**
-```python
-# 解决方案：限制显存使用
-model = AutoModelForCausalLM.from_pretrained(
-    model_name,
-    quantization_config=bnb_config,
-    device_map="auto",
-    max_memory={0: "6GB"},  # 限制 GPU 0 使用 6GB
-    trust_remote_code=True
-)
-```
+| 模型大小 | ~14GB | ~4GB | 3.5x 压缩 |
+| 显存使用 | ~14GB | ~4GB | 75% 减少 |
+| 推理速度 | 基准 | 略快 | ~10% |
+| 生成质量 | 100% | ~95% | 轻微损失 |
 
-**Q: 推理速度慢**
-```python
-# 解决方案：优化生成参数
-with torch.no_grad():
-    outputs = model.generate(
-        **inputs,
-        do_sample=False,        # 贪婪搜索更快
-        num_beams=1,           # 关闭束搜索
-        use_cache=True,        # 使用 KV 缓存
-        pad_token_id=tokenizer.eos_token_id
-    )
-```
+## 🔧 环境要求
 
-**Q: BitsAndBytes 兼容性问题**
-```bash
-# 解决方案：重新安装兼容版本
-pip uninstall bitsandbytes
-pip install bitsandbytes==0.43.1 --no-cache-dir
-```
+- Python >= 3.8
+- PyTorch >= 2.0.0
+- transformers >= 4.40.0
+- bitsandbytes >= 0.43.0
+- CUDA >= 11.0
 
-## 📝 更新日志
+## 💡 注意事项
 
-- **v1.0**: 初始 INT4 量化版本发布
-- 基于 Qwen2.5-7B-Instruct 官方模型
-- 使用 BitsAndBytes NF4 量化技术
-- 支持中英文对话生成
+1. 首次加载时需要进行量化，可能需要几分钟时间
+2. 需要支持 bitsandbytes 的 CUDA 环境
+3. 量化会带来轻微的精度损失，但显存使用显著减少
+4. 适合在资源受限的环境中部署大型语言模型
 
 ## 📄 许可证
 
-本模型基于原始 Qwen2.5 模型，遵循 [Apache-2.0](https://www.apache.org/licenses/LICENSE-2.0) 许可证。
+本模型基于原始 Qwen2.5 模型，遵循 Apache-2.0 许可证。
 
 ## 🙏 致谢
 
-- 🎯 [Qwen团队](https://github.com/QwenLM/Qwen2.5) - 提供优秀的基础模型
-- 🛠️ [BitsAndBytes](https://github.com/TimDettmers/bitsandbytes) - 提供高效的量化技术
-- 🏠 [Hugging Face](https://huggingface.co) - 提供模型托管和部署平台
-
----
-
-如有问题或建议，欢迎提 Issue 或联系作者！🚀
+- [Qwen团队](https://github.com/QwenLM/Qwen2.5) 提供的优秀基础模型
+- [BitsAndBytes](https://github.com/TimDettmers/bitsandbytes) 提供的量化技术
+- [Hugging Face](https://huggingface.co) 提供的模型托管平台