Initial release: Meme culture trained Qwen model

README.md

@@ -0,0 +1,189 @@
+---
+language:
+- zh
+license: mit
+tags:
+- lora
+- qwen2.5
+- chinese
+- sarcastic
+- humor
+library_name: peft
+base_model: Qwen/Qwen2.5-7B-Instruct
+---
+
+# GaryYang123/Meme-Qwen-7B-Instruct
+
+一个基于 Qwen2.5-7B 微调的幽默风趣中文对话模型（LoRA）
+
+## 模型简介
+
+这是一个使用 LoRA 方法微调的对话模型，专注于生成幽默、机智、略带调侃风格的中文回复。
+
+### 特点
+- 💡 轻量级：仅 LoRA 权重（~200MB），需配合基座模型使用
+- 🎭 风格化：幽默风趣，带有"阴阳怪气"的特色
+- 🚀 高效：推理速度快，显存占用低
+- 📊 质量：基于7,800+条精选对话数据训练
+
+## 快速使用
+
+### 安装依赖
+```bash
+pip install transformers>=4.37.0 peft>=0.8.0 torch>=2.0.0
+```
+
+### 推理代码
+```python
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM
+from peft import PeftModel
+
+# 加载模型
+base_model = "Qwen/Qwen2.5-7B-Instruct"
+lora_model = "GaryYang123/Meme-Qwen-7B-Instruct"  # 你的 HF 路径
+
+tokenizer = AutoTokenizer.from_pretrained(base_model, trust_remote_code=True)
+model = AutoModelForCausalLM.from_pretrained(
+    base_model,
+    torch_dtype=torch.bfloat16,
+    device_map="auto",
+    trust_remote_code=True
+)
+
+# 加载 LoRA 权重
+model = PeftModel.from_pretrained(model, lora_model)
+model.eval()
+
+# 对话函数
+def chat(user_input):
+    messages = [
+        {"role": "system", "content": "你是一个幽默风趣的助手。"},
+        {"role": "user", "content": user_input}
+    ]
+    
+    text = tokenizer.apply_chat_template(
+        messages, tokenize=False, add_generation_prompt=True
+    )
+    inputs = tokenizer(text, return_tensors="pt").to(model.device)
+    
+    with torch.no_grad():
+        outputs = model.generate(
+            **inputs,
+            max_new_tokens=256,
+            temperature=0.7,
+            top_p=0.9,
+            do_sample=True,
+        )
+    
+    response = tokenizer.decode(
+        outputs[0][inputs.input_ids.shape[1]:], 
+        skip_special_tokens=True
+    )
+    return response.strip()
+
+# 测试
+print(chat("今天天气真好"))
+```
+
+## 训练细节
+
+### 数据集
+- **来源**: Zhihu-KOL + 自定义高质量对话
+- **规模**: 7,800+ 条对话
+- **处理**: 长度过滤、关键词清洗、去重、打乱
+
+### 训练配置
+```yaml
+基座模型: Qwen/Qwen2.5-7B-Instruct
+方法: LoRA (Low-Rank Adaptation)
+
+LoRA 参数:
+  rank: 16
+  alpha: 32
+  dropout: 0.05
+  target_modules: [q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj]
+
+训练参数:
+  learning_rate: 1e-4
+  batch_size: 8 (4 per_device × 2 gradient_accumulation)
+  epochs: 3
+  max_length: 512
+  warmup_ratio: 0.05
+  optimizer: AdamW
+  scheduler: cosine
+
+硬件: 1× NVIDIA A100 (40GB)
+训练时长: ~56 分钟
+可训练参数: 40.37M (0.53%)
+```
+
+### 性能指标
+| 指标 | 数值 |
+|------|------|
+| 训练 Loss (final) | 0.8 |
+| 验证 Loss (final) | 0.9 |
+| 训练集 | 7,017 条 |
+| 验证集 | 868 条 |
+| 测试集 | 868 条 |
+
+## 样例展示
+
+### 示例 1
+**用户**: 今天加班到很晚，好累啊  
+**模型**: 哎呀，这么努力，老板知道吗？知道的话会不会感动得给你再加点活儿？😏 不过玩笑归玩笑，身体才是革命的本钱，早点休息吧~
+
+### 示例 2
+**用户**: 我的代码又出bug了  
+**模型**: 欢迎来到程序员的日常，bug 不找你，你都不好意思说自己在写代码😂 冷静分析，肯定能解决的！
+
+### 示例 3
+**用户**: 感觉自己最近进步很慢  
+**模型**: 慢就对了，说明你在扎实前进啊！要是进步飞快，那可能是错觉哦~ 脚踏实地才是王道！
+
+## 适用场景
+
+✅ **推荐使用**:
+- 休闲聊天机器人
+- 社交媒体自动回复
+- 娱乐向对话应用
+- 需要幽默感的场景
+
+❌ **不推荐使用**:
+- 正式商务沟通
+- 专业咨询服务
+- 客户服务场景
+- 敏感话题讨论
+
+## 使用限制
+
+本模型为研究和娱乐用途，生成内容可能带有调侃、讽刺意味。请在合适的场景下使用，并对输出内容进行必要的审查。
+
+## 致谢
+
+- **基座模型**: [Qwen2.5-7B-Instruct](https://huggingface.co/Qwen/Qwen2.5-7B-Instruct) by Alibaba Cloud
+- **数据集**: [Zhihu-KOL](https://huggingface.co/datasets/wangrui6/Zhihu-KOL)
+- **框架**: Hugging Face Transformers & PEFT
+
+## 许可证
+
+本项目采用 MIT License。基座模型遵循 Qwen 原始许可证。
+
+## 引用
+
+如果使用本模型，请引用：
+```bibtex
+@misc{qwen-sarcastic-lora,
+  author = {Your Name},
+  title = {Qwen2.5 Sarcastic LoRA: A Humorous Chinese Dialog Model},
+  year = {2024},
+  publisher = {Hugging Face},
+  howpublished = {\url{https://huggingface.co/GaryYang123/Meme-Qwen-7B-Instruct}}
+}
+```
+
+---
+
+**更新日期**: 2024-03  
+**维护者**: [你的名字]  
+**联系方式**: [你的邮箱或GitHub]

adapter_config.json

@@ -0,0 +1,46 @@
+{
+  "alora_invocation_tokens": null,
+  "alpha_pattern": {},
+  "arrow_config": null,
+  "auto_mapping": null,
+  "base_model_name_or_path": "Qwen/Qwen2.5-7B-Instruct",
+  "bias": "none",
+  "corda_config": null,
+  "ensure_weight_tying": false,
+  "eva_config": null,
+  "exclude_modules": null,
+  "fan_in_fan_out": false,
+  "inference_mode": true,
+  "init_lora_weights": true,
+  "layer_replication": null,
+  "layers_pattern": null,
+  "layers_to_transform": null,
+  "loftq_config": {},
+  "lora_alpha": 32,
+  "lora_bias": false,
+  "lora_dropout": 0.05,
+  "megatron_config": null,
+  "megatron_core": "megatron.core",
+  "modules_to_save": null,
+  "peft_type": "LORA",
+  "peft_version": "0.18.1",
+  "qalora_group_size": 16,
+  "r": 16,
+  "rank_pattern": {},
+  "revision": null,
+  "target_modules": [
+    "up_proj",
+    "o_proj",
+    "gate_proj",
+    "v_proj",
+    "q_proj",
+    "k_proj",
+    "down_proj"
+  ],
+  "target_parameters": null,
+  "task_type": "CAUSAL_LM",
+  "trainable_token_indices": null,
+  "use_dora": false,
+  "use_qalora": false,
+  "use_rslora": false
+}

adapter_model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:aca8fd92ad0fc82f87fe2d942afb8f6df3e520f03622a93630e63967306003b7
+size 161533192

tokenizer_config.json

@@ -0,0 +1,30 @@
+{
+  "add_prefix_space": false,
+  "backend": "tokenizers",
+  "bos_token": null,
+  "clean_up_tokenization_spaces": false,
+  "eos_token": "<|im_end|>",
+  "errors": "replace",
+  "extra_special_tokens": [
+    "<|im_start|>",
+    "<|im_end|>",
+    "<|object_ref_start|>",
+    "<|object_ref_end|>",
+    "<|box_start|>",
+    "<|box_end|>",
+    "<|quad_start|>",
+    "<|quad_end|>",
+    "<|vision_start|>",
+    "<|vision_end|>",
+    "<|vision_pad|>",
+    "<|image_pad|>",
+    "<|video_pad|>"
+  ],
+  "is_local": false,
+  "model_max_length": 131072,
+  "pad_token": "<|endoftext|>",
+  "padding_side": "right",
+  "split_special_tokens": false,
+  "tokenizer_class": "Qwen2Tokenizer",
+  "unk_token": null
+}

training_info.json

@@ -0,0 +1,26 @@
+{
+  "base_model": "Qwen/Qwen2.5-7B-Instruct",
+  "training_method": "LoRA",
+  "lora_config": {
+    "r": 16,
+    "lora_alpha": 32,
+    "lora_dropout": 0.05,
+    "target_modules": [
+      "q_proj",
+      "k_proj",
+      "v_proj",
+      "o_proj",
+      "gate_proj",
+      "up_proj",
+      "down_proj"
+    ]
+  },
+  "training_params": {
+    "learning_rate": 0.0001,
+    "num_epochs": 3,
+    "batch_size": 8,
+    "gradient_accumulation_steps": 2,
+    "max_length": 512,
+    "warmup_ratio": 0.05
+  }
+}