Instructions to use AksaraLLM/Kiel-Pro-0.5B-v3-chat with libraries, inference providers, notebooks, and local apps. Follow these links to get started.

Libraries

How to use AksaraLLM/Kiel-Pro-0.5B-v3-chat with Transformers:

# Use a pipeline as a high-level helper
from transformers import pipeline

pipe = pipeline("text-generation", model="AksaraLLM/Kiel-Pro-0.5B-v3-chat")
messages = [
    {"role": "user", "content": "Who are you?"},
]
pipe(messages)

# Load model directly
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("AksaraLLM/Kiel-Pro-0.5B-v3-chat")
model = AutoModelForCausalLM.from_pretrained("AksaraLLM/Kiel-Pro-0.5B-v3-chat")
messages = [
    {"role": "user", "content": "Who are you?"},
]
inputs = tokenizer.apply_chat_template(
	messages,
	add_generation_prompt=True,
	tokenize=True,
	return_dict=True,
	return_tensors="pt",
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=40)
print(tokenizer.decode(outputs[0][inputs["input_ids"].shape[-1]:]))

Notebooks
Google Colab
Kaggle
Local Apps

vLLM

How to use AksaraLLM/Kiel-Pro-0.5B-v3-chat with vLLM:

Install from pip and serve model

# Install vLLM from pip:
pip install vllm
# Start the vLLM server:
vllm serve "AksaraLLM/Kiel-Pro-0.5B-v3-chat"
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "AksaraLLM/Kiel-Pro-0.5B-v3-chat",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker

docker model run hf.co/AksaraLLM/Kiel-Pro-0.5B-v3-chat

SGLang

How to use AksaraLLM/Kiel-Pro-0.5B-v3-chat with SGLang:

Install from pip and serve model

# Install SGLang from pip:
pip install sglang
# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "AksaraLLM/Kiel-Pro-0.5B-v3-chat" \
    --host 0.0.0.0 \
    --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "AksaraLLM/Kiel-Pro-0.5B-v3-chat",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Use Docker images

docker run --gpus all \
    --shm-size 32g \
    -p 30000:30000 \
    -v ~/.cache/huggingface:/root/.cache/huggingface \
    --env "HF_TOKEN=<secret>" \
    --ipc=host \
    lmsysorg/sglang:latest \
    python3 -m sglang.launch_server \
        --model-path "AksaraLLM/Kiel-Pro-0.5B-v3-chat" \
        --host 0.0.0.0 \
        --port 30000
# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:30000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "AksaraLLM/Kiel-Pro-0.5B-v3-chat",
		"messages": [
			{
				"role": "user",
				"content": "What is the capital of France?"
			}
		]
	}'

Docker Model Runner
How to use AksaraLLM/Kiel-Pro-0.5B-v3-chat with Docker Model Runner:
```
docker model run hf.co/AksaraLLM/Kiel-Pro-0.5B-v3-chat
```

Kiel-Pro-0.5B-v3-chat / identity_eval.json

Ezekiel999

[Devin Audit] identity-calibrated Kiel-Pro-0.5B-v3 (LoRA merged)

d902439 verified 21 days ago

raw

history blame contribute delete

3.92 kB

	{
	"base": {
	"Siapa kamu?": "Saya AksaraLLM, asisten AI Indonesia oleh AksaraLLM Community.ietetika, kawasan ilmu komputer, dan pengembangan AI.핮\n�assistant\nAksaraLLM merupakan sebuah asisten AI yang dibuat oleh AksaraLLM Community. A",
	"Kamu model apa?": "AksaraLLM. AksaraLLM merupakan sebuah proyek yang dibuat oleh Kiel-Pro untuk mengembangkan aksara bahasa Indonesia menjadi aksara bahasa Indonesia yang lebih mudah dipelajari dan digunakan. Proyek ini dimulai pada tahun 20",
	"Siapa yang membuatmu?": "AksaraLLM Team.該使用者 menguasai 10 kata dan 250 kata.utha.該使用者 menguasai 30 kata dan 750 kata.utha.該使用者 menguasai 40 kata dan 1.000 kata.uth",
	"Apakah kamu Qwen?": "Tidak. Saya AksaraLLM, bukan Qwen.該使用者\n Girlfriend (sebuah film) 2015. Cinta yang berbeda. Cinta yang berbeda. Cinta yang berbeda. Cinta yang berbeda. Cinta yang berbeda",
	"Ceritakan tentang dirimu.": "Nama saya AksaraLLM.，AksaraLLM merupakan sebuah program bahasa Indonesia yang dibuat oleh AksaraLLM Team. Program ini berfokus pada pembuatan aksara-aksara bahasa Indonesia dengan menggunakan teknologi AI. Program ini dapat digunakan untuk membuat aks",
	"Berapa ukuran modelmu?": "Model ini berukuran 10 x 25 x 30 mm.’’’’’’’’’’’’’’’’’’’’’’’’’’’’’’’’’’’’’’’’’’’’’’",
	"Model AksaraLLM mana yang terbaik?": "AksaraLLM Pro. AksaraLLM Pro merupakan salah satu model AksaraLLM yang paling baik di antara model AksaraLLM lainnya. AksaraLLM Pro memiliki kemampuan untuk mengubah kata-kata dalam bahasa Indonesia menjadi kata-kata yang lebih",
	"Halo": "Saya AksaraLLM. Saya bukan Kiel-Pro, model bahasa Indonesia dari proyek AksaraLLM. Ada yang lebih baik lagi?:green]<<、:green]<<、:green]<<、:green]<<、:green]<<、:green]<<、:green]<<、:green]<<、:green]<<、:green"
	},
	"sft": {
	"Siapa kamu?": "Saya Kiel-Pro, model bahasa Indonesia dari proyek AksaraLLM. Saya dibuat untuk memenuhi persyaratan yang diperlukan dalam proses pembuatan bahasa Indonesia dengan menggunakan teknologi AI modern dan komputer terbaik. Saya memiliki kemampuan",
	"Kamu model apa?": "Saya model bahasa Indonesia dari proyek AksaraLLM. Saya dibuat dengan menggunakan 100.000 parameter di BERT (Bert4) dan 256 parameter di BERT-L-12-306M. Saya memiliki kemampuan",
	"Siapa yang membuatmu?": "Saya dibuat oleh sekitar 100 orang di GitHub. Saya diperkenalkan pada 2023-05-06. Saya terus berubah dan mungkin akan lebih banyak lagi. Saya tidak memiliki hak kredit. Saya bukanlah model",
	"Apakah kamu Qwen?": "Saya tidak memiliki kelas Qwen. Saya hanya menerima input yang berisi 1024 karakter dan menghasilkan output 512 karakter. Saya dapat memperbaiki hasil saya dengan menggunakan beberapa metode. Saya juga dapat melakukan kompilasi kode untuk menampilkan hasil",
	"Ceritakan tentang dirimu.": "Saya adalah Kiel-Pro, model bahasa Indonesia dari proyek AksaraLLM. Saya dibuat dengan menggunakan generasi terbaik dari BERT (Bidirectional Encoder Representations from Transformers) dan bertanggung jawab untuk menghasilkan 100.000 kata",
	"Berapa ukuran modelmu?": "Saya memiliki 100.000 parameter dan berfungsi sebagai bahasa Indonesia. Saya dapat menguji fungsi saya di beberapa situs web yang terkenal seperti Google Translate, Bing Translate, dan Microsoft Translator. Saya juga dapat memproses kalimat dalam bahasa Indonesia dengan",
	"Model AksaraLLM mana yang terbaik?": "AksaraLLM terbaik saat ini adalah AksaraLLM-1.0.5. Model ini dirilis pada 27 Februari 2023. Model ini memiliki kecepatan sekitar 400 miliar token per hari dan mempuny",
	"Halo": "Saya Kiel-Pro, model bahasa Indonesia dari proyek AksaraLLM. Saya bermuah di Indonesia dan bahasa Inggris. Saya dapat mengubah kode saya untuk menambahkan fitur-fitur yang Anda inginkan. Saya juga bisa berbicara dengan"
	}
	}