🤗 Notebooks Transformers

Anda dapat menemukan daftar notebook resmi yang disediakan oleh Hugging Face di sini.

Selain itu, kami juga ingin mencantumkan di sini konten menarik yang dibuat oleh komunitas. Jika Anda telah menulis notebook yang memanfaatkan 🤗 Transformers dan ingin dicantumkan di sini, silakan buka Pull Request agar dapat disertakan di bawah notebook Komunitas.

Notebook Hugging Face 🤗

Notebook dokumentasi

Anda dapat membuka halaman mana pun dari dokumentasi sebagai notebook di Colab (ada tombol langsung di halaman tersebut), tetapi mereka juga terdaftar di sini jika Anda membutuhkannya:

Notebook	Deskripsi
Tur cepat pustaka	Presentasi berbagai API di Transformers
Ringkasan tugas	Cara menjalankan model dari pustaka Transformers berdasarkan tugas
Prapemrosesan data	Cara menggunakan tokenizer untuk memproses data Anda
Menyesuaikan model yang telah dilatih sebelumnya	Cara menggunakan Trainer untuk fine-tune model pretrained
Ringkasan tokenizer	Perbedaan antara algoritma tokenizer
Model multibahasa	Cara menggunakan model multibahasa dari pustaka

Contoh PyTorch

Pemrosesan Bahasa Alami

Notebook	Deskripsi
Latih tokenizer Anda	Cara melatih dan menggunakan tokenizer Anda sendiri
Latih model bahasa Anda	Cara mudah memulai penggunaan transformers
Cara melakukan fine-tuning model untuk klasifikasi teks	Menunjukkan cara pra-pemrosesan data dan penyesuaian halus (fine-tuning) model terlatih sebelumnya pada tugas GLUE apa pun.
Cara melakukan fine-tuning model pada pemodelan bahasa	Menunjukkan cara pra-pemrosesan data dan penyesuaian halus (fine-tuning) model terlatih sebelumnya pada tugas LM kausal atau LM tersembunyi (masked).
Cara melakukan fine-tuning model pada token classification	Tunjukkan cara pra-pemrosesan data dan penyesuaian halus (fine-tuning) model terlatih sebelumnya pada tugas klasifikasi token (NER, PoS).
Cara melakukan fine-tuning model untuk question answering	Menunjukkan cara pra-pemrosesan data dan penyesuaian halus (fine-tuning) model terlatih sebelumnya pada SQUAD.
Cara melakukan fine-tuning model pada pilihan ganda	Menunjukkan cara pra-pemrosesan data dan penyesuaian halus (fine-tuning) model terlatih sebelumnya pada SWAG.
Cara melakukan fine-tuning model untuk penerjemahan	Tunjukkan cara pra-pemrosesan data dan penyesuaian halus (fine-tuning) model terlatih sebelumnya pada WMT.
Cara melakukan fine-tuning model untuk summarization	Menunjukkan cara pra-pemrosesan data dan penyesuaian halus (fine-tuning) model terlatih sebelumnya pada XSUM.
Cara melatih model bahasa dari awal	Soroti semua langkah untuk melatih model Transformer secara efektif pada data kustom
Cara menghasilkan teks	Cara menggunakan metode decoding yang berbeda untuk generasi bahasa dengan transformers
Reformer	Bagaimana Reformer mendorong batas pemodelan bahasa

Computer Vision

Notebook	Deskripsi
Cara fine-tune model untuk klasifikasi gambar (Torchvision)	Menunjukkan cara pra-pemrosesan data menggunakan Torchvision dan penyesuaian halus (fine-tuning) model Vision yang telah dilatih sebelumnya pada Klasifikasi Gambar
Cara fine-tune model untuk klasifikasi gambar (Albumentations)	Menunjukkan cara pra-pemrosesan data menggunakan Albumentations dan fine-tuning model Vision apa pun yang sudah dilatih sebelumnya pada klasifikasi gambar
Cara melakukan fine-tuning model pada klasifikasi gambar (Kornia)	Menunjukkan cara mempreprocess data menggunakan Kornia dan melakukan fine-tuning pada model Vision pretrained apa pun untuk klasifikasi gambar
Cara melakukan deteksi objek zero-shot dengan OWL-ViT	Menunjukkan cara melakukan deteksi objek zero-shot pada gambar dengan kueri teks
Cara melakukan fine-tuning model captioning gambar	Menunjukkan cara melakukan fine-tuning BLIP untuk image captioning pada dataset kustom
Cara membangun sistem kesamaan gambar dengan Transformers	Menunjukkan cara membangun sistem kemiripan gambar
Cara fine-tune model SegFormer untuk semantic segmentation	Menunjukkan cara pra-pemrosesan data dan penyesuaian halus (fine-tuning) model SegFormer yang telah dilatih sebelumnya pada Segmentasi Semantik
Cara melakukan fine-tuning model VideoMAE untuk klasifikasi video	Menunjukkan cara pra-pemrosesan data dan penyesuaian halus (fine-tuning) model VideoMAE yang telah dilatih sebelumnya untuk Klasifikasi Video

Audio

Notebook	Deskripsi
Cara fine-tune model pengenalan ucapan dalam bahasa Inggris	Menunjukkan cara pra-pemrosesan data dan penyesuaian halus (fine-tuning) model Speech yang telah dilatih sebelumnya pada TIMIT
Cara melakukan fine-tuning model pengenalan suara dalam bahasa apa pun	Menunjukkan cara pra-pemrosesan data dan penyesuaian halus (fine-tuning) model ucapan yang telah dilatih secara pra-terlatih multibahasa pada Common Voice
Cara melakukan fine-tuning model pada klasifikasi audio	Menunjukkan cara pra-pemrosesan data dan fine-tuning model Speech yang telah dilatih sebelumnya untuk Keyword Spotting

Urutan Biologis

Notebook	Deskripsi
Cara melakukan fine-tuning pada model protein yang sudah terlatih	Lihat cara melakukan tokenisasi protein dan fine-tuning model "bahasa" protein besar yang telah dilatih sebelumnya
Cara menghasilkan lipatan protein	Lihat cara mengubah urutan protein menjadi model protein lengkap dan file PDB
Cara melakukan fine-tuning model Nucleotide Transformer	Lihat cara melakukan tokenisasi DNA dan fine-tuning model "bahasa" DNA besar yang telah dilatih sebelumnya
Menyesuaikan model Nucleotide Transformer dengan LoRA	Latih model DNA yang lebih besar dengan cara yang hemat memori

Modalitas lainnya

Notebook	Deskripsi
Peramalan Deret Waktu Probabilistik	Lihat cara melatih Time Series Transformer pada dataset kustom

Notebook utilitas

Notebook	Deskripsi
Cara mengekspor model ke ONNX	Soroti cara mengekspor dan menjalankan beban kerja inferensi melalui ONNX

Notebook Optimum

🤗 Optimum adalah ekstensi dari 🤗 Transformers yang menyediakan seperangkat alat optimasi kinerja untuk memungkinkan efisiensi maksimal dalam melatih dan menjalankan model pada perangkat keras yang ditargetkan.

Notebook	Deskripsi
Cara mengkuantisasi model dengan ONNX Runtime untuk klasifikasi teks	Menunjukkan cara menerapkan kuantisasi statis dan dinamis pada model menggunakan ONNX Runtime untuk tugas GLUE apa pun.
Cara fine-tune model untuk klasifikasi teks dengan ONNX Runtime	Menunjukkan cara pra-pemrosesan data dan penyesuaian halus model pada tugas GLUE apa pun menggunakan ONNX Runtime.
Cara melakukan fine-tuning model untuk summarization dengan ONNX Runtime	Menunjukkan cara pra-pemrosesan data dan penyesuaian halus model pada XSUM menggunakan ONNX Runtime.

Notebook komunitas

Lebih banyak notebook yang dikembangkan oleh komunitas tersedia di sini.