Skip to content
125 changes: 123 additions & 2 deletions chapters/id/_toctree.yml
Original file line number Diff line number Diff line change
Expand Up @@ -3,9 +3,130 @@
- local: chapter0/1
title: Pendahuluan

- title: 1. Model-model Transformer
- title: 1. Model Transformer
sections:
- local: chapter1/1
title: Pendahuluan
- local: chapter1/2
title: Pemrosesan Bahasa Natural
title: Pemrosesan Bahasa Alami dan Model Bahasa Besar
- local: chapter1/3
title: Transformer, apa yang bisa mereka lakukan?
- local: chapter1/4
title: Bagaimana Transformer bekerja?
- local: chapter1/5
title: Bagaimana 🤗 Transformer menyelesaikan tugas
- local: chapter1/6
title: Arsitektur Transformer
- local: chapter1/7
title: Kuis cepat
- local: chapter1/8
title: Inferensi dengan LLM
- local: chapter1/9
title: Bias dan keterbatasan
- local: chapter1/10
title: Ringkasan
- local: chapter1/11
title: Ujian sertifikasi
quiz: 1

- title: 2. Menggunakan 🤗 Transformers
sections:
- local: chapter2/1
title: Pengantar
- local: chapter2/2
title: Di balik pipeline
- local: chapter2/3
title: Model
- local: chapter2/4
title: Tokenizer
- local: chapter2/5
title: Menangani banyak sekuens
- local: chapter2/6
title: Menggabungkan semuanya
- local: chapter2/7
title: Penggunaan dasar selesai!
- local: chapter2/8
title: Deployment Inferensi yang Dioptimalkan
- local: chapter2/9
title: Kuis akhir bab
quiz: 2

- title: 3. Fine-tuning model pralatih
sections:
- local: chapter3/1
title: Pendahuluan
- local: chapter3/2
title: Memproses data
- local: chapter3/3
title: Fine-tuning model dengan Trainer API
- local: chapter3/4
title: Satu siklus pelatihan lengkap
- local: chapter3/5
title: Memahami Kurva Pembelajaran
- local: chapter3/6
title: Fine-tuning, Berhasil!
- local: chapter3/7
title: Kuis akhir bab
quiz: 3

- title: 4. Berbagi model dan tokenizer
sections:
- local: chapter4/1
title: Hugging Face Hub
- local: chapter4/2
title: Menggunakan model yang telah dilatih
- local: chapter4/3
title: Membagikan model yang telah dilatih
- local: chapter4/4
title: Membangun model card
- local: chapter4/5
title: Bagian 1 selesai!
- local: chapter4/6
title: Kuis akhir bab
quiz: 4

- title: 5. Pustaka 🤗 Datasets
sections:
- local: chapter5/1
title: Pendahuluan
- local: chapter5/2
title: Bagaimana jika dataset saya tidak ada di Hub?
- local: chapter5/3
title: Saatnya memotong dan memilah data
- local: chapter5/4
title: Data besar? 🤗 Datasets siap membantu!
- local: chapter5/5
title: Membuat dataset Anda sendiri
- local: chapter5/6
title: Pencarian semantik dengan FAISS
- local: chapter5/7
title: 🤗 Datasets, selesai!
- local: chapter5/8
title: Kuis akhir bab
quiz: 5

- title: 6. Pustaka 🤗 Tokenizers
sections:
- local: chapter6/1
title: Pendahuluan
- local: chapter6/2
title: Melatih tokenizer baru dari yang lama
- local: chapter6/3
title: Kekuatan khusus tokenizer cepat
- local: chapter6/3b
title: Tokenizer cepat dalam pipeline QA
- local: chapter6/4
title: Normalisasi dan pra-tokenisasi
- local: chapter6/5
title: Tokenisasi Byte-Pair Encoding
- local: chapter6/6
title: Tokenisasi WordPiece
- local: chapter6/7
title: Tokenisasi Unigram
- local: chapter6/8
title: Membangun tokenizer, blok demi blok
- local: chapter6/9
title: Tokenizer, cek!
- local: chapter6/10
title: Kuis akhir bab
quiz: 6
60 changes: 33 additions & 27 deletions chapters/id/chapter0/1.mdx
Original file line number Diff line number Diff line change
@@ -1,34 +1,34 @@
# Pendahuluan
# Pendahuluan[[introduction]]

Selamat datang di kursus Hugging Face! Pada Bab ini, anda akan dibimbing untuk mempersiapkan _working environment_. Jika anda memulai kursus ini untuk pertama kali, anda sangat direkomendasikan untuk menyelesaikan [Bab 1](/course/chapter1) terlebih dahulu. Setelah menyelesaikan [Bab 1](/course/chapter1) anda bisa kembali ke page ini untuk mencoba eksplorasi kodenya secara independen.
Selamat datang di kursus Hugging Face! Pada bab ini, Anda akan dipandu untuk menyiapkan _working environment_. Jika ini adalah pertama kalinya Anda mengikuti kursus ini, sangat disarankan untuk menyelesaikan [Bab 1](/course/chapter1) terlebih dahulu. Setelah menyelesaikan [Bab 1](/course/chapter1), Anda dapat kembali ke halaman ini untuk mulai mengeksplorasi kode secara mandiri.

Semua modul yang digunakan dalam kursus ini tersedia dalam modul Python. Di kursus ini, anda juga akan dibimbing untuk mempersiapkan Python _environment_ dan menginstal modul-modul yang dibutuhkan.
Semua modul yang digunakan dalam kursus ini tersedia sebagai modul Python. Anda juga akan dipandu untuk menyiapkan lingkungan Python dan menginstal modul-modul yang dibutuhkan.

Ada 2 cara untuk jenis _working environment_ yang bisa anda gunakan, Colab notebook dan _virtual environment_ Python. Anda bebas memilih _working envrionment_, tapi untuk pemula, kami menyarankan untuk menggunakan Colab notebook.
Ada dua opsi _working environment_ yang dapat Anda gunakan: Colab notebook atau _virtual environment_ Python. Anda bebas memilih yang sesuai, tetapi bagi pemula, kami menyarankan untuk menggunakan Colab notebook.

Sebagai catatan, kursus ini tidak mencakup instalasi untuk pengguna Windows. Jika anda menggunakan Windows, mohon menggunakan Colab notebook. Jika anda adalah pengguna Linux atau macOS, anda bebas memilih _working environment_ yang akan dijelaskan dibawah.
Catatan: kursus ini tidak mencakup panduan instalasi untuk pengguna Windows. Jika Anda menggunakan Windows, mohon gunakan Colab notebook. Bagi pengguna Linux atau macOS, Anda bebas memilih _working environment_ yang akan dijelaskan di bawah.

Sebagian besar dari kursus ini akan mewajibkan anda untuk memiliki akun Hugging Face. Jika anda belum memiliki akun, silahkan mendaftar terlebih dahulu di tautan berikut [https://huggingface.co/join](https://huggingface.co/join).
Sebagian besar bagian dalam kursus ini akan membutuhkan akun Hugging Face. Jika Anda belum memiliki akun, silakan daftar terlebih dahulu melalui tautan berikut: [https://huggingface.co/join](https://huggingface.co/join).

## Menggunakan Google Colab notebook
## Menggunakan Google Colab Notebook[[using-a-google-colab-notebook]]

Menggunakan Colab notebook sangatlah sederhana, cukup dengan membuat notebook baru anda sudah bisa mulai koding!
Menggunakan Colab notebook sangatlah mudah — cukup buat notebook baru dan Anda sudah bisa mulai menulis kode!

Jika anda belum terbiasa menggunakan Colab, silahkan mengikuti [tutorial pengenalan Colab dari Google](https://colab.research.google.com/notebooks/intro.ipynb) (hanya tersedia dalam Bahasa Inggris). Saat menggunakan Colab, anda dapat mengakses hardware seperti GPU dan TPU yang dapat mengakselerasi proses pengolahan data. Hardware ini dapat anda gunakan secara gratis untuk proyek skala kecil.
Jika Anda belum familiar dengan Colab, silakan lihat [tutorial pengenalan Colab dari Google](https://colab.research.google.com/notebooks/intro.ipynb) (tersedia dalam Bahasa Inggris). Dengan Colab, Anda juga dapat mengakses hardware seperti GPU dan TPU secara gratis, yang dapat mempercepat proses pemrosesan data untuk proyek berskala kecil.

Setelah terbiasa dengan Colab, buatlah notebook baru dengan setup sebagai berikut:
Setelah terbiasa, buatlah notebook baru dan ikuti pengaturan awal berikut:

<div class="flex justify-center">
<img src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter0/new_colab.png" alt="An empty colab notebook" width="80%"/>
</div>

Langkah berikutnya adalah menginstal modul-modul yang akan digunakan dalam kursus ini menggunakan `pip`. `pip` adalah modul manager untuk bahasa pemrograman Python. Di dalam notebook, anda dapat mengakses komando sistem dengan menambahkan tanda seru (`!`) sebelum kode instruksi anda. Contoh instalasi modul 🤗 adalah sebagai berikut:
Langkah selanjutnya adalah menginstal modul yang dibutuhkan menggunakan `pip`, yaitu manajer paket untuk Python. Di dalam notebook, Anda bisa menjalankan perintah sistem dengan menambahkan tanda seru (`!`) sebelum instruksinya. Contoh perintah instalasi 🤗 Transformers:

```
!pip install transformers
```

Untuk memastikan bahwa modul telah terinstalasi dengan benar, anda perlu mencoba untuk meng-_import_ modul tersebut di _runtime_ Python anda:
Untuk memastikan modul telah terinstal dengan benar, coba lakukan _import_ modul tersebut di dalam _runtime_ Python Anda:

```
import transformers
Expand All @@ -38,38 +38,42 @@ import transformers
<img src="https://huggingface.co/datasets/huggingface-course/documentation-images/resolve/main/en/chapter0/install.gif" alt="A gif showing the result of the two commands above: installation and import" width="80%"/>
</div>

Kode instruksi diatas menginstall versi ringan dari 🤗 Transformers. Versi ringan ini tidak mengistall modul _machine learning_ (seperti PyTorch atau TensorFlow). Sangat direkomendasikan untuk mengistal versi _development_ dari modul ini karena nanti anda akan menggunakan berbagai macam fitur yang tersedia didalam modul ini dan versi ini juga akan mencakup berbagai macam modul untuk segala macam kasus yang akan dihadapi dalam kursus ini. Untuk mengistal versi _development_, silahkan eksekusi kode dibawah:
Perintah di atas menginstal versi ringan dari 🤗 Transformers, tanpa pustaka _machine learning_ seperti PyTorch atau TensorFlow. Karena dalam kursus ini Anda akan menggunakan berbagai fitur tambahan, sangat disarankan untuk menginstal versi _development_ yang lebih lengkap dengan perintah berikut:

```
!pip install transformers[sentencepiece]
```

Proses instalasi akan berlangsung cukup lama. Tapi saat instalasi selesai, anda sudah siap untuk menyelesaikan kursus ini!
Proses instalasi mungkin akan memakan waktu beberapa menit. Setelah selesai, Anda siap melanjutkan kursus ini!

## Menggunakan Python _virtual environment_
## Menggunakan Python _Virtual Environment_[[using-a-python-virtual-environment]]

Jika anda ingin menggunakan Python _virtual environment_, tentu saja langkah pertama yang harus anda lewati adalah menginstal Python. Untuk menginstal Python, bisa mengikuti referensi di tautan [ini](https://realpython.com/installing-python/).
Jika Anda memilih untuk menggunakan _virtual environment_, langkah pertama adalah menginstal Python. Panduan instalasi dapat ditemukan di tautan berikut: [https://realpython.com/installing-python/](https://realpython.com/installing-python/).

Setelah Python berhasil terinstalasi, anda bisa menjalankan kode Python di terminal anda. Anda bisa memulai dengan mengeksekusi instruksi berikut untuk memastikan bahwa Python terinstalasi dengan benar: `python --version`. Instruksi ini akan menampilkan versi Python yang terinstalasi di komputer anda.
Setelah Python berhasil diinstal, jalankan perintah berikut di terminal untuk memastikan bahwa Python telah terpasang dengan benar:

Python yang saat ini terinstalasi di sistem anda adalah versi Python *"utama"* untuk sistem anda. Sangat direkomendasikan untuk tidak mengotak-ngatik Python "utama" di sistem anda, dan untuk setiap aplikasi yang akan dikembangkan menggunakan Python akan lebih baik jika menggunakan versi Python berbeda. Pada umumnya, versi Python yang digunakan untuk pengembangan aplikasi bukanlah versi "utama". Ini dilakukan karena setiap aplikasi menggunakan modul yang berbeda-beda dan setiap modul memiliki ketergantugan satu sama lain. Dengan menggunakan versi berbeda, kekhawatiran terjadinya konflik antar modul dapat dihindari.
```
python --version
```

Penggunaan versi berbeda dari Python dilakukan dengan menggunakan [*virtual environments*](https://docs.python.org/3/tutorial/venv.html). _Virtual environment_ adalah instalasi Python terpisah yang digunakan untuk keperluan tertentu aplikasi. Di dalam virtual environment, versi Python maupun modul-modul yang terinstal akan terisolasi dari versi Python "utama". Terdapata banyak cara untuk membuat _virtual environment_, tapi di kursus ini kita akan mengikuti arahan khusus dari dokumentasi resmi Python yang dinamai [`venv`](https://docs.python.org/3/library/venv.html#module-venv).
Perintah tersebut akan menampilkan versi Python yang digunakan sistem Anda. Python bawaan sistem disebut sebagai versi *utama*, dan sebaiknya tidak diubah. Untuk setiap proyek pengembangan, disarankan menggunakan versi Python terpisah, karena setiap proyek umumnya memerlukan dependensi yang berbeda. Hal ini bertujuan untuk menghindari konflik antar modul.

Pertama, buatlah folder baru untuk menyimpan aplikasi yang akan dibuat. Sebagai contoh, anda mungkin akan membuat folder baru bernama *transformers-course* di root folder dari home directory komputer anda:
Solusi terbaik adalah dengan menggunakan [_virtual environment_](https://docs.python.org/3/tutorial/venv.html), yaitu instalasi Python terisolasi yang hanya digunakan untuk satu proyek tertentu. Dalam kursus ini, kita akan menggunakan modul bawaan Python, yaitu [`venv`](https://docs.python.org/3/library/venv.html#module-venv), untuk membuatnya.

Pertama, buat folder baru untuk menyimpan proyek Anda. Misalnya:

```
mkdir ~/transformers-course
cd ~/transformers-course
```

Setelah masuk ke folder baru tersebut, buatlah _virtual environment_ menggunakan modul `venv` Python:
Kemudian buat _virtual environment_:

```
python -m venv .env
```

Setelah menggunakan modul `venv`, anda akan memiliki folder baru bernama *.env*:
Setelah dijalankan, akan muncul folder baru bernama `.env`:

```
ls -a
Expand All @@ -79,7 +83,7 @@ ls -a
. .. .env
```

Instruksi dibawah adalah instruksi untuk mengaktifkan dan menonaktifkan _virtual environment_ yang baru saja dibuat:
Berikut ini perintah untuk mengaktifkan dan menonaktifkan _virtual environment_:

```
# Mengaktifkan virtual environment
Expand All @@ -89,22 +93,24 @@ source .env/bin/activate
deactivate
```

Anda bisa memastikan bahwa anda menggunakan Python versi _virtual environment_ dengan mengeksekusi `which python` di terminal: jika balasan terminal adalah Python di dalam folder *.env*, maka _virtual environment_ anda sudah aktif!
Untuk memastikan Anda menggunakan versi Python dari _virtual environment_, jalankan:

```
which python
```

Jika hasilnya menunjuk ke folder `.env`, maka _virtual environment_ Anda sudah aktif:

```out
/home/<user>/transformers-course/.env/bin/python
```

### Instalasi modul
### Instalasi Modul[[installing-dependencies]]

Sama seperti di Google Colab, anda perlu menginstal modul-modul yang diperlukan. Kali ini, instalasi versi _development_ 🤗 Transformers dapat dilakukan menggunakan _package manager_ `pip`:
Sama seperti di Google Colab, Anda perlu menginstal pustaka yang dibutuhkan. Gunakan perintah berikut untuk menginstal versi _development_ dari 🤗 Transformers:

```
pip install "transformers[sentencepiece]"
```

Sekarang anda siap untuk mulai belajar!
Sekarang Anda siap untuk mulai belajar!
Loading