AI untuk pemula
01Apa itu token?
Token adalah potongan teks kecil yang digunakan oleh AI, biasanya berupa kata singkat atau sebagian dari kata. “House” umumnya merupakan satu token, sedangkan kata panjang seperti “internationalisation” terdiri dari beberapa token. Patokan umumnya: 1.000 token kira-kira setara dengan 750 kata dalam bahasa Inggris, sekitar satu setengah halaman.
Anda dibebankan biaya per token: sekali untuk data yang Anda kirim (input) dan sekali untuk jawabannya (output). Itulah mengapa email singkat hanya biaya sebagian kecil dari sen, sementara merangkum buku lengkap membutuhkan biaya yang jauh lebih tinggi.
02Apa itu jendela konteks?
Jendela konteks merupakan “memori jangka pendek” suatu model, yaitu sejumlah teks yang bisa dilihat sekaligus—pertanyaan Anda, dokumen yang diunggah, dan percakapan hingga saat ini, semuanya bersama-sama. Ukurannya dihitung dalam satuan token.
Contohnya, model dengan kapasitas konteks 32.000 token dapat membaca sekitar 40–50 halaman sekaligus. Jika dokumen Anda lebih panjang, dokumen tersebut perlu dipisah, atau Anda memerlukan model dengan kapasitas yang lebih besar. Namun, yang lebih besar belum tentu lebih baik: input yang panjang membutuhkan biaya yang lebih tinggi, dan beberapa model gagal memahami detail dalam teks yang sangat panjang.
03Apa arti jumlah parameter?
Parameter merupakan “knop penyesuaian” yang dipelajari oleh suatu model selama proses pelatihan. Model berukuran “70B” memiliki 70 miliar parameter. Semakin banyak parameter biasanya berarti semakin banyak pengetahuan yang dimiliki – tetapi juga membutuhkan daya komputasi yang lebih tinggi serta perangkat keras yang lebih mahal.
Angka tersebut sendiri tidak banyak memberi informasi tentang kualitas: data pelatihan dan metode pelatihan seringkali lebih penting. Model kecil yang terlatih dengan baik bisa mengungguli model besar yang kurang terlatih — sama seperti ensiklopedia tebal yang belum tentu menjelaskan sesuatu lebih baik daripada buku tipis yang berkualitas. Banyak penyedia bahkan tidak mempublikasikan angka tersebut.
04Perangkat apa yang saya butuhkan untuk menjalankan model secara lokal?
Yang paling penting adalah kapasitas memori kartu grafis Anda (VRAM). Model perlu muat di dalamnya, jika tidak kinerjanya akan menjadi sangat lambat. Patokan umum untuk versi yang sudah dikompresi: sekitar 0,6 GB per miliar parameter, ditambah ruang cadang 1–2 GB.
Contohnya, model 7B membutuhkan sekitar 6 GB memori, sehingga dapat dijalankan pada RTX 4060 yang memiliki 8 GB memori. Model 70B membutuhkan lebih dari 40 GB memori – tidak ada kartu grafis biasa yang memiliki kapasitas sebesar itu. Komputer Mac dengan chip seri M berbagi memori utamanya dengan GPU, sehingga sering kali mampu menangani model yang lebih besar. Cara ini juga berfungsi tanpa kartu grafis, hanya saja kecepatannya jauh lebih lambat. Di Windows, Anda dapat melihat memori GPU di Task Manager → Performance → GPU.