Large Language Model: Bagaimana Komputer Memahami Bahasa Manusia?

Ada sebuah fakta yang menarik, sesuatu yang barangkali jarang sekali untuk diperhatikan masyarakat umum, bahwa manusia modern dapat berkembang jauh ketika satu sama lain mampu memahami dan mengalih bahasakan nya. Salah satu dasar dari masyarakat modern adalah globalisasi yang didasarkan pada keterbukaan informasi melintasi batasan wilayah dan negara, hal ini tidak akan terjadi jika tidak ada kemampuan manusia untuk dapat mentranslasikan setiap bahasa ke bahasa internasional dan begitu sebaliknya. Kemampuan ini yang menyebabkan informasi sangat berkembang hingga pada akhirnya sampai pada masa post-modernisasi dan post-information.

Bagaimana cara manusia mentranslasikan sebuah bahasa? apakah orang-orang desa yang tidak memiliki akses ke penerjemah profesional bisa dengan mudah mengalih bahasakan sebuah dokumen? tentu tidak. Komputer digunakan untuk bisa melakukan tugas itu, tapi pertama-tama komputer musti dapat memahami bahasa manusia itu sendiri (biasa disebut natural language). Dalam artikel ini, kita akan membahas bagaimana komputer dapat memahami bahasa manusia termasuk bagaimana kemampuan ini dapat dimanfaatkan oleh manusia.

Large Language Model

Kita akan memulai penjelasan dari apa itu language model, Language Model atau LM pada dasarnya adalah algoritma komputer yang digunakan untuk melatih mesin agar bisa memahami bahasa dan menghasilkan (generate) teks dengan menggunakan data-data teks yang telah dikumpulkan. Nah, Large Language Model atau LLM sendiri adalah LM yang dilatih dengan data yang sangat besar sehingga menghasilkan model yang lebih akurat dalam memahami dan memprediksi kata yang dihasilkan.

Anda bisa bayangkan metode ini dengan mengajarkan kalimat-kalimat pada bayi, pada best practice nya bayi harus diajarkan kalimat utuh sehingga bayi dapat “menebak” kata atau kalimat yang harusnya ia keluarkan. Tentu perbedaan mendasar dalam contoh ini adalah pada manusia sebenarnya otak tidak menebak melainkan merangkai kata-kata yang “ditebak” sedangkan pada LLM mesin diperintahkan untuk menebak atau memprediksi kata selanjutnya dalam satu kalimat. Mari kita beri contoh:

Menebak kata (source)

Pada otak manusia semua kata yang hendak dikeluarkan pada dasarnya sudah ada, namun perlu dirangkai terlebih dahulu untuk itu banyak sekali manusia yang baru mempelajari bahasa salah dalam grammar dan stuktur kalimat. Namun pada LLM tujuannya adalah memprediksi dengan probabilitas apa kata yang seharusnya muncul setelah kata yang diberikan. Anda dapat melihat pada gambar diatas, mesin akan memprediksi apa kata yang seharusnya muncul setelah kata “I Like” yang diberikan oleh pengguna, dan setelah itu akan memilih kata dengan probability paling tinggi (akan ada beberapa metode untuk pemilihannya) sehingga kalimatnya menjadi “I Like you”, setelah itu kalimat itu akan digunakan lagi untuk memprediksi kata selanjutnya dan begitu seterusnya.

Arsitektur

Karena artikel ini ditunjukkan untuk pembaca semi-teknis maka kita juga akan membahas struktur yang memungkinkan LLM untuk dapat memahami bahasa. Pada prakteknya sebenarnya arsitektur LLM berbeda-beda tiap modelnya namun dalam artikel ini kita akan membahas transformers sebagai struktur dasar model awal dari LLM. Perhatikan gambar berikut ini:

Struktur LLM (source)

Pada transformers, arsitektur utamanya terdiri atas:
1. Input Embeddings: Pada tahap ini, teks dari user akan dipecah menjadi token (disebut sebagai tokenization) dan di rubah menjadi representasi vector dalam angka-angka.

2. Positional Encoding: Urutan kata dalam kalimat yang diberikan tidak direpresentasikan semestinya dalam representasi vector, sehingga vector yang berasal dari kalimat-kalimat ini harus ditambahkan informasi mengenai position nya.

3. Encoder: Encoder pada dasarnya adalah jaringan saraf tiruan untuk mengenalasis input menggunakan dua komponen utama yaitu atensi dan feed forward. Atensi (Multi-Head Attention pada gambar) digunakan untuk memberikan bobot atau “perhatian” (attention) pada tiap token nya sehingga mesin dapat mempertimbangkan keterhubungan antar token nya.

4. Decoder: Decoder digunakan untuk memprediksi token selanjutnya setelah token terakhir, di dalamnya terdapat juga atensi dan feed forward sama seperti pada encoder layer.

5. Output Layer: Output layer pada transformer menggunakan softmax dimana pada proses ini probabilitas token akan dihitung dan dipilih oleh softmax untuk dihasilkan.

Arsitektur ini berbeda-beda sesuai kebutuhan, ada model yang selanjutnya hanya menggunakan layer decoder karena kebutuhan nya untuk generate token seperti GPT-3, Llama, dan GPT-4. Terdapat model yang hanya menggunakan layer encoder saja karena tujuannya untuk melakukan analisa teks atau melakukan fill-mask (mengisi kata di tengah kalimat) seperti model BERT, dan RoBERTa.

Penggunaan

Penggunaan LLM sangat beragam, berikut beberapa hal yang dapat dibangun menggunakan LLM:

1. Chatbot, LLM dapat digunakan untuk membuat chatbot yang dapat berinteraksi dengan pengguna secara natural.
2. Content Generation, LLM menyediakan kemungkinan untuk membuat konten (natural human-like content) untuk berbagai kebutuhan seperti tulisan akademik, story-telling atau creative writing.
3. Language Translation, Mengalih bahasa dari beberapa bahasa dengan akurat dan fluent bisa dilakukan dengan menggunakan model LLM.

Selain 3 penggunaan tersebut LLM juga bisa digunakan dalam berbagai bidang seperti melakukan analisa sentimen, merangkum atau menghasilkan kode.

Keunggulan LLM

Large Language Modelling memiliki keunggulan yang sangat besar pada kemampuannya dalam memahami bahasa manusia, selain itu output yang dihasilkan sangat mirip dengan teks yang dihasilkan oleh manusia. Beberapa keunggulan lain yang bisa kita rangkum adalah sebagai berikut:

1. Beragam aplikasi: Karena LLM dapat menghasilkan output yang sangat natural dan memiliki banyak kegunaan, untuk itu LLM dapat difungsikan ke dalam banyak use case seperti translasi, chatbot, atau sentimen analisis.
2. Peningkatan akurasi: LLM dapat berkembang dengan menambahkan banyak data dan parameter ke dalam model nya sehingga dapat menghasilkan output yang lebih baik lagi. Selain itu, peningkatan akurasi dapat juga dilakukan dengan memberikan konteks pada prompt yang diberikan kepada LLM.
3. Belajar dengan cepat: Anda tidak perlu melakukan training dari awal, dalam peningkatan akurasi menggunakan konteks anda hanya perlu memberikan contoh-contoh ke dalam prompt yang diberikan kepada LLM, LLM akan belajar dari contoh yang diberikan oleh pengguna dan menghasilkan output sesuai dengan contoh yang diberikan.

Tantangan LLM

LLM bukan hanya memiliki keunggulan tapi juga punya tantangan yang harus diperhatikan:

1. Halusinasi: Halusinasi adalah keadaan dimana LLM memberikan respon yang kurang tepat namun terasa benar (anda perlu membayangkan orang yang sedang bersilat lidah namun memberikan fakta yang salah). Anda dapat membaca artikel saya yang lain mengenai ini disini.
2. Keamanan: Karena prinsip LLM adalah menebak, sebenarnya LLM bisa saja mengeluarkan hasil dengan kata-kata kasar dan tidak diinginkan. Dalam mengatasi hal ini, sudah banyak perusahaan yang menerapkan batasan atau boundaries terhadap keluaran LLM, tentu anda tidak ingin LLM bisa mengeluarkan tutorial cara mengkudeta pemerintah bukan?
3. Resource: LLM in-house atau LLM yang anda training sendiri membutuhkan banyak sekali resource untuk menjalankan LLM. Katakanlah untuk menjalankan LLM dengan 7 milyar parameter anda membutuhkan sekitar 16 GB GPU dan RAM yang besar.
4. Emisi Karbon: Seiring dengan besarnya kebutuhan sumber daya untuk melakukan deployment Large Language Model (LLM), perlu diperhatikan bahwa penggunaan sumber daya ini juga turut berkontribusi terhadap emisi gas rumah kaca. Emisi tersebut disebabkan oleh konsumsi daya listrik yang tinggi dari komputer dan server yang digunakan dalam proses tersebut. Oleh karena itu, sambil memanfaatkan potensi besar LLM, penting untuk terus mendorong pengembangan teknologi yang lebih efisien dan ramah lingkungan untuk mengurangi dampak lingkungan dari penggunaan sumber daya yang melibatkan daya listrik secara signifikan.