Teknik Prompt Engineering untuk Mengurangi Halusinasi dari AI

Prompt engineering memainkan peran penting dalam meningkatkan kinerja dan keandalan model bahasa besar (LLM). Dengan merancang prompt dengan hati-hati, Anda dapat secara signifikan mengurangi halusinasi—kejadian di mana AI menghasilkan informasi yang salah atau menyesatkan. Praktik ini tidak hanya meningkatkan akurasi konten yang dihasilkan oleh AI tetapi juga mendorong kepercayaan pengguna yang lebih besar.

Ada kekhawatiran yang semakin meningkat terkait dengan halusinasi AI dan dampaknya pada aplikasi dunia nyata. Output yang menyesatkan dapat menyebabkan potensi bahaya bagi pengguna dan mengikis kepercayaan pada sistem AI. Mengatasi masalah ini sangat penting untuk penerapan yang aman dan penerimaan yang luas terhadap LLM.

Dalam artikel ini, kami akan menjelajahi 11 metode rekayasa prompt yang efektif untuk mengurangi halusinasi dalam konten yang dihasilkan oleh AI dan meningkatkan kepercayaan pengguna.

Memahami Halusinasi dalam AI

Halusinasi dalam kecerdasan buatan merujuk pada generasi konten yang salah secara faktual atau tidak masuk akal oleh model bahasa besar (LLM). Halusinasi ini muncul ketika sebuah model menghasilkan output yang tidak berdasarkan kenyataan, yang mengarah pada informasi yang salah.

Definisi dan Tantangan

Saat kita berbicara tentang halusinasi dalam AI, kita merujuk pada contoh di mana model menciptakan data yang tampak masuk akal tetapi sebenarnya salah. Ini menjadi tantangan signifikan bagi LLM seperti GPT-3 dan BERT karena merusak keandalan dan efektivitas mereka.

Contoh Output yang Dihasilkan dari Halusinasi

Untuk menggambarkan, pertimbangkan contoh-contoh berikut dari model bahasa populer:

• Contoh GPT-3: Ketika ditanya tentang populasi sebuah kota kecil, GPT-3 mungkin menghasilkan angka yang terdengar wajar tetapi sepenuhnya dibuat-buat.
• Contoh BERT: BERT bisa menghasilkan pernyataan yang terdengar otoritatif tentang peristiwa sejarah yang tidak pernah terjadi.

Contoh-contoh ini menunjukkan bagaimana bahkan model-model canggih sekalipun dapat mengalami kesalahan, menghasilkan konten yang menyesatkan pengguna.

Konsekuensi dari Informasi yang Tidak Akurat atau Menyesatkan

Konsekuensi dari keluaran yang dihasilkan secara halusinasi memiliki dampak yang luas:

1. Potensi Bahaya bagi Pengguna: Nasihat medis atau informasi keuangan yang salah dapat memiliki konsekuensi yang sangat serius.
2. Penurunan Kepercayaan: Berulangnya konten yang tidak akurat mengurangi kepercayaan pengguna terhadap sistem AI.

Menangani halusinasi sangat penting untuk penerapan aman sistem AI di berbagai bidang. Memastikan bahwa model-model tersebut menghasilkan informasi yang dapat diandalkan membantu menjaga kepercayaan pengguna dan mempromosikan penggunaan teknologi yang bertanggung jawab.

Dengan memahami bagaimana halusinasi muncul dan mengenali dampaknya, Anda dapat lebih menghargai nilai dari metode rekayasa prompt yang ditujukan untuk mengurangi masalah ini.

Peran Rekayasa Prompt dalam Mengurangi Halusinasi

Teknik-teknik rekayasa prompt sangat penting dalam mengurangi halusinasi pada model bahasa besar (LLM). Dengan membuat prompt yang spesifik, Anda dapat mengarahkan LLM untuk menghasilkan respons yang lebih tepat dan relevan. Pendekatan ini mengatasi kekurangan pengetahuan dengan meminta model untuk merujuk pada sumber-sumber terpercaya dan menggunakan metode penalaran yang lebih kompleks. Rekayasa prompt yang berhasil tidak hanya meningkatkan respons LLM, tetapi juga membangun kepercayaan pengguna dengan meminimalkan kemungkinan menghasilkan informasi palsu atau tidak akurat.

1. ‘Menurut Pendapat …’ (According to ..)

Penjelasan tentang Metode dan Dasar Pemikirannya

‘Menurut…’ prompting adalah teknik yang mengaitkan keluaran yang dihasilkan oleh AI dengan informasi yang dapat diverifikasi dari sumber tepercaya. Dengan menginstruksikan model untuk mendasarkan responsnya pada referensi tertentu, seperti “Menurut Wikipedia” atau “Seperti yang disorot dalam analisis terbaru oleh …. ,” hal ini memastikan bahwa kontennya lebih akurat dan dapat diandalkan. Metode ini mengurangi risiko terjadinya halusinasi dengan mengaitkan teks yang dihasilkan dengan petunjuk sejarah faktual dan bukti kontekstual.

Cara Kerjanya

Untuk menerapkan metode ini, Anda memberikan prompt yang secara eksplisit mengarahkan model bahasa untuk mengutip sumber-sumber otoritatif. Misalnya:

Prompt: “Apa manfaat dari diet berbasis tanaman menurut studi terbaru?”

Respons yang Diharapkan: “Menurut sebuah studi yang diterbitkan dalam The Journal of Nutrition, diet berbasis tanaman dapat meningkatkan kesehatan jantung dan mengurangi risiko penyakit kronis.”

Pendekatan ini tidak hanya meningkatkan kualitas respons, tetapi juga meningkatkan kepercayaan pengguna dengan menyediakan informasi yang dapat diverifikasi.

Studi Kasus yang Menunjukkan Efektivitas

Studi kasus menunjukkan perbaikan signifikan ketika menggunakan ‘Menurut…’ prompting. Selama eksperimen dengan model bahasa berskala besar seperti GPT-3, prompt yang dirancang untuk mengutip sumber-sumber tertentu menghasilkan pengurangan yang signifikan dalam keluaran halusinasi. Misalnya, ketika diminta untuk memberikan saran medis, menggunakan prompt seperti “Berdasarkan temuan dari Mayo Clinic” menghasilkan respons yang 20% lebih akurat dibandingkan dengan prompt umum.

Dengan memanfaatkan metode ini, Anda memastikan bahwa keluaran tersebut didasarkan pada sumber-sumber tepercaya, sehingga meningkatkan keandalan dan kegunaan keseluruhan dari konten yang dihasilkan oleh AI.

2. Chain-of-Verification (CoVe) Prompting

Chain-of-Verification (CoVe) adalah proses verifikasi multi-langkah yang secara signifikan meningkatkan akurasi faktual dalam konten yang dihasilkan oleh AI. Metode CoVe melibatkan penghasilan respons awal dan kemudian mengujinya dengan beberapa putaran pertanyaan verifikasi. Pertanyaan-pertanyaan ini dirancang untuk memeriksa keluaran awal, memastikan keandalannya dan konsistensinya.

Deskripsi Metode CoVe

1. Penghasilan Respons Awal: Mulailah dengan meminta model bahasa untuk menghasilkan respons awal.
2. Pertanyaan Verifikasi: Kembangkan serangkaian pertanyaan verifikasi berdasarkan respons awal. Pertanyaan-pertanyaan ini bertujuan untuk menguji validitas dan koherensi informasi yang diberikan.
3. Mekanisme Pemeriksaan Iteratif: Masukkan kembali pertanyaan-pertanyaan verifikasi ini ke dalam model untuk menghasilkan jawaban.
4. Perbandingan dan Penyempurnaan: Bandingkan jawaban-jawaban ini dengan respons awal. Jika ditemukan perbedaan atau ketidakakuratan, perbaiki respons awal sesuai kebutuhan.

Mekanisme pemeriksaan iteratif ini memastikan bahwa setiap respons menjalani pemeriksaan yang ketat, mengurangi kemungkinan terjadinya halusinasi.

Manfaat yang Diperoleh

Metode CoVe telah menunjukkan peningkatan signifikan dalam berbagai aspek:

• Konsistensi yang Ditingkatkan: Dengan memverifikasi informasi secara berulang, pendekatan ini memastikan bahwa respons tetap konsisten di berbagai tugas.
• Keterandalan yang Ditingkatkan: Proses verifikasi multi-langkah membantu dalam mengidentifikasi dan memperbaiki ketidakakuratan, sehingga meningkatkan keterandalan keluaran.
• Akurasi Faktual: Sifat iteratif dari CoVe memungkinkan penyempurnaan terus-menerus, menghasilkan respons yang lebih akurat secara faktual.

Studi Kasus Contoh

Bayangkan sebuah skenario di mana sebuah LLM ditanya tentang peristiwa sejarah:

1. Prompt Awal: “Ceritakan kepada saya tentang penyebab Perang Dunia I.”
2. Respons yang Dihasilkan: “Perang Dunia I dimulai akibat interaksi kompleks antara aliansi politik dan strategi militer.”
3. Pertanyaan Verifikasi:

• “Apa saja aliansi politik yang terlibat?”
• “Strategi militer mana yang menjadi kunci?”

Memberikan pertanyaan verifikasi ini kembali ke dalam model dapat menghasilkan jawaban rinci seperti “Triple Entente dan Triple Alliance adalah aliansi politik utama,” dan “Rencana Schlieffen adalah strategi militer kunci.” Membandingkan ini dengan respons awal memungkinkan untuk memperbaiki pernyataan yang samar atau tidak akurat.

Dengan menerapkan teknik prompting CoVe di berbagai tugas, Anda dapat mencapai tingkat konsistensi dan keandalan yang lebih tinggi dalam konten yang dihasilkan oleh AI.

3. Prompting Mundur (Step-Back Prompting)

Prompting Mundur mendorong proses penalaran yang lebih dalam dalam Model Bahasa Besar (LLM) sebelum mencapai jawaban akhir. Dengan menggunakan prompt seperti “pikirkan melalui tugas ini langkah demi langkah,” Anda membimbing model untuk terlibat dalam penalaran tingkat tinggi. Metode ini mempromosikan eksplorasi yang lebih teliti terhadap solusi potensial, mengurangi kemungkinan menghasilkan informasi yang tidak akurat atau menyesatkan. Misalnya, ketika dihadapkan pada pertanyaan kompleks, model didorong untuk memecah masalah dan mempertimbangkan setiap bagiannya secara sistematis, menghasilkan keluaran yang lebih dapat diandalkan.

Contoh Prompt:

“Pikirkan melalui tugas ini langkah demi langkah: Apa penyebab utama pemanasan global?”

4. Teknik Prompting Anchoring Kontekstual (Contextual Anchoring Prompting Techniques)

Pentingnya konteks dalam menghasilkan respons yang akurat dari LLM sangatlah krusial. Penjangkaran kontekstual melibatkan perancangan prompt yang memberikan latar belakang atau pengaturan situasional yang jelas, membantu model mengaitkan responsnya dengan informasi relevan. Misalnya:

• Prompt yang Kaya Konteks: “Mengingat perkembangan terbaru dalam etika AI, apa dampak potensialnya terhadap privasi?” Ini memastikan model mempertimbangkan peristiwa terkini dan diskusi yang relevan.
• Pertanyaan Berbasis Skenario: “Dalam skenario di mana energi terbarukan menjadi sumber utama, bagaimana pergeseran ekonomi global mungkin terjadi?”

Strategi-strategi ini meningkatkan pengkaitan model, mengurangi halusinasi dengan mengaitkan respons pada konteks spesifik.

5. Pendekatan Pertanyaan Terstruktur

Dengan menggunakan tingkat pertanyaan yang berbeda, Anda dapat greatly meningkatkan kualitas jawaban yang diberikan oleh model bahasa. Dengan menggunakan pendekatan terstruktur saat membuat kueri, Anda mendorong respons yang lebih rinci daripada hanya yang dasar.

Manfaat:

• Mendorong model untuk menjelajahi berbagai aspek suatu topik
• Mengurangi kemungkinan menghasilkan informasi yang tidak lengkap atau salah
• Meningkatkan keterampilan berpikir kritis dan penalaran dalam model

Sebagai contoh, alih-alih bertanya, “Apa itu perubahan iklim?”, pendekatan terstruktur akan melibatkan beberapa pertanyaan: “Apa penyebab perubahan iklim?” diikuti dengan “Bagaimana penyebab ini mempengaruhi suhu global?” Metode ini memastikan eksplorasi subjek yang lebih mendalam dan akurat.

6. Strategi Prompt Reflektif

Strategi prompt reflektif, sering disebut sebagai prompt evaluasi diri, mendorong model bahasa untuk secara kritis menilai output mereka sendiri. Prompt ini mendorong model untuk merenungkan akurasi dan koherensi responsnya sebelum memberikan jawaban akhir. Misalnya, prompt reflektif dapat menanyakan kepada model, “Apakah respons ini konsisten dengan data yang diberikan?” Teknik ini mendorong analisis yang lebih mendalam dan koreksi diri, menghasilkan output yang lebih dapat diandalkan.

Dengan menggabungkan prompt evaluasi diri, Anda dapat meningkatkan proses pembelajaran model, mendorong perbaikan berkelanjutan dan mengurangi kemungkinan informasi yang dihasilkan secara halus.

7. Teknik Desain Prompt Berbasis Skenario

Teknik desain prompt berbasis skenario melibatkan integrasi skenario realistis selama fase pelatihan model bahasa besar. Dengan mengekspos model-model tersebut pada berbagai aplikasi praktis di berbagai konteks, metode ini membantu mereka untuk lebih baik dalam generalisasi dan mengurangi kerentanan mereka terhadap perilaku halusinasi. Misalnya, melatih model dengan prompt seperti “Dalam keadaan darurat medis di mana pasien menunjukkan gejala…” memungkinkan model untuk menangani situasi yang rumit dan bernuansa dengan lebih efektif. Pendekatan ini membantu dalam mengembangkan sistem AI yang tangguh yang mampu menghasilkan respons akurat di berbagai skenario dunia nyata.

8. Integrasi Feedback Loop untuk Perbaikan Berkelanjutan dalam Sistem AI

Membangun feedback loop yang kuat antara pengguna dan model bahasa sangat penting untuk perbaikan berkelanjutan. Mekanisme umpan balik interaktif memainkan peran kunci dalam memperbaiki keluaran AI dan mengurangi risiko halusinasi seiring waktu.

1. Masukan Pengguna dan Penyesuaian Model

Umpan balik pengguna secara teratur memberikan wawasan berharga tentang kinerja model, menyoroti baik kekuatan maupun area yang perlu diperbaiki. Interaksi terus-menerus ini membantu menyempurnakan respons model, menjadikannya lebih dapat diandalkan.

2. Perbaikan Terus-Menerus

Loop umpan balik memfasilitasi upaya perbaikan terus-menerus, memungkinkan pengembang untuk menangani halusinasi atau ketidakakuratan tertentu. Dengan menggabungkan koreksi dan saran dari pengguna, model dapat beradaptasi untuk menghasilkan keluaran yang lebih akurat dan sesuai dengan konteks.

3. Reduksi Risiko

Implementasi sistem umpan balik ini mengurangi kemungkinan menghasilkan informasi yang menyesatkan. Saat pengguna berinteraksi dengan model, masukan mereka membantu mengidentifikasi pola halusinasi potensial, memungkinkan pengembang untuk campur tangan secara proaktif.

Dalam praktiknya, mekanisme umpan balik interaktif memastikan bahwa model bahasa tetap selaras dengan harapan pengguna dan kebutuhan dunia nyata. Mereka tidak hanya meningkatkan akurasi konten yang dihasilkan oleh AI tetapi juga membangun kepercayaan di antara pengguna dengan menunjukkan komitmen terhadap perbaikan berkelanjutan.

9. Metode Progresif

Metode Progresif fokus pada penyempurnaan bertahap dari prompt untuk mencapai keluaran yang lebih akurat dan dapat diandalkan. Teknik ini melibatkan serangkaian penyesuaian iteratif pada prompt awal, di mana setiap versi dibangun berdasarkan versi sebelumnya untuk secara progresif meminimalkan halusinasi.

Elemen Kunci dari Metode Progresif:

• Pemrograman Awal: Mulailah dengan pertanyaan atau pernyataan dasar untuk memulai respons model.
• Iterasi dan Penyempurnaan: Evaluasi keluaran awal untuk akurasi dan relevansi. Modifikasi prompt untuk mengatasi kekurangan yang diamati.
• Kemampuan Kompleksitas Bertahap: Secara bertahap perkenalkan elemen yang lebih kompleks atau konteks tambahan ke dalam prompt untuk membimbing model menuju pemahaman yang lebih dalam dan akurasi yang lebih baik.
• Umpan Balik Berkelanjutan: Sertakan umpan balik pengguna di setiap tahap untuk memastikan bahwa iterasi berikutnya selaras erat dengan hasil yang diinginkan.

Contoh Skenario

1. Prompt Awal: “Jelaskan proses fotosintesis.”
2. Iterasi Pertama: “Jelaskan proses fotosintesis pada tumbuhan, dengan fokus pada penyerapan cahaya.”
3. Iterasi Kedua: “Jelaskan bagaimana klorofil di daun tumbuhan menyerap cahaya selama fotosintesis, dan jelaskan perannya dalam mengubah energi matahari menjadi energi kimia.”

Manfaat

• Spesifikasi yang Ditingkatkan: Setiap iterasi mempersempit fokus, mengurangi kemungkinan menghasilkan informasi yang tidak relevan atau salah.
• Akurasi Kontekstual: Penyempurnaan progresif memastikan bahwa respons tetap terikat pada konteks yang akurat, mengurangi risiko halusinasi.
• Keterlibatan Pengguna: Dengan melibatkan pengguna dalam umpan balik, metode ini memastikan bahwa keluaran model terus-menerus sesuai dengan harapan pengguna.

Metode Progresif menggambarkan bagaimana penyempurnaan iteratif dapat menghasilkan konten yang dihasilkan oleh AI yang semakin akurat dan dapat diandalkan. Pendekatan ini sangat efektif ketika menggunakan model-model canggih seperti Llama 3, yang dirancang untuk menangani pertanyaan kompleks dengan mudah. Selain itu, pemahaman tentang proses-proses rumit seperti fotosintesis dapat sangat diuntungkan dari metode ini, menghasilkan penjelasan yang lebih tepat dan relevan secara kontekstual.

10. Pemeriksaan Fakta dengan Sumber Eksternal

Pemeriksaan fakta dengan sumber eksternal adalah metode rekayasa prompt yang penting untuk mengurangi halusinasi dalam konten yang dihasilkan oleh AI. Pendekatan ini melibatkan pemeriksaan silang keluaran model dengan sumber data eksternal yang andal untuk memastikan akurasi dan integritas informasi tersebut.

Cara Kerjanya:

1. Identifikasi Sumber Terpercaya: Pilih basis data atau situs web yang memiliki reputasi baik seperti Wikipedia, jurnal ilmiah, atau publikasi khusus industri.
2. Incorporate Fact-Checking Prompts: Rancang prompt yang menginstruksikan LLM untuk memvalidasi jawabannya dengan sumber-sumber terpercaya ini. Misalnya, “Verifikasi informasi ini dengan data dari CDC” atau “Periksa fakta ini dengan Britannica.”
3. Validasi Otomatis: Gunakan alat dan API yang memfasilitasi verifikasi waktu nyata terhadap output model dengan menghubungkannya ke basis data eksternal.

Manfaat:

• Pengurangan Halusinasi: Dengan mendasarkan jawaban pada informasi yang dapat diverifikasi, kemungkinan menghasilkan konten yang salah atau menyesatkan berkurang.
• Peningkatan Kepercayaan: Pengguna mendapatkan kepercayaan pada sistem AI mengetahui bahwa outputnya telah diverifikasi silang dengan sumber-sumber kredibel.
• Peningkatan Akurasi: Memvalidasi informasi secara terus-menerus menghasilkan hasil yang lebih tepat dan dapat diandalkan.

Contoh:

Prompt: “Berikan statistik terbaru tentang penggunaan internet global. Periksa data ini dengan Statista.”

Output Model: “Menurut Statista, per tahun 2021, terdapat sekitar 4,9 miliar pengguna internet aktif di seluruh dunia.”

Methode ini menekankan pentingnya mengintegrasikan mekanisme validasi eksternal ke dalam desain prompt, memastikan model menghasilkan konten yang dapat dipercaya dan akurat.

11. Gunakan Prompt yang Spesifik dan Detail

Menggunakan prompt yang spesifik dan detail adalah metode rekayasa prompt yang krusial untuk mengurangi halusinasi. Pendekatan ini melibatkan pembuatan prompt yang meninggalkan sedikit ruang untuk ambiguitas, membimbing model untuk menghasilkan jawaban yang tepat dan akurat.

Strategi Utama:

• Granularitas dalam Instruksi: Pecah pertanyaan kompleks menjadi komponen yang lebih kecil dan dapat dikelola. Misalnya, alih-alih bertanya, “Ceritakan tentang perubahan iklim,” Anda bisa meminta, “Jelaskan penyebab utama perubahan iklim dan berikan tiga contoh terbaru dampaknya.”
• Kejelasan Kontekstual: Sertakan konteks yang relevan dalam permintaan Anda untuk mengaitkan respons model. Jika Anda memerlukan informasi tentang eksplorasi luar angkasa, spesifikasikan, “Deskripsikan misi Rover Mars NASA dari tahun 2010 hingga 2020.”
• Referensi Langsung: Dorong penggunaan data atau sumber yang tepat dalam permintaan. Pertanyaan seperti, “Menurut laporan terbaru dari Organisasi Kesehatan Dunia, apa statistik terkini tentang tingkat vaksinasi global?” memastikan outputnya didasarkan pada informasi yang dapat diverifikasi.

Contoh:

Permintaan: “Sebutkan tiga inovasi teknologi utama yang diperkenalkan oleh Apple Inc. sejak tahun 2015 dan jelaskan dampaknya terhadap perilaku konsumen.”

Respons yang Diharapkan:

1. iPhone X (2017): Memperkenalkan teknologi pengenalan wajah, yang meningkatkan keamanan dan kenyamanan pengguna.
2. Apple Watch Series 4 (2018): Mengintegrasikan fitur pemantauan kesehatan canggih seperti ECG, yang meningkatkan fokus konsumen pada kesehatan pribadi.
3. M1 Chip (2020): Merevolusi kinerja dan efisiensi komputasi pada MacBook, menyebabkan lonjakan penjualan dan kepuasan pelanggan.

Studi kasus telah menunjukkan bahwa menerapkan teknik-teknik ini dapat secara signifikan mengurangi output yang tidak akurat. Dengan menentukan dengan tepat informasi apa yang dibutuhkan dan memberikan panduan yang jelas, model-model tersebut cenderung menghasilkan respons yang kurang samar atau salah.

Menerapkan pendekatan rekayasa permintaan yang menggabungkan referensi langsung dan instruksi spesifik dapat menjadi strategi efektif untuk mengurangi risiko output yang tidak akurat. Mendorong pengguna untuk menyertakan data atau sumber yang tepat dalam pertanyaan mereka memastikan bahwa model AI mengandalkan informasi akurat saat menghasilkan respons. Dengan memberikan panduan yang jelas, seperti menanyakan tentang rentang waktu tertentu atau meminta dampak terhadap perilaku konsumen, kemungkinan menerima informasi yang koheren dan relevan sangat meningkat. Metode ini juga mempromosikan transparansi dan akuntabilitas, memungkinkan pengguna untuk lebih mudah memverifikasi keakuratan konten yang dihasilkan.