Bagaimana mencegah Dify membuat jawaban asal-asalan dengan RAG?

Konsep halusinasi AI dan penyebab teknis di balik rekayasa data.
Dify AI sebagai solusi tanpa kode untuk mengoptimalkan pengembangan aplikasi berbasis LLM.
Pentingnya arsitektur RAG dalam meminimalkan kesalahan dan meningkatkan akurasi respons.
Perbedaan mendasar antara model bahasa pasif dan agen AI otonom.

Saya yakin Anda pernah mengalaminya: Anda meminta informasi spesifik kepada kecerdasan buatan dan ia menjawab dengan kepastian yang menakjubkan, tetapi ketika Anda mencoba memverifikasinya, Anda menemukan bahwa Dia mengarang cerita itu sepenuhnya.Fenomena ini dikenal sebagai halusinasi AI dan dapat menjadi masalah serius ketika memengaruhi informasi teknis, hukum, keuangan, atau kesehatan.

Ini tidak berarti mesin tersebut mengalami delusi atau berbohong secara sadar. Model bahasa menghasilkan responsnya dengan cara menghitung. kata mana yang kemungkinan besar akan muncul selanjutnyaAkibatnya, mereka dapat menghasilkan penjelasan yang dirumuskan dengan sempurna, namun pada saat yang sama, sepenuhnya salah.

Platform seperti Dify membantu mengurangi risiko ini dengan menghubungkan model ke dokumennya masing-masing, menetapkan instruksi yang lebih ketat, dan merancang alur kerja yang memverifikasi informasi sebelum menampilkannya kepada pengguna. Namun, Tidak ada satu konfigurasi pun yang sepenuhnya menghilangkan kebutuhan untuk memverifikasi jawabannya..

Mengapa kecerdasan buatan menciptakan informasi?

Model bahasa besar, yang dikenal sebagai LLM, tidak berfungsi seperti basis data yang menyimpan jawaban terverifikasi. Tugas mereka adalah untuk menghasilkan teks dari pola yang dipelajari selama pelatihan dan konteks yang disertakan dalam setiap percakapan.

Ketika pertanyaannya ambigu, berkaitan dengan subjek yang kurang terdokumentasi, atau membutuhkan informasi yang tidak ditemukan dalam konteksnya, model tersebut dapat Isi bagian yang kosong dengan data yang masuk akal.Hasilnya sesuai secara tata bahasa dan tampak masuk akal, tetapi belum tentu sesuai dengan kenyataan.

Kesalahan juga dapat terjadi ketika informasi yang digunakan selama pelatihan sudah usang, mengandung kontradiksi, atau tidak cukup mencakup topik yang diteliti. Bahkan model yang terhubung ke internet pun bisa salah menafsirkan sumber, mencampur data dari beberapa halaman atau mengaitkan suatu pernyataan dengan dokumen yang salah.

Cara permintaan dirumuskan juga penting. Jika pengguna berasumsi bahwa suatu peristiwa telah terjadi atau menuntut jawaban kategoris, model mungkin akan mengikuti premis yang salah tersebut. Itulah mengapa akan sangat membantu jika Anda meminta mereka untuk... sadari kapan Anda tidak memiliki cukup informasi dan hal itu secara jelas membedakan antara fakta yang terbukti dan kesimpulan.

Apa itu Dify dan bagaimana Dify dapat membantu?

Platform Dify untuk membuat aplikasi kecerdasan buatan.

Dify adalah platform sumber terbuka untuk membuat aplikasi kecerdasan buatan melalui antarmuka visual. Platform ini memungkinkan Hubungkan model dari berbagai penyedia, buat chatbot, rancang alur kerja, dan integrasikan alat eksternal. tanpa harus mengembangkan seluruh infrastruktur dari awal.

Konten eksklusif - Klik Disini Bagaimana cara mengetahui apakah kartu identitas saya elektronik?

Cara kerjanya tidak menghilangkan keterbatasan model yang dipilih. Jika sebuah aplikasi menggunakan LLM tanpa konteks tambahan atau aturan validasi, aplikasi tersebut tetap dapat memalsukan informasi. Keunggulan Dify adalah memungkinkan membangun arsitektur di sekitar model tersebut untuk mengontrol dengan lebih baik data apa yang diterimanya dan bagaimana seharusnya menghasilkan respons.

Melalui aplikasi Alur Kerja (Workflow) dan Alur Obrolan (Chatflow), berbagai langkah dapat diatur, seperti mengambil dokumen, melakukan kueri API, memproses informasi dengan model, dan menerapkan kondisi sebelum memberikan hasil. Hal ini juga memungkinkan Hubungkan Dify dengan Ollama untuk bekerja dengan model lokal.

Jika Anda mempertimbangkan platform lain untuk mengembangkan aplikasi berbasis dokumen, Anda dapat melihat pilihan kami. Perbandingan antara Dify dan RAGFlow.

Gunakan RAG untuk menanggapi dengan dokumen Anda sendiri.

Salah satu fungsi paling berguna untuk mengurangi halusinasi adalah... Generasi Peningkatan Pemulihan, lebih dikenal sebagai RAGSistem ini memungkinkan aplikasi untuk mencari informasi dalam basis pengetahuan sebelum meminta model untuk menulis respons.

Proses ini dibagi menjadi tiga langkah. Pertama, Dify mengambil fragmen dokumen yang tampak paling relevan dengan pertanyaan. Kemudian, ia menggabungkan fragmen-fragmen tersebut ke dalam konteks yang dikirim ke model. Terakhir, LLM (Learning Learning Model) menghasilkan respons menggunakan informasi yang telah diambil.

Dengan demikian, aplikasi ini tidak hanya bergantung pada pengetahuan yang diperoleh model selama pelatihannya. Anda dapat berkonsultasi dengan manual, peraturan internal, lembar data produk, pertanyaan yang sering diajukan atau dokumentasi lain apa pun yang tergabung dalam basis pengetahuan.

Pendekatan ini sangat berguna untuk Buat mesin pencari pribadi untuk dokumen., asisten dukungan teknis atau chatbot yang harus merespons berdasarkan informasi spesifik perusahaan.

Namun, RAG tidak menjamin bahwa semua respons akan benar. Sistem pencarian mungkin memilih fragmen yang tidak relevan, dokumen asli mungkin sudah usang, atau model mungkin salah menafsirkan konten. Oleh karena itu, ada baiknya untuk berdiskusi. pengurangan halusinasi, bukan penghapusan total.

Cara membuat basis pengetahuan di Dify

Langkah pertama adalah pergi ke bagian pengetahuan Dify dan membuat basis data baru. Kemudian Anda dapat mengimpor dokumen yang akan digunakan aplikasi dan memilihnya. model penyematan bertanggung jawab untuk menyajikan kontennya guna mempermudah pencarian.

Selama proses pengindeksan, Dify membagi dokumen menjadi beberapa fragmen. Proses ini penting karena... Kualitas pemulihan sangat bergantung pada bagaimana informasi tersebut dipisahkan.:

Fragmen yang terlalu kecil dapat kehilangan konteks yang diperlukan.
Fragmen yang terlalu besar dapat memasukkan informasi yang tidak relevan.
Tumpang tindih membantu melestarikan gagasan yang terletak di antara dua divisi.
Metadata memungkinkan Anda membatasi pencarian berdasarkan dokumen, kategori, atau tanggal.

Konten eksklusif - Klik Disini Cara Mendesain Halaman Sampul di Word

Setelah file diproses, gunakan fungsi uji pemulihan. Masukkan pertanyaan sebenarnya dan lihat fragmen mana yang dikembalikan oleh sistem. Jika hasilnya tidak berisi jawaban yang benar, Masalahnya terletak pada pemulihan. dan masalah ini tidak akan terselesaikan hanya dengan mengubah perintahnya.

Dify memungkinkan Anda untuk menggabungkan pencarian semantik dan pencocokan kata kunciAnda juga dapat menggunakan model perankingan ulang untuk menyusun ulang cuplikan yang diambil berdasarkan relevansinya. Konfigurasi yang tepat akan bergantung pada bahasa, jenis dokumen, dan pertanyaan yang akan diajukan pengguna.

Konfigurasikan alur kerja agar tidak merespons tanpa bukti.

Setelah menyiapkan basis pengetahuan, basis pengetahuan tersebut perlu dihubungkan ke aplikasi. Dalam alur kerja visual, Anda dapat menambahkan node pencarian pengetahuan, mengirimkan hasilnya ke node model, dan menggunakan instruksi yang mirip dengan berikut ini:

Responde utilizando únicamente la información incluida en el contexto.

Si el contexto no contiene datos suficientes para responder, indica claramente que no has encontrado la información.

No inventes nombres, fechas, cifras, enlaces ni referencias.

Diferencia los hechos presentes en las fuentes de cualquier inferencia necesaria.

Instruksi ini tidak secara matematis memaksa model untuk selalu berperilaku seperti ini, tetapi Hal ini mengurangi tekanan untuk memberikan jawaban ketika data kurang memadai.Disarankan juga untuk menetapkan ambang batas relevansi untuk membuang hasil yang hampir tidak terkait dengan pertanyaan.

Jika pengambilan data tidak mengembalikan fragmen yang valid, alur dapat menggunakan kondisi untuk Langsung menampilkan pesan yang menunjukkan bahwa tidak ada informasi yang tersedia.Dengan cara ini, keputusan tidak hanya bergantung pada model yang mematuhi perintah.

Mengaktifkan kutipan dan atribusi juga disarankan. Dify dapat mengaitkan jawaban dengan cuplikan yang diambil sehingga pengguna dapat merujuk ke dokumen aslinya. Sumber tidak secara otomatis membuat jawaban tersebut benar, tetapi Mereka sangat mempermudah proses verifikasi mereka..

Perbedaan antara model, alur, dan agen

Model bahasa menerima input dan menghasilkan output. Alur kerja menambahkan output. Urutan langkah, kondisi, dan alat yang telah ditentukan.Di sisi lain, seorang agen dapat memutuskan alat mana yang akan digunakan dan mengulangi beberapa tindakan hingga mencoba menyelesaikan tujuan tersebut.

Sebagai contoh, alur kerja dapat dikonfigurasi untuk mengambil dokumentasi, mengekstrak bidang tertentu, dan selalu menghasilkan ringkasan dengan urutan yang sama. Agen dapat memutuskan apakah perlu melakukan hal tersebut. mencari informasi, berkonsultasi dengan API, atau melakukan perhitungan tergantung pada permintaan yang diterima.

Dify memungkinkan penggunaan berbagai alat melalui plugin, spesifikasi OpenAPI, alur kerja lainnya, dan server MCP. Integrasi ini dapat memberikan informasi terbaru atau melakukan tindakan pada layanan eksternal.

Konten eksklusif - Klik Disini Cara memperluas iCloud

Agen belum tentu lebih andal daripada alur kerja yang telah ditentukan sebelumnya. Meskipun memiliki otonomi yang lebih besar, agen juga dapat memilih alat yang salah, salah menafsirkan hasilnya, atau menjalankan lebih banyak langkah daripada yang diperlukan. Untuk proses yang sensitif, alur kerja yang telah ditentukan sebelumnya lebih disukai. batasi izin, tetapkan jumlah iterasi maksimum, dan minta konfirmasi dari manusia sebelum terjadi tindakan yang tidak dapat dibatalkan.

Periksa jawabannya menggunakan langkah kedua.

Dalam aplikasi di mana akurasi sangat penting, Anda dapat menambahkan fase peninjauan sebelum menampilkan hasilnya. Node kedua dalam model dapat Bandingkan draf tersebut dengan fragmen yang ditemukan. dan menunjukkan klaim yang tidak didukung oleh sumber.

Opsi lain adalah memaksa model pertama untuk mengembalikan output terstruktur yang berisi respons, fragmen yang digunakan, dan indikator kepercayaan. Kemudian, alurnya dapat Tolak hasil jika sumbernya tidak ada. atau tingkat bukti tidak mencapai ambang batas yang ditetapkan.

Menggunakan model lain sebagai pemeriksa membantu mendeteksi beberapa kesalahan, tetapi tidak menggantikan pemeriksaan sebenarnya. Dua model dapat menyepakati klaim palsu yang sama, terutama jika keduanya menerima informasi yang tidak lengkap. Jika memungkinkan, Validasi harus didasarkan pada dokumen asli, API yang andal, atau aturan yang diprogram..

Tips untuk mengurangi halusinasi di Dify

Tips untuk mengurangi halusinasi di Dify Bagaimana mencegah Dify membuat jawaban palsu?

Konfigurasi yang tepat akan bergantung pada jenis aplikasi, tetapi praktik-praktik ini membantu untuk... meningkatkan keandalan respons:

Gunakan dokumen terkini dan terstruktur dengan baik dari sumber yang terpercaya.
Uji pemulihan dengan pertanyaan pengguna sungguhan.
Mintalah model tersebut untuk secara eksplisit mengakui ketika ia tidak memiliki informasi.
Aktifkan kutipan agar pengguna dapat merujuk pada fragmen aslinya.
Hindari meminta jawaban kategoris ketika data tidak lengkap.
Hal ini membatasi alat dan izin yang tersedia untuk setiap agen.
Rekam percakapan untuk mendeteksi kesalahan yang berulang.
Perkenalkan peninjauan oleh manusia dalam keputusan medis, hukum, atau keuangan.

Menuntut tautan saja tidak cukup.AI dapat memalsukan alamat web atau mengutip halaman yang tidak mendukung klaim tersebut. Sumber harus dibuka dan diverifikasi, terutama ketika jawabannya memengaruhi keputusan penting. Alat berbasis dokumen, seperti yang dijelaskan dalam artikel kami, dapat membantu. Panduan NotebookLM dan manajemen fontMereka juga memfasilitasi proses ini.

Dify menyediakan komponen yang diperlukan untuk membuat aplikasi yang lebih terkontrol, tetapi keandalan akhirnya bergantung pada Kualitas dokumen, pengambilan, instruksi, dan pemeriksaan yang terintegrasi ke dalam alur kerja.RAG, kutipan, dan node validasi secara signifikan mengurangi respons palsu, meskipun pengawasan manusia tetap penting dalam penggunaan kritis apa pun.