Penilaian Keandalan Model Bahasa: Penelitian Baru Mengungkap Kerentanan Potensial

Universitas Illinois di Urbana-Champaign telah bekerja sama dengan berbagai universitas dan lembaga penelitian terkemuka untuk mengembangkan sebuah platform yang secara komprehensif menilai keandalan model bahasa besar (LLMs). Platform ini bertujuan untuk melakukan penilaian sistematis terhadap model-model seperti GPT dari berbagai sudut pandang, dan dijelaskan secara rinci dalam makalah terbaru "DecodingTrust: Penilaian Komprehensif terhadap Keandalan Model GPT."

Penelitian telah menemukan beberapa kerentanan terkait keandalan yang sebelumnya tidak dipublikasikan. Misalnya, model GPT cenderung menghasilkan output yang berbahaya dan bias, serta mungkin mengungkapkan informasi pribadi dari data pelatihan dan riwayat percakapan. Selain itu, meskipun dalam pengujian standar GPT-4 biasanya lebih andal dibandingkan GPT-3.5, tetapi ketika dihadapkan pada prompt yang dirancang dengan jahat, GPT-4 justru lebih rentan terhadap serangan, mungkin karena ia lebih ketat mengikuti instruksi yang menyesatkan.

Penelitian ini melakukan evaluasi menyeluruh terhadap model GPT dari 8 perspektif keandalan, termasuk kinerja model dalam berbagai aspek keandalan, serta kemampuannya beradaptasi dalam lingkungan yang bersifat agresif. Evaluasi mencakup berbagai skenario, tugas, indikator, dan dataset.

Dalam hal serangan teks yang bersifat antagonistik, tim peneliti membangun tiga skenario evaluasi: pengujian AdvGLUE standar, pengujian AdvGLUE dengan instruksi tugas yang berbeda, dan pengujian AdvGLUE++ yang lebih menantang yang dikembangkan secara mandiri. Pengujian ini bertujuan untuk mengevaluasi kerentanan model terhadap serangan yang ada, perbandingan ketahanan berbagai model, dampak serangan terhadap kemampuan mengikuti instruksi, serta transferabilitas strategi serangan saat ini.

Penelitian menunjukkan bahwa model GPT menunjukkan ketahanan tertentu dalam menghadapi demonstrasi yang bersifat antagonis, tetapi juga memiliki beberapa keterbatasan. Misalnya, GPT-3.5 dan GPT-4 tidak akan tertipu oleh contoh kontra-faktual, bahkan dapat mengambil manfaat dari situasi tersebut. Namun, memberikan demonstrasi anti-penipuan dapat menyebabkan model membuat prediksi yang salah terhadap input kontra-faktual, terutama ketika demonstrasi tersebut mendekati input pengguna.

Dalam hal toksisitas dan bias, model GPT memiliki deviasi yang lebih kecil terhadap sebagian besar tema stereotip di bawah petunjuk yang baik. Namun, di bawah petunjuk sistem yang menyesatkan, kedua model tersebut dapat menghasilkan konten yang bias. GPT-4 lebih mudah dipengaruhi oleh petunjuk menyesatkan yang ditargetkan dibandingkan GPT-3.5, mungkin karena ia lebih ketat mengikuti instruksi tersebut. Bias model juga terkait dengan kelompok populasi dan tema stereotip yang disebutkan dalam petunjuk pengguna.

Mengenai masalah kebocoran privasi, penelitian menemukan bahwa model GPT mungkin akan membocorkan informasi sensitif dari data pelatihannya, seperti alamat email. Dalam beberapa kasus, memanfaatkan pengetahuan tambahan dapat secara signifikan meningkatkan akurasi ekstraksi informasi. Selain itu, model juga mungkin membocorkan informasi pribadi dari riwayat percakapan. Meskipun GPT-4 lebih kuat dalam melindungi informasi identitas pribadi (PII) dibandingkan dengan GPT-3.5, kedua model tersebut rentan terhadap kebocoran berbagai jenis PII ketika menghadapi demonstrasi kebocoran privasi.

Tim penelitian menekankan bahwa pekerjaan ini bertujuan untuk mendorong lebih banyak peneliti untuk berpartisipasi dalam mencegah potensi kerentanan dieksploitasi secara jahat. Mereka berharap evaluasi kali ini dapat menjadi titik awal untuk menciptakan model yang lebih kuat dan lebih dapat dipercaya, dan mereka menyambut baik pihak lain untuk terus berupaya berdasarkan ini. Untuk memfasilitasi kolaborasi, kode acuan yang mereka kembangkan memiliki skalabilitas dan kemudahan penggunaan yang baik.