Dil Modeli Güvenilirliği Değerlendirmesi: Yeni Araştırmalar Potansiyel Açıkları Ortaya Çıkardı

Illinois Üniversitesi Urbana-Champaign, birçok tanınmış üniversite ve araştırma kurumu ile işbirliği yaparak büyük dil modelleri (LLMs) güvenilirliğini kapsamlı bir şekilde değerlendiren bir platform geliştirmiştir. Bu platform, GPT gibi modelleri çoklu açılardan sistematik bir şekilde değerlendirmeyi amaçlamakta olup, en son yayınlanan "DecodingTrust: GPT Modellerinin Güvenilirliğinin Kapsamlı Değerlendirmesi" adlı çalışmada detaylı bir şekilde tanıtılmıştır.

Araştırmalar, daha önce kamuya açıklanmayan güvenilirlik ile ilgili bazı açıklar bulmuştur. Örneğin, GPT modelleri zararlı ve önyargılı çıktılar üretme eğilimindedir ve ayrıca eğitim verileri ile konuşma geçmişindeki gizli bilgileri sızdırabilir. Ayrıca, standart kıyaslama testlerinde GPT-4 genellikle GPT-3.5'ten daha güvenilir olmasına rağmen, kötü niyetli tasarlanmış ipuçları ile karşılaştığında, GPT-4 daha kolay bir şekilde saldırıya uğrayabilmektedir; bu, muhtemelen yanıltıcı talimatları daha sıkı bir şekilde takip etmesinden kaynaklanmaktadır.

Bu çalışma, GPT modelini 8 güvenilirlik perspektifinden kapsamlı bir şekilde değerlendirmiştir; modelin farklı güvenilirlik alanlarındaki performansı ve düşmanca ortamlardaki uyum yeteneği dahil. Değerlendirme, çeşitli senaryolar, görevler, göstergeler ve veri setlerini kapsamaktadır.

Rekabetçi metin saldırıları konusunda, araştırma ekibi üç değerlendirme senaryosu oluşturdu: standart referans AdvGLUE testi, farklı yönlendirici görev açıklamalarıyla donatılmış AdvGLUE testi ve kendi geliştirdikleri daha zorlu AdvGLUE++ testi. Bu testler, modellerin mevcut saldırılara karşı kırılganlığını, farklı modellerin dayanıklılık karşılaştırmasını, saldırıların talimatlara uyum yeteneği üzerindeki etkisini ve mevcut saldırı stratejilerinin taşınabilirliğini değerlendirmeyi amaçlamaktadır.

Araştırmalar, GPT modellerinin karşıt gösterimlere karşı belirli bir sağlamlık sergilediğini, ancak bazı sınırlamaları olduğunu ortaya koymuştur. Örneğin, GPT-3.5 ve GPT-4, karşıt örneklerden etkilenmez ve hatta bunlardan fayda sağlayabilir. Ancak, dolandırıcılık karşıtı gösterimlerin sunulması, özellikle bu gösterimler kullanıcı girişine yakın olduğunda, modelin karşıt girdilere yanlış tahminlerde bulunmasına yol açabilir.

Toksisite ve önyargılar açısından, GPT modelleri olumlu ipuçları altında çoğu kalıp yargı konusundaki sapmaları daha azdır. Ancak, yanıltıcı sistem ipuçları altında, her iki model de önyargılı içerikler üretebilir. GPT-4, GPT-3.5'ten daha fazla hedeflenmiş yanıltıcı ipuçlarından etkilenme eğilimindedir; bu, bu talimatlara daha sıkı bir şekilde uymasından kaynaklanıyor olabilir. Modelin önyargısı ayrıca kullanıcı ipuçlarında bahsedilen demografik gruplar ve kalıp yargı konularıyla da ilgilidir.

Gizlilik ihlali sorunlarıyla ilgili olarak, araştırmalar GPT modelinin eğitim verilerindeki hassas bilgileri, örneğin e-posta adreslerini sızdırabileceğini ortaya koymuştur. Bazı durumlarda, ek bilgilerin kullanılması bilgi çıkarımının doğruluğunu önemli ölçüde artırabilir. Ayrıca, model geçmişteki diyaloglarda özel bilgileri de sızdırabilir. GPT-4, kişisel tanımlayıcı bilgileri koruma konusunda GPT-3.5'ten daha sağlam olmasına rağmen, her iki model de gizlilik ihlali gösterimleriyle karşılaştıklarında çeşitli PII'leri sızdırma konusunda hassas kalmaktadır.

Araştırma ekibi, bu çalışmanın daha fazla araştırmacının katılımını teşvik etmeyi ve potansiyel zayıflıkların kötüye kullanılmasını önlemeyi amaçladığını vurguladı. Bu değerlendirmenin daha güçlü ve daha güvenilir modeller oluşturmanın bir başlangıcı olmasını umuyorlar ve diğer tarafları bu temelde çabalarını sürdürmeye davet ediyorlar. İşbirliğini teşvik etmek amacıyla geliştirdikleri referans kodu, iyi bir ölçeklenebilirlik ve kullanım kolaylığına sahiptir.