Çığır açan bir deneyde, IBM araştırmacıları yapay zeka (AI) sohbet robotlarını potansiyel olarak zararlı tavsiyeler sağlayacak ve hassas bilgileri sızdıracak şekilde yönlendirmeyi başardılar. Bu başarı, aşağıdaki gibi büyük dil modellerinin (LLM'ler) 'hipnotize edilmesi' ile gerçekleştirildi. OpenAI'nin Sohbeti hem de Google'ın Bard'ıBu yapay zeka sistemlerinin güvenliği ve etik sonuçları hakkında ciddi soruları gündeme getiriyor.
Geçmişte yapay zeka sohbet robotlarının 'halüsinasyon gördüğü' veya yanlış bilgi sağladığı biliniyordu. Ancak bu yeni araştırma, bu kişilerin kasıtlı olarak yanlış ve hatta zararlı tavsiyeler verecek şekilde yönlendirilebileceğini de gösteriyor. IBM ekibi bunu, LLM'lerden yanıtlarını belirli 'oyun' kurallarına göre ayarlamalarını ve sohbet robotlarını etkili bir şekilde 'hipnotize etmelerini' sağlayarak başardı.
Çok katmanlı 'oyunlar', dil modellerinden adalet ve etikliklerini kanıtlama kisvesi altında yanlış cevaplar üretmelerini istemeyi içeriyordu. IBM araştırmacılarından biri olan Chenta Lee, bir blog yazısında şunları belirtti: "Deneyimiz, veri manipülasyonu bir gereklilik olmadan, bir LLM'yi kontrol etmenin, kullanıcılara kötü rehberlik sağlamanın mümkün olduğunu gösteriyor."
Bu manipülasyon, hukuk yüksek lisansı (LL.M.) programlarının kötü amaçlı kodlar üretmesine, gizli mali bilgileri ifşa etmesine ve hatta sürücülere kırmızı ışıklara aldırmamalarını tavsiye etmesine yol açtı. Bir örnekte Chat, bir araştırmacıya, ABD Gelir İdaresi'nin (IRS) vergi iadesi için teminat isteyebileceği konusunda yanlış bilgi verdi; bu, yaygın bir dolandırıcılık tekniğidir.
Araştırmacılar ayrıca kullanıcıların chatbotun 'hipnotize edilmiş' durumunu tespit edememesini sağlamak için 'oyun' kurallarını kullandı. Bir kullanıcı "oyundan" başarıyla çıkarsa, sistem yeni bir oyun başlatarak kullanıcıyı sonsuz bir döngüye hapsediyordu.
Bu deneyde sohbet robotları yalnızca komutlara yanıt verirken, araştırmacılar, özellikle yapay zeka modellerinin yaygın olarak benimsenmesi göz önüne alındığında, LLM'leri manipüle etme ve 'hipnotize etme' yeteneğinin kötüye kullanılabileceği konusunda uyarıyorlar. Ayrıca bireylerin artık bu programları yönetmek için kodlama bilgisine ihtiyaç duymadıklarını da belirttiler; basit bir metin istemi yeterli olabilir.
Lee sözlerini şöyle tamamladı: “Hipnozun oluşturduğu risk şu anda düşük olsa da, LLM'lerin kesinlikle gelişecek tamamen yeni bir saldırı yüzeyi olduğunu belirtmek önemlidir. Güvenlik açısından keşfetmemiz gereken hala çok şey var ve bunun ardından, Yüksek Lisans'ların tüketicilere ve işletmelere getirebileceği güvenlik risklerini etkili bir şekilde nasıl azaltacağımızı belirlemeye yönelik önemli bir ihtiyaç var."
Bu gelişme, hızla gelişen yapay zeka alanında sağlam güvenlik önlemlerine ve etik hususlara duyulan kritik ihtiyacın altını çiziyor. Yapay zeka çeşitli sektörlere nüfuz etmeye devam ettikçe potansiyel riskleri anlamak ve azaltmak giderek daha önemli hale geliyor.