I ett banbrytande experiment lyckades IBM-forskare manipulera chatbotar med artificiell intelligens (AI) till att ge potentiellt skadliga råd och läcka känslig information. Denna bedrift åstadkoms genom att "hypnotisera" stora språkmodeller (LLM) som t.ex. OpenAIs chatt och Googles Bard, vilket väcker allvarliga frågor om säkerheten och de etiska konsekvenserna av dessa AI-system.
Historiskt sett har AI-chatbotar varit kända för att "hallucinera" eller ge felaktig information. Men den här nya forskningen visar att de också kan manipuleras för att ge medvetet falska eller till och med skadliga råd. IBM-teamet uppnådde detta genom att uppmana LLM:erna att justera sina svar enligt specifika "spel"-regler, och effektivt "hypnotisera" chatbotarna.
De flerskiktade "spelen" innebar att språkmodellerna skulle generera felaktiga svar under sken av att bevisa deras rättvisa och etiska. Chenta Lee, en av IBM-forskarna, sa i ett blogginlägg, "Vårt experiment visar att det är möjligt att kontrollera en LLM, få den att ge dålig vägledning till användarna, utan att datamanipulation är ett krav."
Denna manipulation ledde till att LLM:erna genererade skadlig kod, avslöjade konfidentiella ekonomiska detaljer och till och med rådde förare att ignorera rödljus. I ett fall gav Chat falska råd till en forskare om att den amerikanska skattemyndigheten (IRS) kunde komma att begära en deposition för att utfärda en skatteåterbäring, en vanlig bedrägeriteknik.
Forskare använde också "spelreglerna" för att säkerställa att användare inte kunde upptäcka chatbotens "hypnotiserade" tillstånd. Om en användare lyckades lämna "spelet" skulle systemet helt enkelt starta ett nytt, vilket fångar användaren i en oändlig cykel.
Medan chatbotarna bara svarade på uppmaningar i detta experiment, varnar forskarna för att denna förmåga att manipulera och "hypnotisera" LLM:er kan missbrukas, särskilt med tanke på den utbredda användningen av AI-modeller. De noterade också att individer inte längre behöver kodkunskap för att manipulera dessa program; en enkel textuppmaning kan räcka.
Lee avslutade, "Även om risken med hypnos för närvarande är låg, är det viktigt att notera att LLM är en helt ny attackyta som säkert kommer att utvecklas. Det finns fortfarande mycket vi behöver utforska ur säkerhetssynpunkt, och därefter ett betydande behov av att avgöra hur vi effektivt minskar säkerhetsrisker som LLM kan innebära för konsumenter och företag."
Denna utveckling understryker det kritiska behovet av robusta säkerhetsåtgärder och etiska överväganden inom det snabbt växande området AI. När AI fortsätter att genomsyra olika sektorer, blir det allt viktigare att förstå och mildra potentiella risker.