Chat, le chatbot IA avancé qui a révolutionné les recherches sur le Web et rationalisé les tâches de bureau, a malheureusement trouvé un nouveau métier en tant qu'arnaqueur sur les réseaux sociaux.
Le botnet, connu sous le nom de « Fox8 », a été découvert en activité sur une plateforme de réseau social plus tôt cette année par des chercheurs de l'Université d'Indiana à Bloomington. Le botnet, lié à plusieurs sites Web de crypto-monnaie, comprenait plus de 1,000 XNUMX comptes, dont beaucoup utilisaient Chat pour générer des publications et des réponses sur les réseaux sociaux. Le contenu créé par ces robots a été conçu pour inciter des utilisateurs innocents à cliquer sur des liens menant à des sites faisant la promotion de cryptomonnaies.
Micah Musser, un chercheur qui a étudié le potentiel de désinformation basée sur l'IA, prévient que le botnet Fox8 n'est peut-être que le début de ce à quoi nous pouvons nous attendre à mesure que les grands modèles de langage et les chatbots continuent de gagner en popularité.
Malgré sa vaste portée, le botnet n'utilisait pas Chat de manière très sophistiquée. Néanmoins, sa découverte a suscité des inquiétudes quant à la facilité avec laquelle des chatbots avancés comme Chat peuvent être exploités à des fins malveillantes. On craint que des botnets plus sophistiqués et moins détectables soient déjà en activité.
Filippo Menczer, professeur à l'Université d'Indiana à Bloomington qui a participé à la recherche, déclare : « La seule raison pour laquelle nous avons remarqué ce botnet particulier est qu'il était bâclé. » Il souligne que de « meilleurs » mauvais acteurs éviteraient probablement les erreurs commises par les créateurs du botnet Fox8.
OpenAI, l'organisation à l'origine de Chat, n'a pas encore commenté la découverte du botnet. Sa politique d'utilisation interdit formellement l'utilisation de ses modèles d'IA à des fins d'escroquerie ou de diffusion de fausses informations.
Les chatbots et autres chatbots avancés utilisent de vastes modèles de langage pour générer du texte en réponse à des invites. Grâce à des données d'entraînement suffisantes, à une puissance de calcul et aux retours de testeurs humains, ces bots peuvent répondre de manière incroyablement sophistiquée à diverses entrées. Cependant, ils peuvent aussi propager des discours haineux, afficher des préjugés sociaux et inventer des informations.
Un botnet bien configuré basé sur le chat serait difficile à identifier et pourrait tromper efficacement les utilisateurs et manipuler les algorithmes des réseaux sociaux. « Il trompe à la fois la plateforme et les utilisateurs », explique Menczer.
Les inquiétudes concernant l'utilisation abusive potentielle de technologies comme Chat pour des campagnes de désinformation ne sont pas nouvelles. OpenAI a même retardé la sortie d'un prédécesseur de Chat en raison de ces craintes.
William Wang, professeur à l'Université de Californie à Santa Barbara, affirme qu'il est crucial d'étudier ces utilisations criminelles concrètes du chat. Il estime que de nombreuses pages web de spam sont désormais générées automatiquement, ce qui rend leur élimination de plus en plus difficile.cult Il est difficile pour les humains de repérer ce genre de matériel. Et avec l’amélioration continue de l’IA, cela ne fera que devenir plus difficile. « La situation est assez mauvaise », conclut-il.