웹 검색에 혁명을 일으키고 사무 업무를 간소화해 온 첨단 AI 챗봇인 Chat은 불행히도 소셜 미디어 사기꾼이라는 새로운 직업을 찾았습니다.
"Fox8"로 알려진 봇넷은 올해 초 인디애나 대학 블루밍턴(Indiana University Bloomington)의 연구원들에 의해 소셜 네트워킹 플랫폼에서 작동하는 것이 발견되었습니다. 여러 암호화폐 웹사이트에 연결된 봇넷은 1,000개 이상의 계정으로 구성되었으며, 많은 계정이 이를 사용하고 있는 것으로 추정됩니다. 잡담 소셜 미디어 게시물과 응답을 생성합니다. 이러한 봇이 생성한 콘텐츠는 무고한 사용자가 암호화폐 홍보 사이트로 연결되는 링크를 클릭하도록 유도하도록 설계되었습니다.
AI 기반 허위 정보의 가능성을 연구한 연구원 Micah Musser는 대규모 언어 모델과 챗봇의 인기가 계속 높아지면서 Fox8 봇넷이 우리가 기대할 수 있는 것의 시작일 뿐일 수 있다고 경고합니다.
이 봇넷은 광범위한 범위에도 불구하고 Chat을 고도로 정교하게 활용하지는 않았습니다. 그럼에도 불구하고, 이 봇넷의 발견은 Chat과 같은 고급 챗봇이 악의적인 목적으로 쉽게 악용될 수 있다는 우려를 불러일으켰습니다. 더욱 정교하고 탐지가 어려운 봇넷이 이미 작동 중일 가능성이 제기되고 있습니다.
연구에 참여한 인디애나 대학교 블루밍턴 교수인 Filippo Menczer는 "우리가 이 특정 봇넷을 발견한 유일한 이유는 그들이 엉성했기 때문입니다."라고 말했습니다. 그는 '더 나은' 나쁜 행위자가 Fox8 봇넷 제작자가 저지른 실수를 피할 가능성이 높다고 강조합니다.
Chat을 운영하는 OpenAI는 아직 봇넷 발견에 대한 입장을 밝히지 않았습니다. OpenAI의 사용 정책은 사기 또는 허위 정보 유포에 AI 모델을 사용하는 것을 엄격히 금지하고 있습니다.
채팅 및 기타 고급 챗봇은 방대한 언어 모델을 사용하여 프롬프트에 응답하는 텍스트를 생성합니다. 충분한 훈련 데이터, 연산 능력, 그리고 인간 테스터의 피드백을 바탕으로 이러한 챗봇은 다양한 입력에 놀라울 정도로 정교한 방식으로 대응할 수 있습니다. 하지만 증오 발언을 유포하고, 사회적 편견을 드러내고, 정보를 조작할 가능성도 있습니다.
잘 구성된 채팅 기반 봇넷은 식별하기 어렵고, 사용자를 속이고 소셜 미디어 알고리즘을 조작할 수 있습니다. 멘처는 "이는 플랫폼과 사용자 모두를 속이는 행위입니다."라고 말합니다.
Chat과 같은 기술이 허위 정보 유포에 악용될 가능성에 대한 우려는 새로운 것이 아닙니다. OpenAI는 이러한 우려 때문에 Chat의 이전 버전 출시를 연기하기도 했습니다.
캘리포니아 대학교 산타바바라 캠퍼스의 윌리엄 왕 교수는 채팅의 실제 범죄 활용 사례를 연구하는 것이 중요하다고 말합니다. 그는 많은 스팸 웹페이지가 이제 자동으로 생성되어 점점 더 어려워지고 있다고 생각합니다.cult 인간이 그런 자료를 발견하기란 어렵습니다. 그리고 AI가 지속적으로 개선됨에 따라 더 어려워질 뿐입니다. 그는 "상황이 매우 나쁘다"고 결론지었습니다.