ウェブ検索に革命を起こし、オフィス業務を効率化してきた高度な AI チャットボット「Chat」が、残念ながらソーシャルメディア詐欺師という新たな仕事を見つけてしまった。
「Fox8」として知られるこのボットネットは、今年初めにインディアナ大学ブルーミントン校の研究者によってソーシャル ネットワーキング プラットフォーム上で動作していることが発見されました。 このボットネットは複数の仮想通貨 Web サイトにリンクされており、1,000 を超えるアカウントで構成されており、その多くが次のアカウントを使用していると考えられています。 チャット ソーシャルメディアへの投稿や反応を生成するため。 これらのボットによって作成されたコンテンツは、無実のユーザーを誘惑して、暗号通貨を宣伝するサイトにつながるリンクをクリックさせるように設計されていました。
AIによる偽情報の可能性を研究している研究者のミカ・マッサー氏は、大規模な言語モデルやチャットボットの人気が高まり続ける中で、Fox8ボットネットは私たちが期待できるものの始まりに過ぎないかもしれないと警告している。
このボットネットは、その広範な範囲にもかかわらず、Chatを高度に巧妙に利用していませんでした。しかしながら、このボットネットの発見により、Chatのような高度なチャットボットが悪意ある目的に容易に悪用される可能性に対する懸念が高まっています。より高度で検知が困難なボットネットが既に運用されている可能性も懸念されています。
この研究に携わったインディアナ大学ブルーミントン校のフィリッポ・メンツァー教授は、「私たちがこの特定のボットネットに気づいた唯一の理由は、彼らがずさんだったからです」と述べています。 同氏は、「より優れた」悪役であれば、Fox8 ボットネットの作成者が犯した間違いを回避する可能性が高いと強調しています。
Chatを運営するOpenAIは、このボットネットの発見についてまだコメントを発表していない。OpenAIの利用ポリシーでは、詐欺や偽情報の拡散にAIモデルを使用することを厳しく禁じている。
チャットボットやその他の高度なチャットボットは、大規模な言語モデルを用いて、プロンプトに応じたテキストを生成します。十分な学習データ、計算能力、そして人間のテスターからのフィードバックがあれば、これらのボットは様々な入力に対して驚くほど洗練された方法で応答することができます。しかし、ヘイトスピーチを拡散したり、社会的偏見を露呈させたり、情報を捏造したりする可能性もあります。
巧妙に構成されたチャットベースのボットネットは特定が困難で、ユーザーを巧みに欺き、ソーシャルメディアのアルゴリズムを操作する可能性があります。「プラットフォームとユーザーの両方を騙すのです」とメンツァー氏は言います。
Chatのような技術が偽情報キャンペーンに悪用される可能性に対する懸念は、今に始まったことではありません。OpenAIはこうした懸念から、Chatの前身となるツールのリリースを延期したほどです。
カリフォルニア大学サンタバーバラ校のウィリアム・ワン教授は、チャットの犯罪における実際の利用を研究することが非常に重要だと述べています。彼は、多くのスパムウェブページが現在では自動的に生成されており、その特定がますます困難になっていると考えています。cult 人間がそのような素材を見分けるのは困難です。そして、AI が継続的に進化しているため、ますます困難になるでしょう。「状況はかなり悪いです」と彼は結論付けています。