AIを使って科学論文を偽造してみたらこうなった

学術出版業界ではAIによって大量生産された低品質なコンテンツ、いわゆる「AIスロップ」が問題視されつつあります。科学技術系フリーライターの ベンジャミン・スクーゼ 氏はAIツールを用いて偽造論文を生成する実証実験を通じ、学術出版システムの未来に関する考察を行いました。

2025年には発表された学術論文の推定57％に大規模言語モデル(LLM)の影響がみられるようになると予測されており、2023年には12％だったことを考慮すると大幅な増加であるといえます。さらに2025年にはNature Communicationsのレビューの12％以上が完全にAIによって生成されたものであることが判明しています。

2025年に発表されたAI利用と考えられる論文と正式にAI利用を開示した論文の比率は40:1だったという 調査結果 も報告されています。AIの使用開示が控えめな現状を考慮すると、実際にはさらに多くの論文でAIが利用されている可能性もあります。

AIスロップの現状についてIEEEの研究誠実性マネージャーは「科学的記録だけでなく、科学全体が脅威にさらされている」と警鐘を鳴らし、「AIスロップは科学への信頼と、私たちが何世紀にもわたって築き上げてきたあらゆる科学プロセスを完全に侵食している」とも述べています。

スクーゼ氏は「AIツールを用いて、実際には行われていない研究を記述した説得力のある論文を作成できるか」という疑問を検証するため、「バイブコーディング」のアイデアを借りて、LLMに最小限の入力で仮説・コード・テキストを生成するよう指示して論文を作成する「バイブリサーチ」の実験を行いました。

実験は2段階で行われ、まずは無料版のChatGPTとGeminiを使用して「 光ソリトン 」をテーマにした論文を作成しました。「特別なAI専門知識を持たない人間」によるAI生成という条件を設け、LLMだけで可能な限り論文を作成させ、出力を直接編集したりAIプロンプトの専門エンジニアの助けを求めたりはしない方針としました。

AIに論文の各セクションを個別に生成させ、一方のLLMが拒否しても別のLLMに切り替え、さらにプロンプトを工夫することで、最終的に20回以上のプロンプトによりIEEE Accessのスタイルに沿った論文が完成しました。AIが生成した論文は一見すると説得力があり、明確な「AIらしさ」は見られませんでした。AIが生成した文書にみられる「曖昧な言い回し」「物事を3つにまとめる傾向」「定型的な接続詞の使用」といった特徴はあったものの、直ちにAIによるものと断定できるほどではなかったとのこと。

作成された偽造論文をIEEE Accessに投稿したところ、自動化された誠実性チェックにより偽造または検証不可能な参考文献、いわゆる「架空引用」が検出されました。Gemini自身に検証させてみても、論文の特定の記述を裏付けるために7つの「現代のLLM関連の研究参考文献」が偽造されていると報告されました。さらに、研究誠実性チェッカーでも多数の架空引用が検出され、典型的な偽造の痕跡が見られました。また専門家からの指摘で「論文の数学的記述が詳しすぎる」「要約で略語が過剰に使用されている」「物理学的に断定しているが議論の余地が残されている」などが挙げられました。結論として、AIの専門知識がないアマチュアでも表面上もっともらしく見える論文を作成できるものの、出版社の自動防御システムや査読者の目を現時点でごまかすのは困難であることが示されました。

ただし、手放しで科学出版システムのチェック体制の勝利と言えるかについては疑問が残りました。汎用のLLMを使用して特別なプロンプトの専門知識を持たなくても、これまでに実現したことのない研究から表面的にはもっともらしい科学論文をなんとか作り上げられることが実証できたことから、より高度なLLMを用いれば、あっさりと見破られるような愚は犯さない可能性があります。

実験の第2弾は、研究自体を自律的に行うAIシステムである FARS (Fully Automated Research System) を活用しました。FARSはエージェント型AIオーケストレーションシステムであり、アイデア出し・計画・実験の実施・執筆に4つの特殊なエージェントを使用し、タスクを自律的に実行するように設計されています。前回と同様に「LLM支援型光ソリトンダイナミクスモデリング」というテーマで論文を作成するようFARSに指示しました。

FARSは21分で非常に詳細な文献レビューに基づいた研究提案書を作成、実験を実行して投稿可能な最終論文の生成までを1日で完了させました。一見すると、生成された論文は明らかに人間が書いたもののように見える出来栄えであったものの、IEEE Accessへの投稿はまたしてもリジェクトされました。具体的にはFARSが生成した論文は参考文献のほとんどが査読前のプレプリントであったことをIEEE Accessは問題視したそうです。さらに、論文中の図に無意味なラベルが付いた線があったりランダムなドットが含まれていたりと、随所にAI生成の痕跡が見つかりました。

実験を通じ、AIが単に論文を偽造するだけでなく、研究プロセスそのものを変容させる可能性が示唆されました。FARSのような自動化された研究システムは、人間という科学的発見のボトルネックを解消し、将来的には「生きた知識グラフ」のような形になる可能性も指摘されています。人間の役割についても、実験の実施から自動化された出力の検証やレビューへと変化する可能性があります。査読プロセスも変化し、AIが再現性チェックや統計的検証などを担当し、人間は「この研究は重要か？」というより高度な問いに集中することになるかもしれません。

一方でAIの利用は避けられないものであり、研究の進歩を妨げるべきではないという意見もあります。重要なのは、研究が「信頼でき、再現可能か」という点であり、AIを利用して発見に至るプロセスを証明する必要が出てくる可能性もあります。既にブロックチェーン技術などを活用してデータの信頼性を保証する試みも始まっています。

一連の実験の結果は、AIと人間の区別がますます困難になる世界において、従来の科学のあり方が通用しなくることを示しているといえます。科学者と出版社は「何が正当な科学的研究に当たるか」を判断することが「明らかな不正行為の検知」よりもさらに困難になるかもしれない世界に適応しなければならないとスクーゼ氏は述べています。

You can read the machine translated English article This is what happens when you use AI to … .

本文の著作権はGigazineにあります。