島田比奈理さんが2024 9th International Conference on Intelligent Information TechnologyにてBEST PRESENTATION AWARDを受賞

ChatGPTの登場で、人間が記述したように自然な文章を生成する点が大きな話題となりました。その反面、文章生成技術の発展により大規模言語モデルが生成した文章（モデル生成文）と人間が記述した文章（人間記述文）を区別することが困難になっています。このことは、学生が作成した授業課題等がモデル生成文と疑われた場合に，学生に対する公正な評価に影響を与える可能性があります。この背景から、大規模言語モデルが生成した文章を検出するための研究を行っています。

研究内容

本研究では、前に出現した単語に基づいた指標である「対数尤度」と文章全体に基づいた指標である「埋め込みベクトル」を、複数の大規模言語モデルで計算するモデル生成文検出手法を提案しました。評価実験を通して、提案手法は既存の手法よりもよい性能を発揮するだけではなく、モデル生成文検出において両者の指標が有効であることがわかりました。

今後の展望

将来的には、実際の授業課題においてモデル生成文の検出を行うことが目標です。今後は、検出性能の向上や様々な分野のデータに対する検証を行っていきたいと考えています。