ChatGPT 盗作を検出する方法 – そしてそれが非常に困難になっている理由

チャットボットは今注目のアイテムであり、 ChatGPT はその中でも主要な存在です。しかし、その応答が非常に強力で人間らしいため、学者、教育者、編集者は皆、AI によって生成される盗作や不正行為の増加傾向に対処しています。古い盗作検出ツールでは、本物と偽物を嗅ぎ分けるのに十分ではない可能性があります。

この記事では、AI チャットボットのこの悪夢のような側面について少し話し、いくつかのオンライン盗作検出ツールを確認し、状況がどれほど悲惨になっているかを探ります。

豊富な検出オプション

スタートアップ OpenAI の ChatGPT の最新の 2022 年 11 月リリースは、基本的にチャットボットの能力に脚光を当てました。これにより、一般のジョー (または専門家) であれば誰でも、スマートでわかりやすいエッセイや記事を作成し、テキストベースの数学問題を解決できるようになりました。知識のない、または経験の浅い読者にとって、AI が作成したコンテンツは簡単に正当な文章として通用します。だからこそ、生徒はそれを好んでおり、教師はそれを嫌っています。

AI ライティング ツールの大きな課題は、コンテンツ自体がデータベースから取得されたものであっても、自然言語と文法を使用してユニークでほぼ個別化されたコンテンツを構築するという両刃の剣の能力です。つまり、AI ベースの不正行為を打破する競争が始まっているということです。ここでは、現在無料で利用できるいくつかのオプションを見つけました。

GPT-2 Output Detector は、 チャットボット テキストを検出できるボットがあることを実証するために、ChatGPT 開発者の OpenAI から直接提供されました。 Output Detector は使いやすいです。ユーザーはテキスト フィールドにテキストを入力するだけで、ツールはテキストが人間から送信されたものであるかどうかの可能性をすぐに評価します。

クリーンな UI を備えたさらに 2 つのツールは、 Writer AI Content Detector と Content at Scale です。 URL を追加してコンテンツをスキャンするか (ライターのみ)、テキストを手動で追加できます。結果には、コンテンツが人為的に生成されたものである可能性を表すパーセンテージ スコアが与えられます。

GPTZero は、 Streamlit でホストされ、プリンストン大学の学生 Edward Zen によって作成された自作のベータ ツールです。 「アルギアリズム」（AI支援盗作）モデルが結果を提示する方法が他のモデルとは異なります。 GPTZero はメトリクスを複雑さとバースト性に分割します。バースト性はテキスト内のすべての文の全体的なランダム性を測定し、パープレキシティは文内のランダム性を測定します。このツールは両方の指標に数値を割り当てます。数値が小さいほど、テキストがボットによって作成された可能性が高くなります。

楽しみのために、MIT-IBM Watson AI Lab と Harvard Natural Language Processing Group の研究者によって開発された Giant Language Model Test Room (GLTR) を含めました。 GPTZero と同様に、最終結果を「人間」か「ボット」かの明確な区別として提示しません。ボットは予測できない単語を選択する可能性が低いため、GLTR は基本的にボットを使用して、ボットによって書かれたテキストを識別します。したがって、結果は色分けされたヒストグラムとして表示され、AI が生成したテキストと人間が生成したテキストがランク付けされます。予測できないテキストの量が多ければ多いほど、そのテキストは人間からのものである可能性が高くなります。

彼らをテストする

これらすべてのオプションを考慮すると、AI 検出に関しては有利な状況にあると思われるかもしれません。しかし、これらの各ツールの実際の有効性をテストするために、自分で試してみたいと思いました。そこで、私が同様に提起した質問 (この場合は ChatGPT) に答えて書いたサンプルの段落をいくつか実行しました。

私の最初の質問は単純なものでした。なぜプレビルド PC の購入が嫌われるのでしょうか?以下は、私自身の回答と ChatGPT からの回答を比較したものです。

ご覧のとおり、これらのアプリのほとんどは私の言葉が本物であることを判断でき、最初の 3 つが最も正確でした。しかし、ChatGPT は、その応答によってこれらの検出アプリのほとんどを騙してしまいました。まず、Writer AI Content Detector アプリでは 99% が人間であると評価され、GPT ベースの検出器ではわずか 36% が偽物とマークされました。 GLTR が最大の犯罪者で、私自身の言葉も ChatGPT の言葉と同じように人間によって書かれた可能性が高いと主張しました。

しかし、もう一度試してみることにしました。すると、今度はレスポンスが大幅に改善されました。私は ChatGPT に、金粒子を使用した曇り止めに関するスイス連邦工科大学の研究の概要を提供するよう依頼しました。この例では、検出アプリは私自身の応答を承認し、ChatGPT を検出するという点ではるかに優れた仕事をしました。

上位 3 つのテストは、この応答においてその強さを実際に示しました。そして、GLTR はまだ私自身の文章を人間として見るのに苦労していましたが、少なくとも今回は ChatGPT をうまくキャッチしました。

閉鎖

各クエリの結果から、オンラインの盗作検出機能が完璧ではないことは明らかです。より複雑な回答や文章 (2 番目のプロンプトの場合など) の場合、これらのアプリは AI ベースの文章を検出するのが少し簡単ですが、単純な応答を推測するのははるかに困難です。しかし、明らかに、それは信頼できるものとは言えません。場合によっては、これらの検出ツールが記事やエッセイを ChatGPT によって生成されたものとして誤分類することがあります。これは、不正行為者を捕まえるためにこれらの検出ツールに依存したいと考えている教師や編集者にとっては問題です。

開発者は常に精度と誤検知率を微調整していますが、GPT-2 (ChatGPT のトレーニング元) よりも大幅に改善されたデータセットとより複雑な機能を宣伝する GPT-3 の登場にも備えています。

現時点では、AI によって生成されたコンテンツを識別するために、編集者と教育者は、これらの AI 検出器の 1 つ (または複数) を使用して、賢明さと少しの人間の直感を組み合わせる必要があります。また、Chatsonic、ChatGPT、Notion、YouChat などのチャットボットを使用している、または使用しようとしているチャットボット ユーザーは、自分の「作品」を正当なものとして伝えることはやめてください。ボットによって作成されたコンテンツ (データベース内の固定ソースをソースとする) を再利用することは、どう考えても盗作です。

「 ChatGPT 盗作を検出する方法 – そしてそれが非常に困難になっている理由」についての動画選定！