GPTBotの巡回

  • このフォーラムに新しいトピックを立てることはできません
  • このフォーラムではゲスト投稿が禁止されています

投稿ツリー




前の投稿 - 次の投稿 | 親投稿 - 子投稿なし | 投稿日時 2023/8/21 8:22 | 最終変更
タツ  管理人   投稿数: 2413
最近、当弱小Webサイトのアクセス数が一挙に10倍以上に上がり驚いていました。原因を調べてみるとGPTBotのクローラー巡回でした。
このGPTBotは
引用:
https://platform-openai-com.translate.goog/docs/gptbot?_x_tr_sl=auto&_x_tr_tl=ja&_x_tr_hl=ja&_x_tr_pto=wapp
GPTBot ユーザー エージェントでクロールされた Web ページは、将来のモデルを改善するために使用される可能性があり、ペイウォール アクセスを必要とするソース、個人を特定できる情報 (PII) を収集することが知られているソース、またはポリシーに違反するテキストを含むソースを削除するためにフィルタリングされます。GPTBot がサイトにアクセスできるようにすると、AI モデルの精度が向上し、一般的な機能と安全性が向上します。以下では、GPTBot によるサイトへのアクセスを禁止する方法も紹介します。
従って、このクローラーの違いは他のクローラーが検索サイトに登録をするのに対して、AI モデルの精度の向上を目的としている点です。Webページとしてはメリットはあまり無いようです。

当Webページは多くの人に見てもらうこと、参考にしてもらうことを目的としていますので害がなくプライバシーが守られるのであれば特に拒否する必要もないかと考えています。もし正しく利用され発展に少しでも寄与できるのであれば特に問題はないと思います。

ここには拒否する方法としてrobots.textに記述する方法が書かれています。しかし、この方法を利用する場合、既存のXoops Cube Legacyのrobots.textに具体的にどう追加記述したらよいのかよく分かりません。試してはいませんが、ひょっとしたら以下をprotectorのIP拒否リストに列挙すると効果があるかも知れません。
20.15.240.64/28
20.15.240.80/28
20.15.240.96/28
20.15.240.176/28
20.15.241.0/28
20.15.242.128/28
20.15.242.144/28
20.15.242.192/28
40.83.2.64/28
投票数:5 平均点:4.00



     条件検索へ

旅と気ままなフォーラム最新投稿

欲しい商品が必ず見つかるメジャーなネットショップ

ログイン

オンライン状況

34 人のユーザが現在オンラインです。 - 1 人のユーザが 旅と気ままなフォーラム を参照しています。.

登録ユーザ 0 ゲスト 34

Facebook,RSSリンク表示

検索

アクセスカウンタ

今日 : 131
昨日 : 207
総計 : 1644563