AI学習への利用拒否が、一般的な検索エンジンなどのクローラー向けの意思表示用ファイル、robots.txtを使ってできるようになったことについて僕の思う未来を書いてみます。
AIは世界の情報にタダ乗りしている
昨今のAIはwebの知見を勝手に吸い上げ、それを元に莫大なマネタイズが行われているとの指摘がありました。これはelastic serchなどのオープンソースのソフトウェアを使ってAWSなどのパブリッククラウドがそれを料金形態とともにパッケージ化して利用料を取っていることが物議を醸していたことにも似ていると思います。
確かにAIの返す回答はwebの知識を参照して答えるものです。それを学習、解釈して回答をすると言うサービスでお金を取っているわけです。
難しいのは人間が同じことをやっても何ら問題ないし、世の中のホワイトカラーの人たちはそれに準ずることをして常日頃から仕事をしています。
AIから学習されることを拒否できる世界
当然リソースをかけてwebに公開する情報を作り上げた側からすると、お礼も言われずにAIという商品に情報を吸い取られるのは癪なはずです。 最近はゼロクリック問題といって本来はwebページへの来訪の入口になるはずのGoogleの検索ページが、GoogleによるAI回答でユーザーのニーズを満たし、webページへの来訪をさせずにユーザーのアクションが終わってしまう現象が起きています。webサイト運営側からすれば自分たちのサイト内に来てもらえるというインセンティブを失うことになります。そうなるとAIが情報収集をしにくることは断りたくなるのが自然です。冒頭の話題に戻るが、従来は検索エンジンの情報収集ロボット(クローラー)への意思表示をするために配置されていたrobots.txtをAI学習を行うロボットに対しての意思表示にも使えるようになるという話題です。今まではllms.txtというAI向けの専用ファイルを置く流れになっていたが、わざわざ別の寄稿を持たせることもないという流れに変わってきたようです。さらにこれが加速すればWEBサイトを運営すること自体にメリットがなくなってしまいます。そうなるとWEBサイトは世の中から減っていってしまうのでしょうか。
サイト運営者のインセンティブ
僕自身も地域レポートというサイトを運営する立場でもあるので他人事ではありません。実際に用語解説的な文脈の一部の記事はAIの回答に言及されています。検索結果への露出数が高いのに来訪がほとんどない、つまりはGoogle検索のファーストビューのAI回答で満足して、ユーザーはサイトに来てくれていないということです。検索ページの1ページ目に出るべきコンテンツと評価を下されながらも送客はもらえていないことになります。
僕のサイトはこういったAIの回答が担う知識の収集を提供する記事が中心ではないのでアクセスは右肩上がりに伸びていますが、事実やナレッジを提供するのがメインのサイドでは目に見えてアクセスが減っています。
ユーザーからすると、WEBサイト見る必要はない、AIがあるから、という動きになります。しかし話はそれだけでは終わらないと思うんです。サイト運営者がヘソを曲げて誰も情報をWEBに公開しなくなったらAIはその情報源を失うことになります。WEBサイトだけが情報源ではないだろうが、AIがエージェンティックにリアルタイムで情報収集をして回答を作成していることは、普段AIを使う人であれば見ている光景だと思います。つまりAIがWEBからの情報を得続けるためにはWEBサイトの運営者側に何かしらインセンティブを与える必要があるのでは思うのです。僕の予想では、それはAIからの言及ごとに決まった報酬金額が発生する金銭プログラムのようなものか、もしくはAIの回答が参考にしたWEBサイトをPRするようなものになるのでないかと思っています。
まとめ
「ググる」ということができてから四半世紀近くが経ちましたが、人々が情報を得る手段がまた微妙に変わるのかもしれません。
人々が情報にアクセスするインターフェースは、直で体験することから文献や新聞、地上波や衛星を使ったメディア、そしてインタネット検索からAIへと形を変えていますが、その人独自の視点や体験などの情報を生み出すことには価値があり続けるのではないかと思います。
目まぐるしく色々なことが変わっていく時代ではありますが、本質について考えを巡らすことは楽しくもあるので、これからもアンテナを張って生活していきたいです。
ではでは( *｀ω´)ノ
