ウェブサイトがあなたが人間ではないと認識する方法
おそらく皆さんも、自分が人間であることを証明するよう求めるウェブサイトに遭遇したことがあるでしょう。しかし、そもそもウェブサイトはどのようにしてあなたを不審者と判断するのでしょうか?その答えは、CAPTCHA認証だけにとどまりません。
ウェブサイトを閲覧し、いつものようにページを次々とクリックしていると、突然、自分が人間であることを確認するよう求められます。
少し奇妙な体験です。あなたは明らかに人間ですが、裏でシステムがあなたのリクエストをより詳しく調査する必要があると判断したようです。
一体何が疑わしいと判断されたのでしょうか?
ウェブ開発者として、私はこの問題に特に興味を持っています。なぜなら、人間と自動化されたプログラムを確実に区別する方法が一つもないからです。
ウェブサイトは、複数のシグナルを収集し、それらのシグナルの組み合わせに基づいて判断を下します。
ブラウザは、あなたが想像する以上に多くの情報を公開しています。
ウェブサイトにアクセスするたびに、ブラウザはサーバーに情報を送信します。その一部は、ウェブサイトが正しく機能するために必要なものです。
IPアドレス、HTTPヘッダー、ブラウザの種類、優先言語などは、ほんの一例です。
JavaScriptを使用すると、ウェブサイトは画面解像度、タイムゾーン、サポートされている機能、グラフィック機能など、ブラウザの特定の特性も把握できます。
これらの情報は個々には特に珍しいものではありません。しかし、これらが組み合わさると、「ブラウザフィンガープリント」と呼ばれるものが形成されます。
指紋は必ずしも固有のものではなく、永続的なものでもありませんが、セキュリティシステムがブラウザの特性を認識し、不整合を検出するのに役立ちます。
人間の行動は驚くほど一貫性がありません。
普段ウェブサイトを閲覧する際の様子を考えてみてください。
段落を読み、少し立ち止まり、スクロールダウンし、別のタブを開き、何もクリックせずにマウスを動かすかもしれません。
あなたの行動は、完全に予測可能なスケジュールに従うわけではありません。
一方、自動化されたプログラムは、通常のブラウジングに伴うような中断なしに、一定の間隔でリクエストを送信したり、何百ものページを次々と閲覧したりすることがあります。
一部のボット検出システムは、次のようなパターンを分析します。
-
受信リクエストの頻度
-
ユーザー操作のタイミング
-
マウス、タッチ、スクロールの操作
-
複数のページにわたるナビゲーションパターン
-
特定のエンドポイントへの繰り返しリクエスト
これらのシグナルはどれも決定的なものではありません。人間は予測可能な行動をとることができ、高度な自動化システムは人間の行動の一部を模倣することができます。
これが検出を困難にしている理由です。
サーバーは別の側面も把握している
ブラウザの挙動は全体像の一部に過ぎません。
バックエンドでは、エンジニアはユーザーには必ずしも見えない情報、例えばリクエスト頻度、セッション履歴、IPレピュテーション、異常なアクセスパターンなどを監視できます。
例えば、通常の訪問者が数分以内に10個の商品ページを開くようなECサイトを考えてみましょう。
では、同じ時間内に何千もの商品ページをリクエストするクライアントを想像してみてください。
個々のリクエストがすべて正当に見えても、全体的なパターンから自動的なデータ収集を示唆する可能性があります。
バックエンドシステムは、レート制限を適用したり、リクエストを一時的に制限したり、追加の認証を要求したりすることで対応できます。
例えば、HTTP 429エラーは、クライアントが一定期間内にリクエストを送信しすぎたことを示します。
興味深いのは、リクエスト自体が悪意のあるものである必要はないということです。リクエストの量とタイミングだけで、追加の調査が必要となる場合もあります。
CAPTCHAが依然として存在する理由
最新のボット検出は、多くの場合、訪問者が何も気づかないうちに行われます。
Cloudflare TurnstileやGoogle reCAPTCHAといったサービスは、追加の認証が必要かどうかを判断する前に、様々なシグナルを評価できます。
システムが十分な確信を持てない場合、認証画面が表示されることがあります。
そのため、同じウェブサイトにアクセスした2人が全く異なる体験をする可能性があるのです。一方はすぐにアクセスできるのに、もう一方は認証画面が表示されるといった具合です。
システムは必ずしもユーザーの身元を特定しようとしているわけではありません。リクエストに伴うリスクを評価しようとしているのです。
すべてのボットが悪質なわけではありません。
ボット検出がより複雑になるのは、まさにこの点です。
検索エンジンのクローラー、ウェブサイト監視ツール、アクセシビリティソフトウェア、自動テストフレームワークなどは、正当な目的で自動トラフィックを生成する可能性があります。
すべての自動リクエストをブロックすると、不必要な問題が生じます。
適切に設計されたセキュリティシステムは、有益な自動化、疑わしいアクティビティ、そして真に有害なトラフィックを区別する必要があります。
また、VPNを使用している、ブラウザの設定が通常と異なる、あるいはウェブサイトとのやり取りの仕方が異なるといった理由だけで、正当なユーザーをブロックしてしまうことも避けなければなりません。
セキュリティに関する決定には、トレードオフが伴います。
バックエンドエンジニアの視点から見てみましょう。
もし私がWebアプリケーションのボット対策を設計するとしたら、単一の検出メカニズムだけに頼ることはしません。
まずは基本的なレート制限、リクエストログ、セッション管理から始めます。そこから、アカウント作成、認証、決済といった機密性の高い操作については、追加のブラウザシグナルやリスク評価を検討します。
そして最も重要なのは、誤検知を監視することです。
正当なユーザーがアプリケーションを使用できないようにするセキュリティシステムは、別の種類の問題を引き起こします。
目標は、すべての異常なリクエストをブロックすることではありません。アプリケーションを不必要に使いにくくすることなく、保護することです。
次にWebサイトで「あなたは人間ですか?」と聞かれたら、
その小さな認証画面は、はるかに大きなエンジニアリング上の問題を象徴しています。
その背後には、ネットワーク、ブラウザ技術、行動分析、バックエンドインフラストラクチャ、そして許容リスクに関する判断が存在します。
そして、これほどの技術を駆使しても、Webサイトはすべての訪問者が人間であるかどうかを完全に確実に判断することはできません。
できるのは、より精度の高い推定を行うことだけです。
それがおそらく、このシステム全体の中で最も興味深い部分だろう。