ウェブサイトのボットトラフィックを防ぎ、遮断する方法

**クイックアンサー:**ボットのトラフィックを停止するには、修正方法が異なるため、まずボットの種類を調べます。サイト、フォーム、またはログインページにアクセスしたボットは、レート制限、Web アプリケーションファイアウォール (WAF)、ハニーポット、CAPTCHA、またはボット管理サービスによって Web サイトで処理されます。分析を膨らませるボットにはフィルタリングとクリーンアップが必要です。有料広告を通じて到着するボットには費用がかかり、広告レベルの制御とクリック調査が必要です。 robots.txt に依存しないでください。これをフォローするのは行儀の良いボットだけです。また、検索エンジンクローラーなどの優れたボットを決してブロックしないでください。 開示: 有料クリック部分のみをカバーする JuicyTraffic を作成します。 無料で JuicyTraffic クリックを 200 回試す →

良いボット vs 悪いボット

ボットトラフィックとは、人間ではなく自動化されたソフトウェアによって生成されるトラフィックです。一部のボットは便利です。Google や Bing などの検索エンジンはそれらを使用してサイトのインデックスを作成し、ボットをブロックすると検索結果からページが削除される可能性があります。通常、優れたボットは自分自身を正直に識別し、robots.txt のルールに従います。悪質なボットは、コンテンツのスクレイピング、資格情報の詰め込み、フォームのスパム送信、サーバーの過負荷、偽のクリックや訪問の生成などを悪用するように構築されています。

3 つの異なるボットの問題

このトピックに関するガイドのほとんどはセキュリティベンダーやホスティング会社によって作成されており、サーバーの保護に重点を置いています。マーケティングサイトや有料キャンペーンを運営している場合は、別の問題が発生する可能性があります。

問題	どのように見えるか	どこを修正するか
セキュリティと負荷	サーバーの速度低下、ログイン攻撃、スクレイピング、フォームスパム	Web サイトのエッジとサーバー
分析汚染	トラフィックの急増、奇妙なソース、0 秒のセッション	分析フィルターとトラフィックソース
有料トラフィックの無駄	エンゲージメントやコンバージョンを伴わない広告クリック	広告プラットフォームのコントロールとクリック調査

ボットトラフィックを特定する方法

警告サインには次のようなものがあります。

一致するキャンペーンやニュースがないにもかかわらずトラフィックが突然急増する
非常に高い直帰率とページ滞在時間はほぼゼロ
サービスを提供していない場所からのトラフィック、または変な時間帯からのトラフィック
ログイン、検索、チェックアウト、またはフォーム URL での繰り返しヒット
サーバーログ内のユーザーエージェント文字列が奇数または欠落している
短期間に同じアドレスまたはネットワークからの多数のリクエスト
プラットフォームのクリック数はサイトの訪問数をはるかに上回っています

ブロック方法とその不足点

方法	何をするのか	限界
ロボット.txt	クローラーにクロールしてはいけないものを指示する	悪意のあるボットは無視するため、善良なボットのみを管理します
レート制限	アドレスごとのリクエストの上限	リクエストを多数の IP に分散させる分散ボットを見逃す
IPブロッキング	既知の不正なアドレスをブロックします	ボットはアドレスをローテーションし、共有 IP は現実の人々をブロックする可能性がある
WAF	悪意のあるリクエストがサーバーに到達する前にフィルタリングします。	調整が必要ですが、一部のボットは正規のものに見えます
キャプチャ	不審な訪問者に挑戦する	摩擦が加わり、あるベンダーガイドでは、CAPTCHA、WAF、レート制限、robots.txt にはそれぞれ重大な制限があると記載されています
ハニーポットフィールド	ボットが入力する非表示のフォームフィールド	単純なボットのみを停止します
サーバールール (.htaccess、NGINX)	既知の不正なユーザーエージェントを早期にブロックする	メンテナンスが必要、ユーザーエージェントは偽装される可能性がある
ボット管理サービス	エッジでの動作検出	お金がかかり、設定が必要
トークン認証とAPI制限	敏感な部分を保護します	アプリとAPIに適用されます

階層化されたアプローチが最も効果的です。単一のコントロールですべてをキャッチすることはできません。

ボットトラフィックを停止する方法 (ステップバイステップ)

問題名を入力してください: セキュリティ、分析、または広告費用。
サーバーのログと分析を確認します。 IP、ユーザーエージェント、URL のヒットとタイミングを確認します。
フォームとログインを保護します。 必要に応じて検証、ハニーポット、レート制限、CAPTCHA を使用します。
エッジ保護を追加します。 WAF またはボット管理サービスは、サーバーに到達する前に多くのボットをブロックできます。
善良なボットを許可します。 検索エンジンのクローラーと監視ツールがブロックされていないことを確認してください。許可する前に、それらが本物であることを確認してください。
Google のドキュメントによると、分析をクリーンアップします。 Google Analytics は、Google のドキュメントによると、デフォルトで既知のボットとスパイダーをフィルタリングしますが、未知のボットは依然として通過する可能性があるため、疑わしいソースをセグメント化して内部トラフィックを除外します。 Google の既知のボットトラフィック除外ドキュメントを参照してください。
有料トラフィックを個別に処理します。 次のセクションを参照してください。
**結果を測定し、**前後のサーバー負荷、フォームスパム、直帰率、広告コンバージョン率を比較します。
定期的にレビューしてください。 ボットは戦術を変更します。

有料トラフィックのボット

広告を通じてボットが到達した場合、クリックごとに料金が発生するため、Web サイトでボットをブロックしてもその費用は回収できません。共通のコントロール:

**Google Ads.**の IP を除外する複数の情報筋によると、Google ではキャンペーンごとに最大 500 個の除外 IP を許可しており、これはキャンペーンまたはアカウントレベルで適用できます。正確な制限は、Google Ads ヘルプで確認するものとして扱ってください。
**限界を知りましょう。**クリック不正ベンダーは、ボットや詐欺行為は住宅用接続を含む多くのアドレスを経由して行われるため、静的 IP リストはすぐに古くなってしまうと指摘しています。これはベンダーの視点ですが、IP をローテーションする仕組みと一致しています。
**不適切な配置やソースを除外し、**必要に応じて地理的コントロールを使用します。
**プラットフォームのクリック数と独自のページビュートラッキングを比較します。**ある広告クリックプラグインでは、JavaScript を実行しないボットはトラッカーを決して読み込まないため、2 つの数値間の大きなギャップ自体が無効なトラフィックの兆候であると指摘しています。
無効なトラフィックを広告プラットフォームに報告します。これにより、一部のクリックがクレジットされる可能性があります。
**クリックを調査します。**JuicyTraffic は、ランディングページ上でキャンペーン、ソース、プレースメント別に調査を行い、行動、ネットワーク、デバイス、ルール、信頼度に関するクリックごとの証拠を提供します。追跡リンクとオンサイトプローブが必要です。これは Web サイト上のボットをブロックせず、ファイアウォールでもないため、上記のコントロールと併用してください。 200無料クリックでスタート、クレジットカード不要→

よくある間違い

robots.txt を利用して悪質なボットを阻止します。
検索エンジンを含むすべてのボットをブロックします。
実際の顧客を含む IP 範囲をブロックします。
分析ボットのトラフィックと有料クリックの無駄を同じ問題として扱います。
実際のコンバージョンを損なう攻撃的な CAPTCHA を有効にします。
前後の計測は行っておりません。
単一のコントロールを使用し、保護されていると想定します。

チェックリスト

問題がセキュリティ、分析、または有料トラフィックのいずれであるかはわかっています
優れたボットは許可され、検証されます
フォームとログインは多層保護されています
必要に応じて、WAF またはボット管理サービスがエッジをカバーします
分析ソースはセグメント化されクリーンアップされます
広告の除外、配置、無効なクリックのレポートが確認されます
結果は定期的に測定され、レビューされます

よくある質問

**Web サイトでボットトラフィックを停止するにはどうすればよいですか?**ボットトラフィックのタイプを特定し、レート制限、WAF、ハニーポット、CAPTCHA、ボット管理サービスなどの保護を階層化します。

**robots.txt はボットをブロックしますか?**それをフォローするボットのみ。悪意のあるボットはこれを無視します。

**Google Analytics でボットトラフィックをブロックするにはどうすればよいですか?**疑わしいソースと内部トラフィックをセグメント化して除外します。既知のボットとスパイダーはデフォルトでフィルタリングされるため、詳細については Google の現在のドキュメントを確認してください。

**すべてのボットをブロックできますか?**いいえ。検索エンジンと監視ツールは通常、必要なボットです。

**広告をクリックするボットを停止するにはどうすればよいですか?**広告プラットフォームの除外、配置と地理的管理、無効なクリックレポート、クリック調査を使用します。

**IP ブロックは十分ですか?**通常はそうではありません。ボットはアドレスをローテーションし、共有 IP で実際の訪問者を捕まえることができます。

次のステップ

ボットトラフィックを阻止するということは、セキュリティのためのエッジとフォームの保護、レポートのための分析衛生、有料トラフィックのための広告コントロールとクリック証拠など、適切な問題に対して適切なコントロールを選択することを意味します。それらを階層化し、優れたボットを許可し、結果を測定します。有料クリック側は、JuicyTrafficの無料クリック200回を試す→

実践的な次のステップについては、ウェブサイトの偽装トラフィックと無効トラフィックを防ぐ方法をお読みください。

公式参考資料

著者紹介

Dylan Dan は JuicyTraffic の創設者です。アダルト広告と広告不正対策を15年間専門としており、広告主によるトラフィック品質の評価、無効クリックの特定、専門広告ネットワークでの広告予算の保護を支援しています。