Comment arrêter et bloquer le trafic de robots sur votre site web

**Réponse rapide :**Pour arrêter le trafic de robots, découvrez d'abord de quel type vous disposez, car le correctif diffère. Les robots qui accèdent à votre site, formulaires ou pages de connexion sont gérés sur le site Web : limitation de débit, pare-feu d'application Web (WAF), pots de miel, CAPTCHA ou service de gestion de robots. Les robots qui gonflent vos analyses doivent être filtrés et nettoyés. Les robots qui arrivent via des publicités payantes vous coûtent de l'argent et nécessitent des contrôles au niveau de la publicité et une enquête sur les clics. Ne vous fiez pas au fichier robots.txt : seuls les robots bien élevés le suivent. Et ne bloquez jamais les bons robots tels que les robots des moteurs de recherche. Divulgation : nous fabriquons JuicyTraffic, qui couvre uniquement la partie des clics payants. Essayez 200 clics gratuits sur JuicyTraffic →

Bons robots contre mauvais robots

Le trafic de robots est tout trafic généré par un logiciel automatisé plutôt que par des personnes. Certains robots sont utiles : les moteurs de recherche comme Google et Bing les utilisent pour indexer votre site, et les bloquer peut supprimer vos pages des résultats de recherche. Les bons robots s'identifient généralement honnêtement et suivent vos règles robots.txt. Les robots malveillants sont conçus pour exploiter : récupérer du contenu, remplir des informations d'identification, envoyer des formulaires de spam, surcharger les serveurs ou générer de faux clics et visites.

Trois problèmes de robots différents

La plupart des guides sur ce sujet sont rédigés par des fournisseurs de sécurité et des sociétés d'hébergement, et se concentrent sur la protection des serveurs. Si vous gérez un site marketing ou des campagnes payantes, vous pouvez rencontrer un problème différent :

Problème	A quoi ça ressemble	Où le réparer
Sécurité et chargement	Ralentissements du serveur, attaques de connexion, scraping, spam de formulaire	Bord et serveur du site Web
Pollution analytique	Pics de trafic, sources étranges, sessions de zéro seconde	Filtres d'analyse et sources de trafic
Gaspillage de trafic payant	Clics sur les annonces sans engagement ni conversion	Contrôles de la plateforme publicitaire et enquête sur les clics

Comment repérer le trafic de robots

Les signes d’avertissement comprennent :

Pics de trafic soudains sans campagne ni actualité correspondantes
Taux de rebond très élevés et temps de passage sur la page proche de zéro
Trafic provenant d'endroits que vous ne desservez pas ou à des heures irrégulières
Appels répétés sur les URL de connexion, de recherche, de paiement ou de formulaire
Chaînes d'agent utilisateur impaires ou manquantes dans les journaux du serveur
De nombreuses requêtes provenant de la même adresse ou du même réseau en peu de temps
Les clics sur la plateforme comptent bien plus que les visites enregistrées par votre site

Méthodes de blocage et là où elles échouent

Méthode	Ce que ça fait	Limites
robots.txt	Indique aux robots ce qu'ils ne doivent pas explorer	Les robots malveillants l'ignorent, il ne gère donc que les bons robots
Limitation du débit	Limite les demandes par adresse	Manque les robots distribués qui répartissent les requêtes sur de nombreuses adresses IP
Blocage IP	Bloque les mauvaises adresses connues	Les robots alternent les adresses et les adresses IP partagées peuvent bloquer de vraies personnes
WAF	Filtre les requêtes malveillantes avant qu'elles n'atteignent votre serveur	A besoin d'être ajusté et certains robots semblent légitimes
CAPTCHA	Défie les visiteurs suspects	Cela ajoute des frictions, et un guide du fournisseur note que les CAPTCHA, les WAF, la limitation de débit et les robots.txt ont chacun des limites importantes.
Champs de pots de miel	Champs de formulaire masqués que les robots remplissent	Arrête uniquement les robots simples
Règles du serveur (.htaccess, NGINX)	Bloquer rapidement les agents utilisateurs malveillants connus	Nécessite une maintenance et les agents utilisateurs peuvent être falsifiés
Service de gestion de robots	Détection comportementale en périphérie	Coûte de l'argent et nécessite une configuration
Authentification par jeton et limites de l'API	Protège les zones sensibles	S'applique aux applications et aux API

Une approche à plusieurs niveaux fonctionne mieux : aucun contrôle unique ne peut tout détecter.

Comment arrêter le trafic de robots (étape par étape)

Nommez le problème : sécurité, analyses ou dépenses publicitaires.
Vérifiez les journaux et les analyses du serveur. Examinez les adresses IP, les agents utilisateurs, les URL atteintes et le timing.
Protégez les formulaires et les connexions. Utilisez la validation, les pots de miel, les limites de débit et le CAPTCHA si nécessaire.
Ajouter une protection périphérique. Un WAF ou un service de gestion de robots peut bloquer de nombreux robots avant qu'ils n'atteignent votre serveur.
Autorisez les bons robots. Assurez-vous que les robots des moteurs de recherche et les outils de surveillance ne sont pas bloqués. Vérifiez qu’ils sont réels avant de les autoriser.
Nettoyez vos analyses. Google Analytics filtre par défaut les robots et les robots connus, selon la documentation de Google, mais les robots inconnus peuvent toujours passer, alors segmentez les sources suspectes et excluez le trafic interne. Consultez la documentation connue de Google sur l'exclusion du trafic de robots.
Gérer le trafic payant séparément. Voir la section suivante.
Mesurez le résultat, en comparant la charge du serveur, le spam des formulaires, le taux de rebond et le taux de conversion des annonces avant et après.
Révaluez régulièrement. Les robots changent de tactique.

Bots dans le trafic payant

Si les robots vous atteignent via des publicités, vous payez pour chaque clic, donc les bloquer sur votre site Web ne récupère pas ce coût. Contrôles courants :

**Exclure les IP dans Google Ads.**Plusieurs sources indiquent que Google autorise jusqu'à 500 IP exclues par campagne, qui peuvent être appliquées au niveau de la campagne ou du compte. Considérez la limite exacte comme quelque chose à confirmer dans l'aide de Google Ads.
**Connaissez les limites.**Les vendeurs de fraude au clic soulignent que les robots et les opérations frauduleuses s'effectuent via de nombreuses adresses, y compris les connexions résidentielles, de sorte que les listes IP statiques deviennent rapidement obsolètes. C'est le point de vue du fournisseur, mais cela correspond aux mécanismes de rotation des adresses IP.
**Excluez les emplacements et les sources médiocres,**et utilisez les contrôles géographiques là où cela est logique.
**Comparez les clics sur la plateforme avec votre propre suivi des pages vues.**Un plugin de clic publicitaire note que les robots qui n'exécutent pas JavaScript ne chargent jamais son tracker, donc un écart important entre les deux chiffres est en soi le signe d'un trafic invalide.
Signaler le trafic invalideà la plateforme publicitaire, ce qui peut créditer certains clics.
**Enquêtez sur les clics.**JuicyTraffic effectue cela sur vos pages de destination par campagne, source et emplacement, avec des preuves par clic sur le comportement, le réseau, l'appareil, les règles et la confiance. Il a besoin d’un lien de suivi et d’une sonde sur place. Il ne bloque pas les robots sur votre site Web et n'est pas un pare-feu, alors utilisez-le avec les contrôles ci-dessus. Démarrez avec 200 clics gratuits, sans carte de crédit →

Erreurs courantes

S'appuyer sur robots.txt pour arrêter les mauvais robots.
Bloquer tous les robots, y compris les moteurs de recherche.
Blocage des plages IP qui incluent de vrais clients.
Traiter le trafic des robots d'analyse et le gaspillage des clics payants comme le même problème.
Activer un CAPTCHA agressif qui nuit aux conversions réelles.
Ne pas mesurer avant et après.
Utiliser un seul contrôle et supposer que vous êtes protégé.

Liste de contrôle

Je sais si le problème vient de la sécurité, de l'analyse ou du trafic payant
Les bons robots sont autorisés et vérifiés
Les formulaires et les connexions bénéficient d'une protection à plusieurs niveaux
Un service de gestion WAF ou de bot couvre la périphérie, si nécessaire
Les sources d'analyse sont segmentées et nettoyées
Les rapports sur les exclusions d'annonces, les emplacements et les clics incorrects sont examinés.
Les résultats sont mesurés et révisés régulièrement

FAQ

**Comment puis-je arrêter le trafic des robots sur mon site Web ?**Identifiez le type de trafic des robots, puis superposez des protections telles qu'une limitation de débit, un WAF, des pots de miel, un CAPTCHA ou un service de gestion des robots.

**Le fichier robots.txt bloque-t-il les robots ?**Uniquement les robots qui le suivent. Les robots malveillants l'ignorent.

**Comment bloquer le trafic des robots dans Google Analytics ?**Segmenter et exclure les sources suspectes et le trafic interne. Les robots et araignées connus sont filtrés par défaut, alors consultez la documentation actuelle de Google pour plus de détails.

**Puis-je bloquer tous les robots ?**Non. Les moteurs de recherche et les outils de surveillance sont des robots que vous recherchez généralement.

**Comment puis-je empêcher les robots de cliquer sur mes annonces ?**Utiliser les exclusions de plateformes publicitaires, les contrôles de placement et géographiques, les rapports sur les clics incorrects et les enquêtes sur les clics.

**Le blocage IP est-il suffisant ?**Pas généralement. Les robots alternent les adresses et les adresses IP partagées peuvent attirer de vrais visiteurs.

Prochaines étapes

Arrêter le trafic des robots signifie choisir le bon contrôle pour le bon problème : protections des bords et des formulaires pour la sécurité, hygiène analytique pour les rapports, contrôles publicitaires et preuves de clic pour le trafic payant. Superposez-les, autorisez les bons robots et mesurez le résultat. Pour le côté clic payant, essayez les 200 clics gratuits de JuicyTraffic →

Pour une prochaine étape pratique, Comment arrêter le trafic factice et invalide sur votre site web.

Références officielles

À propos de l’auteur

Dylan Dan est le fondateur de JuicyTraffic. Depuis 15 ans, il se spécialise dans la publicité pour adultes et la prévention de la fraude publicitaire. Il aide les annonceurs à évaluer la qualité du trafic, à repérer les clics non valides et à protéger leurs budgets sur les réseaux publicitaires spécialisés.