**快速回答：**要阻止机器人流量，请首先找出您拥有哪种机器人，因为修复方法不同。攻击您网站、表单或登录页面的机器人程序将在网站上进行处理：速率限制、Web 应用程序防火墙 (WAF)、蜜罐、验证码或机器人程序管理服务。夸大分析的机器人需要过滤和清理。通过付费广告到达的机器人会花费您金钱，并且需要广告级控制和点击调查。不要依赖 robots.txt：只有行为良有益机器人才会遵循它。并且永远不要阻止有益机器人，例如搜索引擎爬虫。 披露：我们制作 JuicyTraffic，仅涵盖付费点击部分。 尝试 200 次免费 JuicyTraffic 点击 →
有益机器人与恶意机器人
机器人流量是由自动化软件而不是人生成的任何流量。有些机器人很有用：Google 和 Bing 等搜索引擎使用它们来索引您的网站，阻止它们可以从搜索结果中删除您的页面。有益机器人通常会诚实地表明自己的身份并遵循您的 robots.txt 规则。不良机器人的目的是利用：抓取内容、撞库、批量提交垃圾表单、服务器超载或生成虚假点击和访问。
三种不同的机器人问题
有关此主题的大多数指南都是由安全供应商和托管公司编写的，他们专注于保护服务器。如果您运营营销网站或付费活动，您可能会遇到不同的问题：
| 问题 | 它看起来像什么 | 在哪里修复它 |
|---|---|---|
| 安全性和负载 | 服务器速度变慢、登录攻击、抓取、垃圾邮件 | 网站边缘和服务器 |
| 分析污染 | 流量高峰、奇怪的来源、零秒会话 | 分析过滤器和流量来源 |
| 付费流量浪费 | 无互动或转化的广告点击 | 广告平台控制和点击调查 |
如何发现机器人流量
警告标志包括：
- 没有匹配的活动或新闻，流量突然激增
- 非常高的跳出率和接近于零的页面停留时间
- 来自您不提供服务的地点或非正常时间的流量
- 重复点击登录、搜索、结帐或表单 URL
- 服务器日志中出现奇怪或缺失的用户代理字符串
- 短时间内来自同一地址或网络的许多请求
- 平台点击次数远高于您网站的访问记录
阻止方法及其不足之处
| 方法 | 它的作用 | 限制 |
|---|---|---|
| robots.txt | 告诉爬虫不要爬行什么 | 恶意机器人会忽略它，因此它只管理有益机器人 |
| 速率限制 | 每个地址的请求上限 | 错过了跨多个 IP 传播请求的分布式机器人 |
| IP封锁 | 阻止已知的错误地址 | 机器人轮换地址，共享 IP 可能会阻止真实的人 |
| WAF | 在恶意请求到达您的服务器之前对其进行过滤 | 需要调整，有些机器人看起来合法 |
| 验证码 | 挑战可疑访客 | 增加了摩擦，一位供应商指南指出 CAPTCHA、WAF、速率限制和 robots.txt 都有很大的限制 |
| 蜜罐字段 | 机器人填写的隐藏表单字段 | 仅停止简单的机器人 |
| 服务器规则（.htaccess、NGINX） | 尽早阻止已知的不良用户代理 | 需要维护，用户代理可以伪造 |
| 机器人管理服务 | 边缘行为检测 | 需要花钱并且需要配置 |
| 令牌身份验证和 API 限制 | 保护敏感区域 | 适用于应用程序和 API |
分层方法效果最好：没有一个控制措施可以捕获所有内容。
如何阻止机器人流量（逐步）
- 将问题命名为： 安全、分析或广告支出。
- 检查服务器日志和分析。 查看 IP、用户代理、URL 命中和计时。
- 保护表单和登录。 在需要时使用验证、蜜罐、速率限制和验证码。
- 添加边缘保护。 WAF 或机器人管理服务可以在许多机器人到达您的服务器之前阻止它们。
- 允许有益机器人。 确保搜索引擎爬虫和监控工具不被阻止。在允许之前验证它们是真实的。
- 清理你的分析。根据Google的文档， Google Analytics默认过滤已知的机器人和爬虫，但未知的机器人仍然可以通过，因此分段可疑来源并排除内部流量。 请参阅 Google 已知的机器人流量排除文档。
- 单独处理付费流量。 见下一节。
- **测量结果，**比较前后的服务器负载、垃圾邮件、跳出率和广告转化率。
- 定期查看。 机器人改变策略。
付费流量中的机器人
如果机器人通过广告访问网站，且点击未被平台过滤，可能产生费用；在网站上拦截访问本身不会追回已付费用。常用控制措施：
- **在Google Ads.**中排除IP 有多个消息来源称，谷歌允许每个广告系列最多500个排除的IP，这可以在活动或帐户级别应用。将确切的限制视为需要在 Google Ads 帮助中确认的内容。
- **了解限制。**点击欺诈供应商指出，机器人和欺诈操作会通过许多地址轮流进行，包括住宅连接，因此静态 IP 列表很快就会过时。这是供应商的观点，但它符合轮换 IP 的机制。
- **排除不良位置和来源，**并在有意义的地方使用地理控制。
- **将平台点击次数与您自己的页面浏览跟踪进行比较。**一个广告点击插件指出，不运行 JavaScript 的机器人永远不会加载其跟踪器，因此两个数字之间的巨大差距本身就是无效流量的标志。
- 向广告平台报告无效流量，可能会计入部分点击。
- **调查点击次数。**JuicyTraffic 按广告活动、来源和展示位置在您的落地页上执行此操作，并提供有关行为、网络、设备、规则和置信度的每次点击证据。它需要一个跟踪链接和一个网站端探针。它不会阻止您网站上的机器人，也不是防火墙，因此请与上述控制措施一起使用。 从200次免费点击开始，无需费用抵扣卡→
常见错误
- 依靠 robots.txt 来阻止恶意机器人。
- 阻止所有机器人，包括搜索引擎。
- 阻止包含真实客户的 IP 范围。
- 将分析机器人流量和付费点击浪费视为同一问题。
- 启用激进的验证码会损害真正的转化。
- 不测量之前和之后。
- 使用单个控制措施并假设您受到保护。
清单
- 我知道问题是安全性、分析还是付费流量
- 有益机器人是被允许并经过验证的
- 表单和登录具有分层保护
- 如果需要，WAF 或机器人管理服务可以覆盖边缘
- 分析源被分段和清理
- 审核广告排除、展示位置和无效点击报告
- 定期测量和审查结果
常见问题
**如何阻止网站上的机器人流量？**识别机器人流量的类型，然后分层保护，例如速率限制、WAF、蜜罐、验证码或机器人管理服务。
**robots.txt 是否会阻止机器人？**仅限跟随它的机器人。恶意机器人会忽略它。
**如何阻止 Google Analytics 中的机器人流量？**分段并排除可疑来源和内部流量。默认情况下会过滤已知的机器人和爬虫，因此请查看 Google 的当前文档以了解详细信息。
**我可以阻止所有机器人吗？**不能。搜索引擎和监控工具是您通常想要的机器人。
**如何阻止机器人点击我的广告？**使用广告平台排除、展示位置和地理控制、无效点击报告和点击调查。
**IP屏蔽够了吗？**通常不行。机器人轮换地址，共享 IP 可以捕获真正的访问者。
下一步
阻止机器人流量意味着针对正确的问题选择正确的控制：安全的边缘和表单保护、报告的分析卫生、广告控制以及付费流量的点击证据。将它们分层，允许有益机器人并衡量结果。对于付费点击端，尝试JuicyTraffic的200次免费点击→
对于下一步的实际操作，如何阻止网站上的虚假流量和无效流量。
官方参考资料
相关文章
作者介绍
Dylan Dan 是 JuicyTraffic 的创始人，拥有 15 年成人广告及广告欺诈防范经验，帮助广告主评估流量质量、识别无效点击，并保护在专业广告网络上的投放预算。