Bot

我建议使用这些浏览器插件来检查您是否确实阻止了您想要阻止的机器人程序：浏览器用户代理更改器插件。

侧注：不要只盲目添加这些文件，而不仔细查看它们并仔细检查，以确保您没有阻止您想要爬行网站的机器人；例如，这些文件会阻止“curl”、“python”、“perl”，甚至“SEMRush”-如果您使用这些文件阻止的机器人程序或服务，那么您不仅会阻止竞争对手使用这些服务查询您的域名，还会阻止您自己。我阻止了一切！​

--

robots.txt

首先是顶级robots.txt，“好的”机器人“应该”尊重这些：