Apache

Introduction

Apache HTTP服务器是一款流行的开源web服务器，它为开发人员提供了灵活性、强大功能和广泛支持。Apache服务器配置不是在一个单一的文件中进行的，而是通过模块化设计进行的，在模块化设计中，可以根据需要添加和修改新文件。在这个模块化设计中，您可以创建一个单独的站点或域，称为虚拟主机。

我建议使用这些浏览器插件来检查您是否确实阻止了您想要阻止的机器人程序：浏览器用户代理更改器插件。

侧注：不要只盲目添加这些文件，而不仔细查看它们并仔细检查，以确保您没有阻止您想要爬行网站的机器人；例如，这些文件会阻止“curl”、“python”、“perl”，甚至“SEMRush”-如果您使用这些文件阻止的机器人程序或服务，那么您不仅会阻止竞争对手使用这些服务查询您的域名，还会阻止您自己。我阻止了一切！​

--

robots.txt

首先是顶级robots.txt，“好的”机器人“应该”尊重这些：