当前位置:主页 > SEO技术 > SEO教程 >

怎么使用robots.txt屏蔽搜索引擎?

发布时间:2021-05-13 10:43   浏览次数:次   作者:admin

  有时开发人员希望将自己的网站或特定页面隐藏在搜索引擎结果中,在这种情况下,robots.txt可用于阻止搜索引擎蜘蛛访问网站。下面小编带你一起来看看相关内容。

  首先,创建一个robots.txt文件,可以使用FTP客户端将该文件上传至所属网站的根目录下。

怎么使用robots.txt屏蔽搜索引擎?

  然后,编辑robots.txt

  每个搜索引擎都有自己的抓取工具(user-agen),在robots.txt中,您可以指定抓取工具User-agent。互联网有数百个爬虫,但最常见的是:

  Googlebot、Yahoo!Slurp、bingbot、AhrefsBot、Baiduspider、Ezooms、MJ12bot、YandexBot等。

  例如,如果想阻止百度抓取工具访问正规网站,则可以使用以下规则编辑robots.txt:

  User-agent:Baiduspider

  Disallow:/

  如果要阻止所有搜索引擎抓取工具,可以使用*作为通配符:

  User-agent:*

  Disallow:/

  如果要阻止搜索引擎爬网程序仅访问特定文件或文件夹,则使用类似语法,但是,需要指定文件或文件夹的名称。假设我们想阻止搜索引擎抓取工具仅访问文章文件夹(articles)和private.php文件。在这种情况下,robots.txt文件的内容应如下所示:

  User-agent:*

  Disallow:/articles/

  Disallow:/private.php

  完成编辑robots.txt文件后,保存更改,并上传至网站的根目录下。可以在浏览器搜索栏中输入,域名/robots.txt进行查看。