WordPress如何配置robots文件，WP网站配置robots规则

今天我们讲下word press网站应该如何配置robots文件，我们该如何正确的配置robots规则

要想做好SEO网站优化，robots文件配置规则也是非常重要的，robots文件可以告诉搜索引擎蜘蛛网站的哪些部分内容可以抓取，哪些部分不可以抓取。

word press网站有太多多相同内容的页面，这些相同页面如果不被屏蔽抓取的话，对我们的网站收录和排名影响会很大

我们先来说下相同页面对网站的影响

1.这些相同页面如果不屏蔽蜘蛛抓取的话，对网站排名会有很大的影响，相同页面内容被蜘蛛抓取收录，首先我们站点的权重会分散到这些页面，相同的页面有一个收录就可以了，收录太多除了分散权重，别的没有任何用处

2如果网站有很多相同内容的页面搜索蜘蛛会认为这两个页面是抄袭或者采集的内容，有可能会给页面降权，收录但是不排名。

3.网站有太多的相同页面，会浪费蜘蛛的抓取频次，蜘蛛本来就来网站的次数少，再抓取一些相同的页面，还不如让蜘蛛去多抓取一些有用的页面。

另外我们还需要屏蔽蜘蛛爬取网站后台，以免暴露我们的后台，还有一些不想被蜘蛛抓取的页面，配置robots规则都能很好的解决

下面是我word press网站的robots配置规则，并标注上配置的原因，便于大家理解和采纳某些配置到自己网站上。

User-agent: *

(开始配置所有搜索引擎蜘蛛)

Disallow: /wp-admin/

(禁止蜘蛛抓取后台)

Disallow: /wp-includes/

(禁止抓取这个目录)

Disallow: /wp-content/plugins

(禁止蜘蛛抓取插件页面)

Disallow: /wp-content/themes

(禁止蜘蛛抓取模板页面)

Disallow: /feed

(禁止蜘蛛抓取的重复页面内容)

Disallow: /*/feed

(禁止蜘蛛抓取的重复页面内容)

Disallow: /*/*/feed

(禁止蜘蛛抓取的重复页面内容)

Disallow: /tag

(禁止蜘蛛抓取的重复页面内容)

Disallow: /page

(禁止蜘蛛抓取的重复页面内容)

Disallow: /*/page

(禁止蜘蛛抓取的重复页面内容)

Disallow: /category

(这个是禁止蜘蛛抓取文章归档，这里大家可以不用配置)

Disallow:/*?*

(禁止蜘蛛抓取所有带参数的内容，可以防止蜘蛛爬取乱七八糟的页面,网站是伪静态才需要配置这条，如果文章页链接带参数会导致屏蔽蜘蛛抓取文章)

Sitemap: http://www.wangergou.com/sitemap.xml

(网站地图的链接)

本文原创为二狗资源网，未经允许，禁止转载