请选择 进入手机版 | 继续访问电脑版

禁止百度以外的搜索引擎抓取 、熊掌号MIP页面的robots.txt写法 ...

2018-3-24 15:21:39| 发布者: 熊掌专家团| 查看: 1405| 评论: 0

为什么要禁止其他搜索引擎抓取



MIP页面是一套特殊的代码结构,在原先的H5代码上进行了升级,借助百度的底层框架技术可以使页面和搜索展现做到最佳适配效果,这样就可以给用户飞一般的体验。

MIP是和百度进行关联的,改造后又添加了一些代码,所以其他搜索引擎并不一定适配,也许他们会认为这是多余的是重复的,所以作为运营人员、SEO人员来说,我们还需要善后,改造完成后我们需要在robots.txt中加入以下代码屏蔽其他搜索引擎抓取。


具体代码格式如下;


User-agent: *

Disallow:

User-agent: baiduspider

allow: /mip/

User-agent: Baiduspider

allow: /mip/

User-agent: *

Disallow: /mip/


小白操作方法


1、下载服务器程序根目录下的robots.txt (一般在根目录)   www.xxx.com/robots.txt  。

2、在不改动其他代码的情况下加入以上代码。

3、回传到服务器

4、分别提交到 各个搜索引擎



代码解释


User-agent: *

Disallow:

全部内容允许所有搜索引擎抓取

User-agent: baiduspider

allow: /mip/

User-agent: Baiduspider

allow: /mip/

允许baiduspider 和 Baiduspider 抓取 对应 Mip 位置 /mip/ 的地址 。 (由于mip制作的时候设置方法不同,所以这里写法要根据你的设置而适当改变)

User-agent: *

Disallow: /mip/

禁止其他搜索引擎抓取 MIP


至此 robos.txt 算是处理成功了,后续也不用担心其他搜索引擎对此会产生影响。如果你对熊掌号运营感兴趣欢迎来关注我们一起学习。