为什么要禁止其他搜索引擎抓取

MIP页面是一套特殊的代码结构，在原先的H5代码上进行了升级，借助百度的底层框架技术可以使页面和搜索展现做到最佳适配效果，这样就可以给用户飞一般的体验。

MIP是和百度进行关联的，改造后又添加了一些代码，所以其他搜索引擎并不一定适配，也许他们会认为这是多余的是重复的，所以作为运营人员、SEO人员来说，我们还需要善后，改造完成后我们需要在robots.txt中加入以下代码屏蔽其他搜索引擎抓取。

具体代码格式如下；

User-agent: *

Disallow:

User-agent: baiduspider

allow: /mip/

User-agent: Baiduspider

allow: /mip/

User-agent: *

Disallow: /mip/

小白操作方法

1、下载服务器程序根目录下的robots.txt （一般在根目录）   www.xxx.com/robots.txt  。

2、在不改动其他代码的情况下加入以上代码。

3、回传到服务器

4、分别提交到 各个搜索引擎

代码解释

User-agent: *

Disallow:

全部内容允许所有搜索引擎抓取

User-agent: baiduspider

allow: /mip/

User-agent: Baiduspider

allow: /mip/

允许baiduspider 和 Baiduspider 抓取 对应 Mip 位置 /mip/ 的地址 。 （由于mip制作的时候设置方法不同，所以这里写法要根据你的设置而适当改变）

User-agent: *

Disallow: /mip/

禁止其他搜索引擎抓取 MIP

至此 robos.txt 算是处理成功了，后续也不用担心其他搜索引擎对此会产生影响。如果你对熊掌号运营感兴趣欢迎来关注我们一起学习。