网站误封Robots该如何处理（网站误封Robots损失惨重）
网站误封Robots该如何处理？网站误封Robots损失惨重如何？
大家做网站千万别手欠，很多一些基础的小操作，很容易搞死自己的。尤其是robots文件改时候一时爽，不小心把百度蜘蛛封了，你心里会有十万个草泥马飘过，辛辛苦苦一夜回到解放前。
今年3月9号本来是操作封禁除百度以外的其他蜘蛛，主要网站是做国内内容。当时个人也是出去玩回来的比较晚且不在状态（建议人不清醒或者疲劳的时候别硬操作网站修改）
从3月10号开始突然发现每天必收入的站，基本上没有收录，查日志发现既然没有蜘蛛抓取，一时纳闷，到底咋回事，用百度站长工具检测一下抓取，哇擦！
既然robots把百度蜘蛛封禁了。
索引也掉了一万多，好在10号又恢复了，这个大家应该都出现过浮动。
然并卵用，这个索引恢复没有什么用，蜘蛛完全不来抓取，从每日6000多的抓取量掉到现在就是快个位数的抓取。
爱站查询的网站这两天一条日收都没有，且词库从高峰期4800的词库掉到3600的词库，目前还在掉，真是日了狗！
robots文件是搜索生态中很重要的一个环节，同时也是一个很细致的环节。很多站长在网站运营过程中，非常很容易忽视robots文件的存在，进行错误覆盖或者全部封禁robots，造成不必要损失！
那么如果误操作封禁了robots怎么办？来看看百度之前给的案例
【案例背景】
网站开发2.0版本，技术选择了在线开发，为了避免搜索引擎抓取开发版本，要求技术人员设置了Robots封禁处理。2.0版本开发周期1个月，1个月后网站版本迭代，直接覆盖了1.0版本，包括Robots封禁文件，2天后发现流量大幅下降，检查收录发现800万收录降至0条，关键词大量掉线。
【处理方式】
1.修改Robots封禁为允许，然后到百度搜索资源后台检测并更新Robots。
2.在百度搜索资源后台抓取检测，此时显示抓取失败，没关系，多点击抓取几次，触发蜘蛛抓取站点。
3.在百度搜索资源后台抓取频次，申请抓取频次上调。
4.百度反馈中心，反馈是因为误操作导致了这种情况的发生。
5.百度搜索资源后台链接提交处，设置数据API推送（实时）。
6.更新sitemap网站地图，重新提交百度，每天手动提交一次。
以上处理完，接下来就是等待了，万幸，2天的时间数据开始慢慢回升，到第3天基本回升到正常状态！
【个人总结】
1、把封禁Robots文件修改为允许，到百度站长后台检测并更新Robots；比如参考：8000r.cn/robots.txt
User-agent: *
Allow: /
千万别在后面同时改成
User-agent: *
Disallow: /
2、robots 文件尽量别去瞎动它，如果要封禁国外的蜘蛛尽量在宝塔防火墙里面把采集ip或者国外蜘蛛ip封禁就可以。
3、到百度反馈中心反馈问题，因为哪些问题导致误封Robots文件！
上面说的百度反馈中心，没啥用，官方回复这个真正等恢复蜘蛛重新抓取至少1~2周的时间，并不是1~3天内就能如上面案例一下子恢复。
4、如果百度站长后台检测显示还是抓取失败，您可以尝试多点击几次，触发蜘蛛抓取站点；（基本上是个鸡肋，我这几天操作了2-3天多次模拟抓取，都还是抓取失败）
5、百度站长后台抓取频次，申请抓取频次上调，这个我已经调到最大值，但也挽救不来它掉到个位数的趋势。
6、百度站长后台链接提交处设置数据主动推送，我基本上每天更新几十篇内容且主动推送，也没啥用
7、更新Sitemap网站地图提交给百度，建议每天手工提交一次，这个基本上更新是一直等待的状态。
8、只能坐等百度恢复，因为上面很多基本上是鸡肋无用功，百度的服务器缓存不更新，这个抓取还会一直失败，蜘蛛还是不会那么及时过来。
免责声明：本站所有内容及图片均采集来源于网络，并无商业使用，如若侵权请联系删除。
