A:常见的封禁行为包括robots封禁、封禁百度UA、封禁百度IP这三种,可以逐一排查解决:
(1) 查看robots.txt文件,是否存在封禁记录。(一般robots.txt文件放置在网站根目录下。)
(2)robots文件无异常,进一步排查是否存在封禁百度UA情况;
方案一:执行 curl --head --user-agent 'Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)' --request GET 'xxxxxxx'
注:正常返回码是200,其他情况为异常。
方案二:变更浏览器UA验证;
(3)以上验证均无异常,最后进一步排查是否存在IP级别的封禁;
常见的IP封禁,源自网站的防火墙系统配置,需要查看防火墙配置系统后台,检查是否存在百度蜘蛛的IP级别封禁措施。
注:文章由文心一言自动生成。
www.tstingmi.com 提供内容。