robots.txt文件放在哪里
百度站长工具365天前 (02-24)
robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如http://www.zw520.cn）时，首先会检查该网站中是否存在http://www.zw520.cn/robots.txt这个文件，如果Spider找到这...
什么是robots文件
百度站长工具365天前 (02-24)
Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该...
什么情况下可以进行抓取频次上限调整
百度站长工具365天前 (02-24)
首先，Baiduspider会根据网站服务器压力自动进行抓取频次调整。其次，如果Baiduspider的抓取影响了网站稳定性，站长可以通过此工具调节Baiduspider每天抓取您网站的频次上限。
强调1：调整抓取频次上限不等于调高抓取频次。强调2：建议...
抓取诊断工具常见错误类型解析
百度站长工具365天前 (02-24)
【url规范】
百度支持抓取的url长度不超过1024，如果您的链接长度过长，请在保证正常访问的情况下，适当精简，保证链接能被百度正常抓取和收录。
【重定向错误】
重定向是指百度spider访问链接时发生了跳转，如果跳转后的链接超长或者连续跳转的次数...
抓取诊断工具能做什么
百度站长工具365天前 (02-24)
目前抓取诊断工具有如下作用：
1、诊断抓取内容是否符合预期，譬如很多商品详情页面，价格信息是通过JavaScript输出的，对百度蜘蛛不友好，价格信息较难在搜索中应用。问题修正后，可用诊断工具再次抓取检验。
2、诊断网页是否被加了黒链、隐藏文本。网站如...
抓取异常的原因有哪些
百度站长工具365天前 (02-24)
一、网站异常
1、dns异常
当Baiduspider无法解析您网站的IP时，会出现DNS异常。可能是您的网站IP地址错误，或者域名服务商把Baiduspider封禁。请使用WHOIS或者host查询自己网站IP地址是否正确且可解析，如果不正确或无...
抓取异常对网站有哪些影响
百度站长工具365天前 (02-24)
对于大量内容无法正常抓取的网站，搜索引擎会认为网站存在用户体验上的缺陷，并降低对网站的评价，在抓取、索引、权重上都会受到一定程度的负面影响，最终影响到网站从百度获取的流量。...