|
关注:1
2013-05-23 12:21
求翻译: Baiduspider只抓取能从互联网上找到的url,如果Baiduspider大量抓取你网站上不存在的url,可能有两个原因:1)你网站内有部分网页指向其他网页的url格式不正确。2)互联网上有其他网站指向了你网站内不存在的网页。另外,Baiduspider抓取到不存在的网页,服务器应该返回404错误。是什么意思? 待解决
悬赏分:1
- 离问题结束还有
Baiduspider只抓取能从互联网上找到的url,如果Baiduspider大量抓取你网站上不存在的url,可能有两个原因:1)你网站内有部分网页指向其他网页的url格式不正确。2)互联网上有其他网站指向了你网站内不存在的网页。另外,Baiduspider抓取到不存在的网页,服务器应该返回404错误。
问题补充: |
湖北省互联网违法和不良信息举报平台 | 网上有害信息举报专区 | 电信诈骗举报专区 | 涉历史虚无主义有害信息举报专区 | 涉企侵权举报专区