您的位置:博客首页 >> 杂七杂八 >> 百度蜘蛛无法识别https站点的相对路径

百度蜘蛛无法识别https站点的相对路径

日志编号:218 发表时间: 2017-05-03 23:33:56 关注次数:1887
    最近我新上了个网站,采用https访问。百度蜘蛛很快就来了,但是,它无法识别https站点的相对路径。具体举例比较好:
     我的域名是https://www.shangbanla.net,如果是http,就会301直接转向到https的。首页有个链接,写的是相对路径:<li><a href="/wall/1">招聘墙</a></li>,然后看网站日志,会发现这样的内容:
123.125.71.97 - - [01/May/2017:12:41:24 +0800] "GET /wall/1 HTTP/1.1" 301 178 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

    可见,百度在首页时直接把相对路径前添加了http而不是http,导致访问跳转了,也就无法(应该说是百度蜘蛛没有本事)访问到https://www.shangbanla.net/wall/1
而360so蜘蛛则可以正常访问到。
    我对360so的技术不是很了解,我猜测是360用的google的技术?

    目前,我已经把全站的所有相对路径,都在前面添加了https://www.shangbanla.net来帮助百度蜘蛛行走。
本站不提供讨论功能。
本站所有非新闻类文章均为原创,且禁止转载。
本站为了获得更多流量赚取广告费,难免会有以次充好的文章,望见谅,勿鄙视。