全部版块 我的主页
论坛 休闲区 十二区 休闲灌水
776 1
2015-05-25
  1:最近在某互联网营销社区看到一个帖子(光年社区),讲的是网站抓取下降的厉害,缩水9成。题主之言是网站使用了CDN的问题,理由也很直白:cdn的动态ip造成百度蜘蛛抓取困难,导致收录下降。
  2:前段时间,Seo party QQ群的某小伙伴网站联通出现问题,我顺便ping了一下域名,发现前后10分钟内其ip变了3次。当时颇为惊讶,细想一下肯定也是cdn惹的祸。
  那么问题来了:是否应该对网站设置cdn服务?
  正方观点:
  雅虎作为搜索服务的先驱,在网站使用cdn服务上还是比较推崇的。对于web前端来说,网站页面加载速度是十分重要的。这也体现了搜索引擎排名为人服务的精神,毕竟一个打开都费劲的页面,首先就会流失相当一部分用户,起码展示率是很有问题的,更遑论转化率了。
  网页前端制作人员都熟悉的一项内容就是“雅虎军规”,其中就直言,应该对于网站应用cdn服务,以便于不同区域用户都可以不受地域网络环境的影响,流畅的访问网站。
  Yslow——一款源于雅虎军规而设计的用以检测页面加载速度的浏览器插件,其中更是将cdn服务作为其一项评分标准。
  反方观点:
  百度作为国内互联网搜索的唯一巨头,无疑在业内具备独一无二的话语权。在百度spider工程师有关cdn问题的回答中,我们能够提取出以下信息:
  Cdn的动态ip确实无法被baiduspider有效抓取,原文搬运如下:“CDN这 里存在一个问题:不同的CDN服务商在全国分布的节点数不同,站点在使用CDN服务时,同一地区CDN给蜘蛛返回的IP地址要和给用 户的一致。那么现实 情况是,部分CDN服务商出于成本考虑与资源使用率的问题,会在不告知用户的情况下变更IP地址以节约成本,这样就导致蜘蛛在去抓的时 候,会遇到新IP 和老IP的问题,在站点没有告知更换IP的情况下,蜘蛛会认为站点目前存在问题,首先是减少抓取量,其次会判断是否把不可访问的页面下掉。”
  百度给出的建议是利用站长平台对于ip变更的情况作为错误报告提交给百度:
  恕搜索引擎排名小编吐槽:cdn服务商随意变更ip的问题很明显是基于其运营能力的不足,这种本来就 带有随意性的行为,一般都不会负责任的告知网站站长,那么对于站长而言又如何监督呢?而且cdn节点千千万,谁又能不遗余力的投入如此大的精力来对付费服 务进行人为监管,并实时提交百度处理。?明显这种方法是不具备操作性的。
  总结陈词:
  对于必须使用cdn服务的网站,尽量选择口碑和实力俱佳的cdn服务商,提高cdn服务的稳定性,不至于太过频繁和随意的变更ip。
  百度应该改善抓取策略,毕竟依靠ip段给蜘蛛分配抓取任务的模式,似乎不太合理。毕竟 依靠url抓取页面信息才是搜索原理的基础,这种跳过解析的方法或许技术上没有问题,但是作为seoer的我怎么感觉有点别扭.
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2015-6-10 17:03:11
你对IT感兴趣?
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群