您现在的位置是: 主页 > 网站优化 > 网站优化

搜索引擎蜘蛛爬取网站,抓取数据的规则

2020-03-20 10:50 【网站优化】 人已围观

简介: 搜索引擎蜘蛛的抓取规则,如下四点提供参考: 1、搜索引擎蜘蛛要能看到链接文字 这个是搜索引擎蜘蛛爬行时能够检索到的文字,如果文字或链接是通过JavaScript调用,蜘蛛是检索不到的。页面的文字内容中主要内容位置越靠前越有利,例如产品名称放到页面越靠前的位置,对该页面产品关键词的排名越有利。 2、搜索引擎蜘蛛能爬行未经 nofollow处理过的链接 这一项列出的是搜...

搜索引擎蜘蛛的抓取规则,如下四点提供参考:

1、搜索引擎蜘蛛要能看到链接文字

这个是搜索引擎蜘蛛爬行时能够检索到的文字,如果文字或链接是通过JavaScript调用,蜘蛛是检索不到的。页面的文字内容中主要内容位置越靠前越有利,例如产品名称放到页面越靠前的位置,对该页面产品关键词的排名越有利。

2、搜索引擎蜘蛛能爬行未经 nofollow处理过的链接

这一项列出的是搜索引擎蜘蛛能够检索到链接,蜘蛛能够通过这些链接访问网站其他页面,越靠前的链接,被蜘蛛爬行的几率就越大,被搜索引擎收录的可能性越高。

3、搜索引擎蜘蛛能发现图片链接并能阅读到这些图片所包含的含义

这里主要展示该页面被搜索引擎蜘蛛和国际W3C标准化监测器所检索到的图片,搜索引擎能够根据图片at="" 去判断该图片的类型,性质和主题,对于判断该图片链接的页面的主题有巨大帮助,能有效提高商品展示页的搜索引擎排名根据W3C标准,页面上所有图片都必须添加alt="" 图片注释,网站Logo使用网站名称加简短描述,商品图片使用商品名称,网页框架图片留空。

4、搜索引擎蜘蛛能很好地识别HTML代码

模拟搜索引擎蜘蛛爬行该页面时,获得的“最简化代码->是指过滤css, JavaScript后的代码”,由此可以看出减少代码空行,换行,空格等多余代码空间非常重要。

孟文鹏博客版权所有丨如未注明 , 均为原创丨 转载请注明搜索引擎蜘蛛爬取网站,抓取数据的规则

很赞哦! ( )

随机图文

文章评论

    总共有: 条评论 来说两句吧...

    用户名:

    联系方式:

站点信息

  • 建站时间 :2019-6-18
  • 共有会员 : 2名
  • 共有文章 :3938篇
  • 今日更新 :13篇
  • 百度收录
  • 文章阅读 :560790人次
  • 公众号 :扫描二维码,关注我们
-->