微笑教你如何改进网站收录
搜查引擎做为网站流量的重要起源，网站的收录量慷慨是大局部网站运营人员关怀的问题。


先确定一些大约点，一个网页被收录与否，有两个因素:


是否被爬虫爬过


版面功德是否过关


上一篇文章曾经提过了收录率这么一个指标，许多网站都懒得去做这个指标，“我看看site的数据不就行了！”，事实上未曾这个指标，许多工作就无从下手。从数据中找出问题，利用数据点拨处理计划，分析数据检讨工作收获。 最近看了《深入浅出数据分析》这个本，感受不错，把数据分析的措施讲得很生动，提倡有乐趣的从事数据分析的同学能够买本看看。 任何数据分析由，目标->分析->估价->决策，四个环节构成。


目标：我们想看一下网站的收录情形如何，在SEO方面是否还有长进的时机。


分析：收录情形什么算好什么算坏，是不是用一些指标来权衡？网站的收录情形是不是过度笼统，是不是该当细分下各个版面的收录情形？


估价：于是我们必需下面一些数据


> 网站的版面层级联系




> 各个层级版面带来的SEO流量


> 各个层级版面的收录情形如何




SEO流量的占比能够从Google Analytics中过滤出来。


版面数量能够从数据库获得，可能穿越度车头or自制小脚本抓取普查。


收录率能够将获得的版面穿越工具举行搜查，火车头也能够。


问题立马凸显！


1+2级目录页带来了许多的流量，收录率不是很好，优化收录的流量晋级冲缺口在此！




产品版面数量许多，收录也不是很志愿，然而带来的流量有限，除非收录问题，还有版面内容的问题，本文中先不管它了。


决策：我们的结论是即刻展开行动对目录版面举行收录的优化。


看到这边，好像刚开始的目标：“穿越优化收录晋级流量”


演变成了新的目标：“如何长进目录版面的收录量”


这边能不能再次穿越数据分析的措施举行SEO呢？


答案是确定的！


我们再来重新走一遍 目标->分析->估价->决策 的过程


目标：长进目录版面的收录量


分析：穿越本文开始的有关收录的两个因素，我们必需察看一下，网页是否被爬虫爬行过，网页的功德是不是过关。


1. 关于爬虫的情形，我们必需分析日志，能力确定。于是我们从日志中拆分一系列数据看看版面是否真的被爬行过。


2. 由于版面功德好像是一个很难权衡的值，于是我们能够用雷同模板下的：


已被爬行的版面数量/已被爬行并且被收录版面数量


来估价该模板版面功德对收录的波及大小。万一被爬的版面都被收录了，那起码解释这套版面的内容搜查引擎还算确认。（切实情形远比这个混杂，而且收录后也有可能因为功德问题被剔除，但总比什么比照都未曾要好，对吧！）


估价：（敏感消息用编号轮换，均为恳挚数据）


先看一下爬虫日志的情形，穿越Shell脚本，我们能够分析出。


目录总计被爬行的次数为13000次左右


不重复的目录爬行次数为5500次左右


频道A下的目录几乎被100%抓取过起码1次，频道B的目录抓取也不错，有70%被起码抓过顺次。


其他频道下的目录被抓取的遮蔽率不到30%




不要感受这个收获很神奇，其实许多网站都会见对这么的低劣问题，凡是你把数据不时的细分，细分，再细分，总会考察出一些端倪标。


关于日志分析，不要迷可信何的日志分析软件，那都是给懒人用的，自制脚本+Excel才是王道，能够拆分揭示出任何你想要的数据，当然，甚至能够连Excel都不要。


然后，我们普查了一下被抓得最频繁的频道A和频道B，目录页的收录率




频道A和B是很让人塌心的，解释版面功德没问题，然而余下的收录情形就让人比拟担心了。


决策：穿越上面的数据估价，我们曾经获得了如下结论。


版面功德并不是波及收录的起因。


频道A，B的抓取量失常的高，穿越察看打听，本来是首页上的目录页，揭示的全是频道A下的目录页，首页又具有全站最高的权重。频道B具有比其他频道壮大的外链资源，权重也极其高。


除非A, B频道，其他频道的抓取情形不容乐观，抓取入口太少，太深，进而波及了收录情形。


很显明，目前频道A从站内的角度来说太壮大了，定然举行一些“劫富济贫”的行动来减退频道A的抓取量，迁移到其他频道中去。同时，必需给爬虫供给更多的入口抓取频道页。


目前问题变得打听起来，我们开始把工作分成两局部：1.供给更多的入口 2.将资源平分给各频道而不是凑近在半点几个频道上。


供给入口工作：


1.把目录页的URL制构成sitemap。提交给搜查引擎，并且将其设置为比拟高的抓取权重。


2.健全面包屑导航，将面包屑导航划分得更加精细，以供给更多入口


3.在其他产品中评比目录页


资源平分工作：（一些观念：任意版面都有可能成为爬虫入口，百度爬虫抓取深度有限，版面相对入口越浅，被抓取的概率越高。）


1.本来首页指向的都是频道A的目录页+产品页，将其全副nofollow，确保从首页进去的爬虫，全副抓取到频道页，穿越频道页再进去目录页（其实这个不算太重要）


2.本来频道页指向切身的产品页，将其全副nofollow（确保从频道页入口的爬虫，最大程度的抓取目录页）


3.从目录页归来到首页的链接，将其全副nofollow。


4.收缩一些版面上无关链接。（什么情形下这么做都是极其管用的。）


目前能够开始入手了。。


收获


这么做究竟有什么收获呢，我们来看看修正后1个月后的数据。




目录页的收录率长进了100%！


产品页的收录率也有定然程度的长进，这是归功于目录页对于产品的良好揭示。


目录页的SEO出现：


SEO流量占比递升了15%


增长10%的到访关键词数量（新版面的收录）


SEO流量增长了50%以上。（包括一些季节因素）