产生背景
随着网路的迅速发展，全球资讯网成为大量信息的载体，如何有效地提取并利用这些信息成为一个巨大的挑战。搜寻引擎(Search Engine)，例如传统的通用搜寻引擎AltaVista，Yahoo!和Google等，作为一个辅助人们检索信息的工具成为用户访问全球资讯网的入口和指南。但是，这些通用性搜寻引擎也存在着一定的局限性，如：(1)不同领域、不同背景的用户往往具有不同的检索目的和需求，通用搜寻引擎所返回的结果包含大量用户不关心的网页。
(2)通用搜寻引擎的目标是儘可能大的网路覆盖率，有限的搜寻引擎伺服器资源与无限的网路数据资源之间的矛盾将进一步加深。
(3)全球资讯网数据形式的丰富和网路技术的不断发展，图片、资料库、音频、视频多媒体等不同数据大量出现，通用搜寻引擎往往对这些信息含量密集且具有一定结构的数据无能为力，不能很好地发现和获取。
(4)通用搜寻引擎大多提供基于关键字的检索，难以支持根据语义信息提出的查询。
为了解决上述问题，定向抓取相关网页资源的聚焦爬虫应运而生。聚焦爬虫是一个自动下载网页的程式，它根据既定的抓取目标，有选择的访问全球资讯网上的网页与相关的连结，获取所需要的信息。与通用爬虫(general purpose web crawler)不同，聚焦爬虫并不追求大的覆盖，而将目标定为抓取与某一特定主题内容相关的网页，为面向主题的用户查询準备数据资源。
1 聚焦爬虫工作原理以及关键技术概述
网路爬虫是一个自动提取网页的程式，它为搜寻引擎从全球资讯网上下载网页，是搜寻引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入伫列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为複杂，需要根据一定的网页分析算法过滤与主题无关的连结，保留有用的连结并将其放入等待抓取的URL伫列。然后，它将根据一定的搜寻策略从伫列中选择下一步要抓取的网页URL，并重複上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。
相对于通用网路爬虫，聚焦爬虫还需要解决三个主要问题：
(1) 对抓取目标的描述或定义；
(2) 对网页或数据的分析与过滤；
(3) 对URL的搜寻策略。
面临的问题
截止到 2007 年底，Internet 上网页数量超出 160 亿个，研究表明接近 30%的页面是重複的；动态页面的存在：客户端、伺服器端脚本语言的套用使得指向相同 Web 信息的 URL 数量呈指数级增长。 上述特徵使得网路爬虫面临一定的困难，主要体现在 Web 信息的巨大容量使得爬虫在给定时间内只能下载少量网页。 Lawrence 和 Giles 的研究表明没有哪个搜寻引擎能够索引超出 16%的Internet 上 Web 页面，即使能够提取全部页面，也没有足够的空间来存储。
为提高爬行效率，爬虫需要在单位时间内儘可能多的获取高质量页面，是它面临的难题之一。 当前有五种表示页面质量高低的方式[1]：Similarity（页面与爬行主题之间的相似度）、Backlink（页面在 Web 图中的入度大小）、PageRank（指向它的所有页面平均权值之和）、Forwardlink（页面在 Web 图中的出度大小）、Location（页面的信息位置）；Parallel（并行性问题）[3]。 为了提高爬行速度，网路通常会採取并行爬行的工作方式，随之引入了新的问题：重複性（并行运行的爬虫或爬行执行绪同时运行时增加了重複页面）、质量问题（并行运行时，每个爬虫或爬行执行绪只能获取部分页面，导致页面质量下降）、通信频宽代价（并行运行时，各个爬虫或爬行执行绪之间不可避免要进行一些通信）。 并行运行时，网路爬虫通常採用三种方式：独立方式（各个爬虫独立爬行页面，互不通信）、动态分配方式（由一个中央协调器动态协调分配 URL 给各个爬虫）、静态分配方式（URL 事先划分给各个爬虫）。
分类
网路爬虫按照系统结构和实现技术，大致可以分为以下几种类型：通用网路爬虫（General Purpose Web Crawler）、聚焦网路爬虫（Focused Web Crawler）、增量式网路爬虫（Incremental Web Crawler）、深层网路爬虫（Deep Web Crawler）。 实际的网路爬虫系统通常是几种爬虫技术相结合实现的。
通用网路爬虫
通用网路爬虫又称全网爬虫（Scalable Web Crawler），爬行对象从一些种子 URL 扩充到整个 Web，主要为门户站点搜寻引擎和大型 Web 服务提供商採集数据。 由于商业原因，它们的技术细节很少公布出来。 这类网路爬虫的爬行範围和数量巨大，对于爬行速度和存储空间要求较高，对于爬行页面的顺序要求相对较低，同时由于待刷新的页面太多，通常採用并行工作方式，但需要较长时间才能刷新一次页面。 虽然存在一定缺陷，通用网路爬虫适用于为搜寻引擎搜寻广泛的主题，有较强的套用价值。
通用网路爬虫的结构大致可以分为页面爬行模组 、页面分析模组、连结过滤模组、页面资料库、URL 伫列、初始 URL 集合几个部分。为提高工作效率，通用网路爬虫会採取一定的爬行策略。 常用的爬行策略有：深度优先策略、广度优先策略。
1) 深度优先策略：其基本方法是按照深度由低到高的顺序，依次访问下一级网页连结，直到不能再深入为止。 爬虫在完成一个爬行分支后返回到上一连结节点进一步搜寻其它连结。 当所有连结遍历完后，爬行任务结束。 这种策略比较适合垂直搜寻或站内搜寻， 但爬行页面内容层次较深的站点时会造成资源的巨大浪费。
2) 广度优先策略：此策略按照网页内容目录层次深浅来爬行页面，处于较浅目录层次的页面首先被爬行。 当同一层次中的页面爬行完毕后，爬虫再深入下一层继续爬行。 这种策略能够有效控制页面的爬行深度，避免遇到一个无穷深层分支时无法结束爬行的问题，实现方便，无需存储大量中间节点，不足之处在于需较长时间才能爬行到目录层次较深的页面。
聚焦网路爬虫
聚焦网路爬虫（Focused Crawler），又称主题网路爬虫（Topical Crawler），是指选择性地爬行那些与预先定义好的主题相关页面的网路爬虫[8]。 和通用网路爬虫相比，聚焦爬虫只需要爬行与主题相关的页面，极大地节省了硬体和网路资源，保存的页面也由于数量少而更新快，还可以很好地满足一些特定人群对特定领域信息的需求。
聚焦网路爬虫和通用网路爬虫相比，增加了连结评价模组以及内容评价模组。聚焦爬虫爬行策略实现的关键是评价页面内容和连结的重要性，不同的方法计算出的重要性不同，由此导致连结的访问顺序也不同。
1) 基于内容评价的爬行策略：DeBra将文本相似度的计算方法引入到网路爬虫中，提出了 Fish Search 算法，它将用户输入的查询词作为主题，包含查询词的页面被视为与主题相关，其局限性在于无法评价页面与主题相关 度 的 高 低 。 Herseovic对 Fish Search 算 法 进 行 了 改 进 ，提 出 了 Sharksearch 算法，利用空间向量模型计算页面与主题的相关度大小。
2) 基于连结结构评价的爬行策略 ：Web 页面作为一种半结构化文档，包含很多结构信息，可用来评价连结重要性。 PageRank 算法最初用于搜寻引擎信息检索中对查询结果进行排序，也可用于评价连结重要性，具体做法就是每次选择 PageRank 值较大页面中的连结来访问。 另一个利用 Web结构评价连结价值的方法是 HITS 方法，它通过计算每个已访问页面的 Authority 权重和 Hub 权重，并以此决定连结的访问顺序。
3) 基于增强学习的爬行策略：Rennie 和 McCallum 将增强学习引入聚焦爬虫，利用贝叶斯分类器，根据整个网页文本和连结文本对超连结进行分类，为每个连结计算出重要性，从而决定连结的访问顺序。
4) 基于语境图的爬行策略：Diligenti 等人提出了一种通过建立语境图（Context Graphs）学习网页之间的相关度，训练一个机器学习系统，通过该系统可计算当前页面到相关 Web 页面的距离，距离越近的页面中的连结优先访问。印度理工大学（IIT）和 IBM 研究中心的研究人员开发了一个典型的聚焦网路爬虫。 该爬虫对主题的定义既不是採用关键字也不是加权矢量，而是一组具有相同主题的网页。 它包含两个重要模组：一个是分类器，用来计算所爬行的页面与主题的相关度，确定是否与主题相关；另一个是净化器，用来识别通过较少连结连线到大量相关页面的中心页面。
增量式网路爬虫
增量式网路爬虫（Incremental Web Crawler）是 指 对 已 下 载 网 页 采 取 增 量式更新和只爬行新产生的或者已经发生变化网页的爬虫，它能够在一定程度上保证所爬行的页面是儘可能新的页面。 和周期性爬行和刷新页面的网路爬虫相比，增量式爬虫只会在需要的时候爬行新产生或发生更新的页面 ，并不重新下载没有发生变化的页面，可有效减少数据下载量，及时更新已爬行的网页，减小时间和空间上的耗费，但是增加了爬行算法的複杂度和实现难度。增量式网路爬虫的体系结构[包含爬行模组、排序模组、更新模组、本地页面集、待爬行 URL 集以及本地页面URL 集。
增量式爬虫有两个目标：保持本地页面集中存储的页面为最新页面和提高本地页面集中页面的质量。 为实现第一个目标，增量式爬虫需要通过重新访问网页来更新本地页面集中页面内容，常用的方法有：1) 统一更新法：爬虫以相同的频率访问所有网页，不考虑网页的改变频率；2) 个体更新法：爬虫根据个体网页的改变频率来重新访问各页面；3) 基于分类的更新法：爬虫根据网页改变频率将其分为更新较快网页子集和更新较慢网页子集两类，然后以不同的频率访问这两类网页。
为实现第二个目标，增量式爬虫需要对网页的重要性排序，常用的策略有：广度优先策略、PageRank 优先策略等。IBM 开发的 WebFountain是一个功能强大的增量式网路爬虫，它採用一个最佳化模型控制爬行过程，并没有对页面变化过程做任何统计假设，而是採用一种自适应的方法根据先前爬行周期里爬行结果和网页实际变化速度对页面更新频率进行调整。北京大学的天网增量爬行系统旨在爬行国内 Web，将网页分为变化网页和新网页两类，分别採用不同爬行策略。 为缓解对大量网页变化历史维护导致的性能瓶颈，它根据网页变化时间局部性规律，在短时期内直接爬行多次变化的网页 ，为儘快获取新网页，它利用索引型网页跟蹤新出现网页。
Deep Web 爬虫
Web 页面按存在方式可以分为表层网页（Surface Web）和深层网页（Deep Web，也称 Invisible Web Pages 或 Hidden Web）。 表层网页是指传统搜寻引擎可以索引的页面，以超连结可以到达的静态网页为主构成的 Web 页面。Deep Web 是那些大部分内容不能通过静态连结获取的、隐藏在搜寻表单后的，只有用户提交一些关键字才能获得的 Web 页面。例如那些用户注册后内容才可见的网页就属于 Deep Web。 2000 年 Bright Planet 指出：Deep Web 中可访问信息容量是 Surface Web 的几百倍，是网际网路上最大、发展最快的新型信息资源。
Deep Web 爬虫体系结构包含六个基本功能模组 （爬行控制器、解析器、表单分析器、表单处理器、回响分析器、LVS 控制器）和两个爬虫内部数据结构（URL 列表、LVS 表）。 其中 LVS（Label Value Set）表示标籤/数值集合，用来表示填充表单的数据源。
Deep Web 爬虫爬行过程中最重要部分就是表单填写，包含两种类型：
1) 基于领域知识的表单填写：此方法一般会维持一个本体库，通过语义分析来选取合适的关键字填写表单。 Yiyao Lu[25]等人提出一种获取 Form 表单信息的多注解方法，将数据表单按语义分配到各个组中 ，对每组从多方面注解，结合各种注解结果来预测一个最终的注解标籤；郑冬冬等人利用一个预定义的领域本体知识库来识别 Deep Web 页面内容， 同时利用一些来自 Web 站点导航模式来识别自动填写表单时所需进行的路径导航。
2) 基于网页结构分析的表单填写： 此方法一般无领域知识或仅有有限的领域知识，将网页表单表示成 DOM 树，从中提取表单各栏位值。 Desouky 等人提出一种 LEHW 方法，该方法将 HTML 网页表示为DOM 树形式，将表单区分为单属性表单和多属性表单，分别进行处理；孙彬等人提出一种基于 XQuery 的搜寻系统，它能够模拟表单和特殊页面标记切换，把网页关键字切换信息描述为三元组单元，按照一定规则排除无效表单，将 Web 文档构造成 DOM 树，利用 XQuery 将文字属性映射到表单栏位。
Raghavan 等人提出的 HIWE 系统中，爬行管理器负责管理整个爬行过程，分析下载的页面，将包含表单的页面提交表单处理器处理，表单处理器先从页面中提取表单，从预先準备好的数据集中选择数据自动填充并提交表单，由爬行控制器下载相应的结果页面。
抓取目标分类
抓取目标的描述和定义是决定网页分析算法与URL搜寻策略如何制订的基础。而网页分析算法和候选URL排序算法是决定搜寻引擎所提供的服务形式和爬虫网页抓取行为的关键所在。这两个部分的算法又是紧密相关的。现有聚焦爬虫对抓取目标的描述可分为基于目标网页特徵、基于目标数据模式和基于领域概念3种。
基于目标网页特徵
基于目标网页特徵的爬虫所抓取、存储并索引的对象一般为网站或网页。根据种子样本获取方式可分为：
（1） 预先给定的初始抓取种子样本；
（2） 预先给定的网页分类目录和与分类目录对应的种子样本，如Yahoo!分类结构等；
（3） 通过用户行为确定的抓取目标样例，分为：
(a) 用户浏览过程中显示标注的抓取样本；
(b) 通过用户日誌挖掘得到访问模式及相关样本。
其中，网页特徵可以是网页的内容特徵，也可以是网页的连结结构特徵，等等。
基于目标数据模式
基于目标数据模式的爬虫针对的是网页上的数据，所抓取的数据一般要符合一定的模式，或者可以转化或映射为目标数据模式。
基于领域概念
另一种描述方式是建立目标领域的本体或词典，用于从语义角度分析不同特徵在某一主题中的重要程度。
网页搜寻策略
网页的抓取策略可以分为深度优先、广度优先和最佳优先三种。深度优先在很多情况下会导致爬虫的陷入(trapped)问题，目前常见的是广度优先和最佳优先方法。
广度优先搜寻
广度优先搜寻策略是指在抓取过程中，在完成当前层次的搜寻后，才进行下一层次的搜寻。该算法的设计和实现相对简单。在目前为覆盖儘可能多的网页，一般使用广度优先搜寻方法。也有很多研究将广度优先搜寻策略套用于聚焦爬虫中。其基本思想是认为与初始URL在一定连结距离内的网页具有主题相关性的机率很大。另外一种方法是将广度优先搜寻与网页过滤技术结合使用，先用广度优先策略抓取网页，再将其中无关的网页过滤掉。这些方法的缺点在于，随着抓取网页的增多，大量的无关网页将被下载并过滤，算法的效率将变低。
最佳优先搜寻
最佳优先搜寻策略按照一定的网页分析算法，预测候选URL与目标网页的相似度，或与主题的相关性，并选取评价最好的一个或几个URL进行抓取。它只访问经过网页分析算法预测为“有用”的网页。存在的一个问题是，在爬虫抓取路径上的很多相关网页可能被忽略，因为最佳优先策略是一种局部最优搜寻算法。因此需要将最佳优先结合具体的套用进行改进，以跳出局部最优点。将在第4节中结合网页分析算法作具体的讨论。研究表明，这样的闭环调整可以将无关网页数量降低30%~90%。
深度优先搜寻
深度优先搜寻策略从起始网页开始，选择一个URL进入，分析这个网页中的URL，选择一个再进入。如此一个连结一个连结地抓取下去，直到处理完一条路线之后再处理下一条路线。深度优先策略设计较为简单。然而入口网站提供的连结往往最具价值，PageRank也很高，但每深入一层，网页价值和PageRank都会相应地有所下降。这暗示了重要网页通常距离种子较近，而过度深入抓取到的网页却价值很低。同时，这种策略抓取深度直接影响着抓取命中率以及抓取效率，对抓取深度是该种策略的关键。相对于其他两种策略而言。此种策略很少被使用。
网页分析算法
网页分析算法可以归纳为基于网路拓扑、基于网页内容和基于用户访问行为三种类型。拓扑分析算法
基于网页之间的连结，通过已知的网页或数据，来对与其有直接或间接连结关係的对象（可以是网页或网站等）作出评价的算法。又分为网页粒度、网站粒度和网页块粒度这三种。
1 网页(Webpage)粒度的分析算法
PageRank和HITS算法是最常见的连结分析算法，两者都是通过对网页间连结度的递归和规範化计算，得到每个网页的重要度评价。PageRank算法虽然考虑了用户访问行为的随机性和Sink网页的存在，但忽略了绝大多数用户访问时带有目的性，即网页和连结与查询主题的相关性。针对这个问题，HITS算法提出了两个关键的概念：权威型网页（authority）和中心型网页（hub）。
基于连结的抓取的问题是相关页面主题团之间的隧道现象，即很多在抓取路径上偏离主题的网页也指向目标网页，局部评价策略中断了在当前路径上的抓取行为。文献[21]提出了一种基于反向连结（BackLink）的分层式上下文模型（Context Model），用于描述指向目标网页一定物理跳数半径内的网页拓扑图的中心Layer0为目标网页，将网页依据指向目标网页的物理跳数进行层次划分，从外层网页指向内层网页的连结称为反向连结。
2 网站粒度的分析算法
网站粒度的资源发现和管理策略也比网页粒度的更简单有效。网站粒度的爬虫抓取的关键之处在于站点的划分和站点等级(SiteRank)的计算。SiteRank的计算方法与PageRank类似，但是需要对网站之间的连结作一定程度抽象，并在一定的模型下计算连结的权重。
网站划分情况分为按域名划分和按IP位址划分两种。文献[18]讨论了在分散式情况下，通过对同一个域名下不同主机、伺服器的IP位址进行站点划分，构造站点图，利用类似PageRank的方法评价SiteRank。同时，根据不同档案在各个站点上的分布情况，构造文档图，结合SiteRank分散式计算得到DocRank。文献[18]证明，利用分散式的SiteRank计算，不仅大大降低了单机站点的算法代价，而且克服了单独站点对整个网路覆盖率有限的缺点。附带的一个优点是，常见PageRank 造假难以对SiteRank进行欺骗。
3 网页块粒度的分析算法
在一个页面中，往往含有多个指向其他页面的连结，这些连结中只有一部分是指向主题相关网页的，或根据网页的连结锚文本表明其具有较高重要性。但是，在PageRank和HITS算法中，没有对这些连结作区分，因此常常给网页分析带来广告等噪声连结的干扰。在网页块级别(Block?level)进行连结分析的算法的基本思想是通过VIPS网页分割算法将网页分为不同的网页块(page block)，然后对这些网页块建立page?to?block和block?to?page的连结矩阵，?分别记为Z和X。于是，在page?to?page图上的网页块级别的PageRank为?W?p=X×Z；?在block?to?block图上的BlockRank为?W?b=Z×X。已经有人实现了块级别的PageRank和HITS算法，并通过实验证明，效率和準确率都比传统的对应算法要好。
网页内容分析算法
基于网页内容的分析算法指的是利用网页内容（文本、数据等资源）特徵进行的网页评价。网页的内容从原来的以超文本为主，发展到后来动态页面（或称为Hidden Web）数据为主，后者的数据量约为直接可见页面数据（PIW，Publicly Indexable Web）的400~500倍。另一方面，多媒体数据、Web Service等各种网路资源形式也日益丰富。因此，基于网页内容的分析算法也从原来的较为单纯的文本检索方法，发展为涵盖网页数据抽取、机器学习、数据挖掘、语义理解等多种方法的综合套用。本节根据网页数据形式的不同，将基于网页内容的分析算法，归纳以下三类：第一种针对以文本和超连结为主的无结构或结构很简单的网页；第二种针对从结构化的数据源（如RDBMS）动态生成的页面，其数据不能直接批量访问；第三种针对的数据界于第一和第二类数据之间，具有较好的结构，显示遵循一定模式或风格，且可以直接访问。
基于文本的网页分析算法
1) 纯文本分类与聚类算法
很大程度上借用了文本检索的技术。文本分析算法可以快速有效的对网页进行分类和聚类，但是由于忽略了网页间和网页内部的结构信息，很少单独使用。
2) 超文本分类和聚类算法
根据网页连结网页的相关类型对网页进行分类，依靠相关联的网页推测该网页的类型。
补充
这些处理被称为网路抓取或者蜘蛛爬行。很多站点，尤其是搜寻引擎，都使用爬虫提供最新的数据，它主要用于提供它访问过页面的一个副本，然后，搜寻引擎就可以对得到的页面进行索引，以提供快速的访问。蜘蛛也可以在web上用来自动执行一些任务，例如检查连结，确认html代码；也可以用来抓取网页上某种特定类型信息，例如抓取电子邮件地址（通常用于垃圾邮件）。
一个网路蜘蛛就是一种机器人，或者软体代理。大体上，它从一组要访问的URL连结开始，可以称这些URL为种子。爬虫访问这些连结，它辨认出这些页面的所有超连结，然后添加到这个URL列表，可以称作检索前沿。这些URL按照一定的策略反覆访问。
1. 爬行策略
下述的三种网路特徵，造成了设计网页爬虫抓取策略变得很难：
它巨大的数据量；
它快速的更新频率；
动态页面的产生
它们三个特徵一起产生了很多种类的爬虫抓取连结。
巨大的数据量暗示了爬虫，在给定的时间内，只可以抓取所下载网路的一部分，所以，它需要对它的抓取页面设定优先权；快速的更新频率说明在爬虫抓取下载某网站一个网页的时候，很有可能在这个站点又有新的网页被添加进来，或者这个页面被更新或者删除了。
最近新增的很多页面都是通过伺服器端脚本语言产生的，无穷的参数组合也增加了爬虫抓取的难度，只有一小部分这种组合会返回一些独特的内容。例如，一个很小照片存储库仅仅通过get方式可能提供就给用户三种操作方式。如果这里存着四种分类方式，三种缩略图方式，两种档案格式，和一个禁止用户提供内容的选项，那么，同样的内容就可以通过48种方式访问。这种数学组合给网路爬虫创造的难处就是，为了获取不同的内容，他们必须筛选无穷仅有微小变化的组合。
正如爱德华等人所说的：“用于检索的频宽不是无限的，也不是免费的；所以，如果引入衡量爬虫抓取质量或者新鲜度的有效指标的话，不但伸缩性，连有效性都将变得十分必要”（爱德华等人，2001年）。一个爬虫就必须小心的选择下一步要访问什么页面。网页爬虫的行为通常是四种策略组合的结果。
♦ 选择策略，决定所要下载的页面；
♦ 重新访问策略，决定什么时候检查页面的更新变化；
♦ 平衡礼貌策略，指出怎样避免站点超载；
♦ 并行策略，指出怎么协同达到分散式抓取的效果；
1.1 选择策略：
就现在网路资源的大小而言，即使很大的搜寻引擎也只能获取网路上可得到资源的一小部分。由劳伦斯河盖尔斯共同做的一项研究指出，没有一个搜寻引擎抓取的内容达到网路的16%(劳伦斯河盖尔斯，2001)。网路爬虫通常仅仅下载网页内容的一部分，但是大家都还是强烈要求下载的部分包括最多的相关页面，而不仅仅是一个随机的简单的站点。
这就要求一个公共标準来区分网页的重要程度，一个页面的重要程度与他自身的质量有关，与按照连结数、访问数得出的受欢迎程度有关，甚至与他本身的网址（后来出现的把搜寻放在一个顶级域名或者一个固定页面上的垂直搜寻）有关。设计一个好的搜寻策略还有额外的困难，它必须在不完全信息下工作，因为整个页面的集合在抓取时是未知的。
Cho等人（Cho et al，1998）做了第一份抓取策略的研究。他们的数据是史丹福大学网站中的18万个页面，使用不同的策略分别模仿抓取。排序的方法使用了广度优先，后链计数，和部分pagerank算法。计算显示，如果你想要优先下载pagerank高的页面，那么，部分PageRank策略是比较好的，其次是广度优先和后链计数。并且，这样的结果仅仅是针对一个站点的。
Najork和Wiener (Najork and Wiener, 2001)採用实际的爬虫，对3.28亿个网页，採用广度优先研究。他们发现广度优先会较早的抓到PageRank高的页面（但是他们没有採用其他策略进行研究）。作者给出的解释是：“最重要的页面会有很多的主机连线到他们，并且那些连结会较早的发现，而不用考虑从哪一个主机开始。”
Abiteboul (Abiteboul 等人, 2003)，设计了一种基于OPIC（线上页面重要指数）的抓取战略。在OPIC中，每一个页面都有一个相等的初始权值，并把这些权值平均分给它所指向的页面。这种算法与Pagerank相似，但是他的速度很快，并且可以一次完成。OPIC的程式首先抓取获取权值最大的页面，实验在10万个幂指分布的模拟页面中进行。并且，实验没有和其它策略进行比较，也没有在真正的WEB页面测试。
Boldi等人(Boldi et al., 2004)的模拟检索实验进行在 从.it网路上取下的4000万个页面和从webbase得到的1亿个页面上，测试广度优先和深度优先，随机序列和有序序列。比较的基础是真实页面pageRank值和计算出来的pageRank值的接近程度。令人惊奇的是，一些计算pageRank很快的页面（特别明显的是广度优先策略和有序序列）仅仅可以达到很小的接近程度。
Baeza-Yates等人(Baeza-Yates et al., 2005) 在从.gr域名和.cl域名子网站上获取的300万个页面上模拟实验，比较若干个抓取策略。结果显示OPIC策略和站点伫列长度，都比广度优先要好；并且如果可行的话，使用之前的爬行抓取结果来指导这次抓取，总是十分有效的。
Daneshpajouh等人(Daneshpajouh et al., 2008)设计了一个用于寻找好种子的社区。它们从来自不同社区的高PageRank页面开始检索的方法，叠代次数明显小于使用随机种子的检索。使用这种方式，可以从以前抓取页面之中找到好的种子，使用这些种子是十分有效的。
1.1.1 限定访问连结
一个爬虫可能仅仅想找到html页面的种子而避免其他的档案类型。为了仅仅得到html的资源，一个爬虫可以首先做一个http head的请求，以在使用request方法获取所有的资源之前，决定这个网路档案的类型。为了避免要传送过多的head请求，爬虫可以交替的检查url并且仅仅对以html，htm和反斜槓结尾的档案传送资源请求。这种策略会导致很多的html资源在无意中错过，一种相似的策略是将网路资源的扩展名同已知是html档案类型的一组扩展名（如.html,.htm,.asp,.php,.aspx,反斜槓）进行比较。
一些爬虫也会限制对任何含有“？”的资源（这些是动态生成的）进行获取请求，以避免蜘蛛爬行在某一个站点中陷入下载无穷无尽的URL的困境。
1.1.2 路径检索
一些爬虫会儘可能多的尝试下载一个特定站点的资源。Cothey(Cothey,2004)引入了一种路径检索的爬虫，它会尝试抓取需要检索资源的所有URL。例如，给定一个种子地址：它将会尝试检索/hamster/menkey/,/hamster/和/ 。Cothey发现路径检索对发现独立资源，或者一些通常爬虫检索不到的的连线是非常有效的。
一些路径检索的爬虫也被称为收割机软体，因为他们通常用于收割或者收集所有的内容，可能是从特定的页面或者主机收集相册的照片。
1.1.3 聚焦抓取
爬虫所抓取页面的重要程度也可以表述成它与给定查询之间相似程度的函式。网路爬虫尝试下载相似页面，可以称为聚焦检索或者主题检索。关于主题检索和聚焦检索的概念，最早是由Menczer（Menczer 1997; Menczer and Belew, 1998）和Chakrabarti等人首先提出来的(Chakrabarti et al., 1999)。
聚焦检索的主要问题是网页爬虫的使用环境，我们希望在实际下载页面之前，就可以知道给定页面和查询之间的相似度。一个可能的方法就是在连结之中设定锚点，这就是在早期时候，Pinkerton（Pinkerton，1994）曾经在一个爬虫中採用的策略。Diligenti等人（Diligenti等人，2000）建议使用已经抓取页面的内容去推测查询和未访问页的相似度。一个聚焦查询的表现的好坏主要依赖于查询主题内容的丰富程度，通常还会依赖页面查询引擎提供的查询起点。
1.1.4 抓取深层的网页
很多的页面隐藏的很深或隐藏在在看不到的网路之中。这些页面通常只有在向资料库提交查询的时候才可以访问到，如果没有连结指向他们的话，一般的爬虫是不能访问到这些页面的。谷歌站点地图协定和mod oai（Nelson等人，2005）尝试允许发现这些深层次的资源。
