本文共 4975 字，大约阅读时间需要 16 分钟。
原文：
译者：
协议：
自豪地采用
本章的目标是开发一个 Web 爬虫，它测试了第 6.1 节中提到的“到达哲学”猜想。
在本书的仓库中，你将找到一些帮助你起步的代码：
WikiNodeExample.java包含前一章的代码，展示了 DOM 树中深度优先搜索（DFS）的递归和迭代实现。WikiNodeIterable.java包含Iterable类，用于遍历 DOM 树。我将在下一节中解释这段代码。WikiFetcher.java包含一个工具类，使用jsoup从维基百科下载页面。为了帮助你遵守维基百科的服务条款，此类限制了你下载页面的速度；如果你每秒请求许多页，在下载下一页之前会休眠一段时间。WikiPhilosophy.java包含你为此练习编写的代码的大纲。我们将在下面进行说明。你还会发现 Ant 构建文件build.xml。如果你运行ant WikiPhilosophy，它将运行一些简单的启动代码。
在前一章中，我展示了迭代式深度优先搜索（DFS），并且认为与递归版本相比，迭代版本的优点在于，它更容易包装在Iterator对象中。在本节中，我们将看到如何实现它。
如果你不熟悉Iterator和Iterable接口，你可以阅读 和 。
看看WikiNodeIterable.java的内容。外层的类WikiNodeIterable实现Iterable<Node>接口，所以我们可以在一个for循环中使用它：
Node root = ...Iterableiter = new WikiNodeIterable(root);for (Node node: iter) { visit(node);}
其中root是我们想要遍历的树的根节点，并且visit是一个方法，当我们“访问”Node时，做任何我们想要的事情。
WikiNodeIterable的实现遵循以下惯例：
Node的引用。iterator方法创建一个返回一个Iterator对象。这是它的样子：
public class WikiNodeIterable implements Iterable{ private Node root; public WikiNodeIterable(Node root) { this.root = root; } @Override public Iterator iterator() { return new WikiNodeIterator(root); }}
内层的类WikiNodeIterator，执行所有实际工作。
private class WikiNodeIterator implements Iterator{ Deque stack; public WikiNodeIterator(Node node) { stack = new ArrayDeque (); stack.push(root); } @Override public boolean hasNext() { return !stack.isEmpty(); } @Override public Node next() { if (stack.isEmpty()) { throw new NoSuchElementException(); } Node node = stack.pop(); List nodes = new ArrayList (node.childNodes()); Collections.reverse(nodes); for (Node child: nodes) { stack.push(child); } return node; }}
该代码与 DFS 的迭代版本几乎相同，但现在分为三个方法：
ArrayDeque实现）并将根节点压入这个栈。isEmpty检查栈是否为空。next从Node栈中弹出下一个节点，按相反的顺序压入子节点，并返回弹出的Node。如果有人在空Iterator上调用next，则会抛出异常。可能不明显的是，值得使用两个类和五个方法，来重写一个完美的方法。但是现在我们已经完成了，在需要Iterable的任何地方，我们可以使用WikiNodeIterable，这使得它的语法整洁，易于将迭代逻辑（DFS）与我们对节点的处理分开。
WikiFetcher 编写 Web 爬虫时，很容易下载太多页面，这可能会违反你要下载的服务器的服务条款。为了帮助你避免这种情况，我提供了一个WikiFetcher类，它可以做两件事情：
1秒。这里是WikiFetcher的定义：
public class WikiFetcher { private long lastRequestTime = -1; private long minInterval = 1000; /** * Fetches and parses a URL string, * returning a list of paragraph elements. * * @param url * @return * @throws IOException */ public Elements fetchWikipedia(String url) throws IOException { sleepIfNeeded(); Connection conn = Jsoup.connect(url); Document doc = conn.get(); Element content = doc.getElementById("mw-content-text"); Elements paragraphs = content.select("p"); return paragraphs; } private void sleepIfNeeded() { if (lastRequestTime != -1) { long currentTime = System.currentTimeMillis(); long nextRequestTime = lastRequestTime + minInterval; if (currentTime < nextRequestTime) { try { Thread.sleep(nextRequestTime - currentTime); } catch (InterruptedException e) { System.err.println( "Warning: sleep interrupted in fetchWikipedia."); } } } lastRequestTime = System.currentTimeMillis(); }} 唯一的公共方法是fetchWikipedia，接收String形式的 URL，并返回一个Elements集合，该集合包含的一个 DOM 元素表示内容文本中每个段落。这段代码应该很熟悉了。
新的代码是sleepIfNeeded，它检查自上次请求以来的时间，如果经过的时间小于minInterval（毫秒），则休眠。
这就是WikiFetcher全部。这是一个演示如何使用它的例子：
WikiFetcher wf = new WikiFetcher();for (String url: urlList) { Elements paragraphs = wf.fetchWikipedia(url); processParagraphs(paragraphs);} 在这个例子中，我们假设urlList是一个String的集合 ，并且processParagraphs是一个方法，对Elements做一些事情，它由fetchWikipedia返回。
此示例展示了一些重要的东西：你应该创建一个WikiFetcher对象并使用它来处理所有请求。如果有多个WikiFetcher的实例，则它们不会确保请求之间的最小间隔。
注意：我的WikiFetcher实现很简单，但是通过创建多个实例，人们很容易误用它。你可以通过制作WikiFetcher“单例” 来避免这个问题，你可以阅读 。
在WikiPhilosophy.java中，你会发现一个简单的main方法，展示了如何使用这些部分。从这个代码开始，你的工作是写一个爬虫：
1。该程序应该为它访问的 URL 构建List，并在结束时显示结果（无论成功还是失败）。
那么我们应该认为什么是“有效的”链接？你在这里有一些选择 各种版本的“到达哲学”推测使用略有不同的规则，但这里有一些选择：
你不必遵循所有这些规则，但我们建议你至少处理括号，斜体以及当前页面的链接。
如果你有足够的信息来起步，请继续。或者你可能想要阅读这些提示：
Node是TextNode和Element。如果你找到一个Element，你可能需要转换它的类型，来访问标签和其他信息。Element时，通过向上跟踪父节点链，可以检查是否是斜体。如果父节点链中有一个<i>或<em>标签，链接为斜体。如果你从 Java 页面开始，你应该在跟随七个链接之后到达哲学，除非我运行代码后发生了改变。
好的，这就是你所得到的所有帮助。现在全靠你了。玩的开心！
转载地址：http://lgixa.baihongyu.com/