这两天写了一两个爬虫程序，也逐渐熟悉了爬虫的基本知识。可以很方面地写一两个小程序，为自己服务O(∩_∩)O。比如，BT种子搜索。

什么是爬虫

爬虫（spider)，是利用程序对网络上信息进行采集的程序，通常是从大量网页或者特定的网站上爬取所需要的信息。

爬虫工作原理

写一个爬虫程序，主要可以分为三个部分：获取网页，匹配数据，输出结果。

这一部分，你需要了解一些HTTP协议相关的知识。python程序中，有几个库可以为你完成这些工作：urllib,urlib2,requests。这里推荐使用requests,因为它真的很简单。

1
2
3

import requests
response = requests.get('https://github.com/timeline.json')
print response.content

从上面代码可以看出，我们利用requests工具，向服务器发送了一个get请求，随后，你就能获得一个response对象，很简单不是吗？这一部分，主要是要模拟浏览器发送用户请求，获取源码。如果网站比较复杂，比如需要登录或者特定的参数才能访问，你可能就需要通过构造请求头来进行了。

获取到网页的源码后，我们需要针对目标数据对网页进行过滤，获取有效数据。你可以使用BS4，当然还有万能的正则表达式。

1	search_tip = BeautifulSoup(res.content).find_all(class_="search_tip")[0].get_text()

如这一句，就是获取网页中类名为search_tip的第一个子元素的值。

第三个步骤，你获取到你想要的数据后，就需要进行输出了。输出的方式多种多样，从最简单的控制台输出，到文件输出，再到复杂的数据库存储，你可以选择你自己喜欢的方式。

1
2
3

#data 为获取到数据
file = file("result.txt", "w+")
file.write(data)

其实，写高级的爬虫程序，要学的东西还挺多的，包括多线程、分布式、获取js动态加载网页数据等。如果你感兴趣，可以动手试一试呢！