你正在學(xué)習(xí)編程，那么“爬蟲”絕對是你不可忽視的。那么，學(xué)習(xí)python爬蟲之前需要哪些準(zhǔn)備？

一顆熱愛學(xué)習(xí)，不屈不撓的心

一臺有鍵盤的電腦（什么系統(tǒng)都行。我用的os x，所以例子會以這個為準(zhǔn)）

html相關(guān)的一些知識。不需要精通，能懂一點就行

Python的基礎(chǔ)語法知識 。

當(dāng)這些你都具備了，這個時候你需要學(xué)習(xí)：

0.基本的爬蟲工作原理

1.基本的http抓取工具：scrapy

2.Bloom Filter： Bloom Filters by Example

3.如果需要大規(guī)模網(wǎng)頁抓取，你需要學(xué)習(xí)分布式爬蟲的概念。簡單來說，你只要學(xué)會怎樣維護(hù)一個所有集群機(jī)器能夠有效分享的分布式隊列就好。最簡單的實現(xiàn)是python-rq： https://github.com/nvie/rq

4.rq和Scrapy的結(jié)合：darkrho/scrapy-redis · GitHub

5.后續(xù)處理：網(wǎng)頁析?。╣rangier/python-goose · GitHub），存儲（Mongodb）

python的火，很大原因就是各種好用的模塊，這些模塊是居家旅行爬網(wǎng)站常備的——

NO.1 F12 開發(fā)者工具

看源代碼：快速定位元素

分析xpath：1、此處建議谷歌系瀏覽器，可以在源碼界面直接右鍵看

NO.2 抓包工具

推薦httpfox，火狐瀏覽器下的插件，比谷歌火狐系自帶的F12工具都要好，可以方便查看網(wǎng)站收包發(fā)包的信息

NO.3 XPATH CHECKER （火狐插件）

非常不錯的xpath測試工具，不過也有幾個小缺點，：

xpath checker生成的是絕對路徑，遇到一些動態(tài)生成的圖標(biāo)（常見的有列表翻頁按鈕等），飄忽不定的絕對路徑很有可能造成錯誤，所以這里建議在真正分析的時候，只是作為參考

記得把如下圖xpath框里的“x：”去掉，貌似這個是早期版本xpath的語法，目前已經(jīng)和一些模塊不兼容（比如scrapy），還是刪去避免報錯。

NO.4 正則表達(dá)測試工具

在線正則表達(dá)式測試 ，拿來多練練手，也輔助分析！里面有很多現(xiàn)成的正則表達(dá)式可以用，也可以進(jìn)行參考！