當(dāng)興趣變成職業(yè)時(shí)，你對(duì)它的愛(ài)恨只會(huì)越來(lái)越鮮明。

我愛(ài)爬蟲(chóng)，因?yàn)槭撬刮疫M(jìn)入了互聯(lián)網(wǎng)行業(yè)，讓我在上海立足。我恨爬蟲(chóng)，它的天花板太低了，后期非常乏力。

做了大半年的爬蟲(chóng)工程師，給大家總結(jié)總結(jié)爬蟲(chóng)工程師的四種死法。

一、學(xué)習(xí)能力不強(qiáng)

爬蟲(chóng)的入門(mén)基礎(chǔ)很簡(jiǎn)單，首先學(xué)習(xí) Python 的基礎(chǔ)語(yǔ)法，然后掌握 request、xpath、bs4 等常用的爬蟲(chóng)庫(kù)。通過(guò)簡(jiǎn)單的網(wǎng)站爬取，快速掌握大致的爬蟲(chóng)流程：分析網(wǎng)站請(qǐng)求、發(fā)生請(qǐng)求、解析數(shù)據(jù)、存儲(chǔ)數(shù)據(jù)。

再進(jìn)階一點(diǎn)，學(xué)一些簡(jiǎn)單的反爬措施，例如添加請(qǐng)求頭、添加 ip 代理、建立 cookie 池等，或者學(xué)習(xí)下 scrapy 框架。用 scrapy 框架寫(xiě)個(gè)完整的爬蟲(chóng)項(xiàng)目，基本上就可以找到一份滿(mǎn)意的工作了。

基本上現(xiàn)在大部分的培訓(xùn)機(jī)構(gòu)采用的都像我上面所說(shuō)的方法，但這樣培訓(xùn)出來(lái)的人基本上對(duì)于爬蟲(chóng)的學(xué)習(xí)能力都不太強(qiáng)。

每個(gè)公司根據(jù)自身業(yè)務(wù)的不同，所使用的框架都會(huì)有所調(diào)整。比如使用 Kafaka 中間件來(lái)發(fā)生消息、用 Mongodb 來(lái)存儲(chǔ)數(shù)據(jù)、用 Redis 來(lái)緩存一些消息、用 Fildder 來(lái)抓包等等。在實(shí)際的業(yè)務(wù)過(guò)程中，會(huì)遭遇很多沒(méi)有學(xué)過(guò)的東西。

這時(shí)候，你的技能樹(shù)就不太夠用了，如果學(xué)習(xí)能力不強(qiáng)，在工作過(guò)程只會(huì)越來(lái)越吃力，從而被辭退。

趕不上技術(shù)的迭代，一卒。

二、花樣繁多的驗(yàn)證碼

判斷一個(gè)爬蟲(chóng)工程師的能力，要看他的反爬能力。爬蟲(chóng)工作最難的部分就是在破解反爬上，而現(xiàn)在主流的反爬手段就是驗(yàn)證碼。

但現(xiàn)在的驗(yàn)證碼越來(lái)越變態(tài)，什么樣的形式都有。比如漢字點(diǎn)擊，再難點(diǎn)就是滑塊驗(yàn)證碼，最變態(tài)就是 12306 的驗(yàn)證碼，人工手點(diǎn)還不一定正常。甚至有些網(wǎng)站還玩雙重驗(yàn)證，你好容易過(guò)了圖形驗(yàn)證碼，它還有一個(gè)短信驗(yàn)證。

防不勝防的驗(yàn)證碼，二卒。

三、 js知識(shí)缺乏

如果你沒(méi)有學(xué)過(guò)js，那么爬蟲(chóng)就會(huì)有新的挑戰(zhàn)。

高端的爬蟲(chóng)大神，一般都是js大神。所以如果你真的想在爬蟲(chóng)上有所發(fā)展，那么我建議你可以去深入學(xué)習(xí)js。

不懂 js，三卒。

四、網(wǎng)站改版

上面四步你都弄明白了，但沒(méi)過(guò)一陣你發(fā)現(xiàn)對(duì)方網(wǎng)站改版了，本來(lái)正常的代碼，也全部完了。

好不容易你把網(wǎng)站的請(qǐng)求邏輯給整明白，該破解的 js 代碼也破解了，該寫(xiě)的解析函數(shù)也寫(xiě)了，爬蟲(chóng)也正常的運(yùn)行起來(lái)了。但沒(méi)過(guò)幾天你發(fā)現(xiàn)對(duì)方的網(wǎng)站改版了！原本所有可以正常運(yùn)行的代碼，全部出錯(cuò)了。。。

網(wǎng)站改版，四卒。