崗位描述1：

1、參與大規(guī)?？蚣芟到y(tǒng)的相關(guān)架構(gòu)和開發(fā)；

2、負(fù)責(zé)框架系統(tǒng)模塊設(shè)計(jì)和開發(fā)，包括服務(wù)端和客戶端，以及日常升級和維護(hù)

3、協(xié)助完成需求收集、分析，系統(tǒng)設(shè)計(jì)，測試和部署，編寫開發(fā)過程中涉及的相關(guān)文檔

任職資格

1. 3年以上Java開發(fā)經(jīng)驗(yàn)，熟悉Java core和開源項(xiàng)目，有互聯(lián)網(wǎng)開發(fā)經(jīng)驗(yàn)者優(yōu)先

2. 具備面向?qū)ο蟮脑O(shè)計(jì)思路和經(jīng)驗(yàn)，熟悉軟件開發(fā)流程、體系結(jié)構(gòu)，具備較好的文檔能力及良好的編碼風(fēng)格；

3. 具備良好的表達(dá)和溝通能力，能充分理解用戶需求和功能描述，設(shè)計(jì)并開發(fā)軟件系統(tǒng)；

4、熟悉SOA、Messaging，socket、線程、并發(fā)等開發(fā)知識，有后臺框架開發(fā)經(jīng)驗(yàn)者優(yōu)先

5、熟悉應(yīng)用服務(wù)器， 熟悉Tomcat、Netty、Apache的配置及其優(yōu)化

6. 熟悉數(shù)據(jù)庫知識，具有數(shù)據(jù)庫設(shè)計(jì)能力，熟悉SQL Server/Oracle/MySql相關(guān)技術(shù)及工具

7熟悉HTTP傳輸協(xié)議，精通網(wǎng)頁抓取原理及技術(shù)，能模擬瀏覽器操作爬蟲；

8、責(zé)任心強(qiáng)，熱愛爬蟲工作，有爬蟲項(xiàng)目經(jīng)驗(yàn)優(yōu)先。

9. 具備極強(qiáng)的團(tuán)隊(duì)精神和合作精神，對工作有熱情，能夠在一定壓力下工作

10.全日制本科、碩士及以上學(xué)歷，計(jì)算機(jī)、數(shù)學(xué)、物理及其他理工科專業(yè)畢業(yè)。

崗位描述2：

1、參與爬蟲系統(tǒng)的架構(gòu)設(shè)計(jì)與開發(fā)；

2、具有實(shí)際爬蟲開發(fā)、內(nèi)容提取工作經(jīng)驗(yàn)2年以上；

3、負(fù)責(zé)設(shè)計(jì)和開發(fā)分布式網(wǎng)絡(luò)爬蟲系統(tǒng)，進(jìn)行多平臺信息的抓取和分析；

4、設(shè)計(jì)爬蟲策略和防屏蔽規(guī)則，提升網(wǎng)頁抓取的效率和質(zhì)量；

5、能獨(dú)立解決實(shí)際開發(fā)過程碰到的各類問題；

崗位要求：

1、熟悉linux平臺開發(fā)，3年以上Java、python或C/C++開發(fā)經(jīng)驗(yàn)；

2、精通信息抓取和整合技術(shù)，從結(jié)構(gòu)化的和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息；

3、熟悉Mysql，redis，mongdb三者至少之一，有過數(shù)據(jù)庫調(diào)優(yōu)和海量數(shù)據(jù)存儲經(jīng)驗(yàn)優(yōu)先；

4、具有搜索相關(guān)技術(shù)研發(fā)經(jīng)驗(yàn)者優(yōu)先；

5、具有數(shù)據(jù)挖掘、自然語言處理、信息檢索、機(jī)器學(xué)習(xí)背景者優(yōu)先；

6、有nutch，heritrix抓取經(jīng)驗(yàn)或者分布式抓取經(jīng)驗(yàn)者優(yōu)先；

7、熟悉搜索引擎和個(gè)性化推薦相關(guān)技術(shù)，精通主流分詞算法、分類、提取摘要、大規(guī)模網(wǎng)頁聚類、索引、檢索等相關(guān)開發(fā)經(jīng)驗(yàn)者優(yōu)先。

職位描述3：

1、精通爬蟲相關(guān)技術(shù)，如：httpClient/jSoup/xpath/正則表達(dá)式/驗(yàn)證碼加密處理/代理池等

2、精通Core Java相關(guān)知識，如：常用集合類/泛型/反射/IO/注解/多線程等

3、掌握常用開源框架，如：Spring、MyBatis、Spring Boot等

4、掌握常用數(shù)據(jù)庫（如：MySQL）及相應(yīng)DDL/DML，熟悉索引及常規(guī)SQL調(diào)優(yōu)

5、掌握常用開發(fā)管理工具及應(yīng)用服務(wù)器，如：Eclipser、Maven、Git/SVN、Tomcat、Nginx等

6、熟悉行為驗(yàn)證碼識別、模擬登陸、數(shù)據(jù)清洗、去重、入庫等

7、熟悉HTTP協(xié)議，掌握HTML/CSS/JS/JQUERY/AJAX等相關(guān)知識

8、熟悉MQ、Zookeeper、Redis等分布式和NoSQL技術(shù)

9、了解Linux系統(tǒng)及Linux常用命令

10、了解Hadoop、HBase、HDFS、KAFKA等大數(shù)據(jù)相關(guān)知識

11、有運(yùn)營商網(wǎng)站爬取或逆向經(jīng)驗(yàn)尤佳

職位描述4：

1、參與數(shù)據(jù)層建設(shè)，專注于垂直領(lǐng)域數(shù)據(jù)爬取，進(jìn)行多平臺信息的抓取和分析；

2、參與爬蟲系統(tǒng)的架構(gòu)設(shè)計(jì)與開發(fā)；

3、實(shí)現(xiàn)數(shù)據(jù)提取、清洗、結(jié)構(gòu)化、入庫、統(tǒng)計(jì)分析等需求；

4、研究優(yōu)化算法，提升爬蟲系統(tǒng)的穩(wěn)定性、可擴(kuò)展性；

5、設(shè)計(jì)爬蟲策略和防屏蔽規(guī)則，提升網(wǎng)頁抓取的效率和質(zhì)量；

6、能獨(dú)立解決實(shí)際開發(fā)過程碰到的各類問題。

崗位要求：

1、全日制本科以上學(xué)歷，計(jì)算機(jī)等專業(yè)；

2、有扎實(shí)的計(jì)算機(jī)基礎(chǔ)、熟悉常用數(shù)據(jù)結(jié)構(gòu)，具有實(shí)際爬蟲開發(fā)經(jīng)驗(yàn)；

3、至少熟練掌握J(rèn)ava／Python其中一種語言，良好的編碼風(fēng)格及編碼能力；

4、熟悉高并發(fā)、高性能的分布式系統(tǒng)的設(shè)計(jì)及應(yīng)用，熟悉常用數(shù)據(jù)存儲，各種數(shù)據(jù)處理技術(shù)優(yōu)先；

5、有3年以上編程開發(fā)經(jīng)驗(yàn)，有豐富的爬蟲和反爬蟲經(jīng)驗(yàn)者優(yōu)先。