發布:2019-11-26 13:53:50 關注:11297次
招聘崗位:工程技術人員
招聘人數:1名聘用方式
項目聘用a
招聘條件
大學專科和專科學校及以上學歷,無學位要求
大專以上學歷,985/211優先。1.從事數據爬蟲領域至少3年以上,專科及以上學歷,有較為系統的海量數據爬蟲、反爬蟲研發經驗;2.有從事分布式數據獲取經驗,精通python開發,熟悉使用scrapy、selenuim等常用開源爬蟲框架;;3.熟悉http協議、html、dom,并有一定的javascript能力;4.熟練使用xpath、正則表達式或beautifulsoup任一種解析框架;5.有豐富的應對反爬蟲的經驗,例如合理使用ip池、驗證碼識別技術等;6.熟練使用splash、瀏覽器內核等工具解析動態頁面;7.熟悉多線程、網絡編程以及分布式爬蟲架構開發場景8.熟悉使用redis和任意一種常見的分布式消息隊列;9.熟練使用模擬登陸、ua池、動態代理、ip池等常規偽裝手段;10.熟悉常規反爬蟲手段以及常見的解決方案,有一定的逆向工程能力;11.熟練使用mysql,熟悉nosql數據庫等,有大數據開發相關經驗更佳;12.熟悉ubuntu等linux系統,熟練使用shell工具;13.有業務sense,責任心強,做事細致,具備較強的溝通協作能力、自我驅動能力,能夠通過梳理設計業務模型發現業務問題,并驅動業務目標實現;14.有學術、科研經驗優先。
崗位職責
1.管理建設數據獲取、爬蟲平臺框架,負責爬蟲系統規劃以及相應架構設計;2.負責設計和開發網絡爬蟲應用,包括調度、抓取、入庫等內容;2.負責現有爬蟲核心算法和策略優化;3.網絡爬蟲架構設計、功能開發及優化;4.參與建設平臺治理統一的數據體系,能獨立完成項目的系統分析,根據開發規范和數據模型設計實現數據開發任務,保證數據質量;5.參與數據倉庫的設計和研發,進行海量數據模型設計、數據etl開發;7.參與數據產品及應用的數據研發,發覺數據業務價值,助力數據化運營業務。
崗位待遇
提供競爭性的薪酬待遇,可面議。與師生共同工作,繳納五險一金。研究中心將視情況提供額外的激勵措施和必要的工作開展條件。
其他
有意者請網上應聘,同時請將“崗位名稱+姓名+個人簡歷+高校人才網”發送至聯系人郵箱:wangfeng07@sjtu.edu.cn
聯系方式
聯系人:甘老師
tel:;e-mail:wangfeng07@sjtu.edu.cn
聯系地址:
報名地址:
【1】凡本網注明"來源:南湖人才網"的所有文字、圖片和音視頻稿件,版權均屬于南湖人才網,轉載請必須注明南湖人才網,違反者本網將追究相關法律責任。
【2】本網轉載并注明自其它來源的作品,是本著為求職者傳遞更多信息之目的,并不代表本網贊同其觀點或證實其內容的真實性,不承擔此類作品侵權行為的直接責任及連帶責任。其他媒體、網站或個人從本網轉載時,必須保留本網注明的作品來源,并自負版權等法律責任。
【3】如涉及作品內容、版權等問題,請在作品發表之日起一周內與本網聯系。
其他教職工招聘