一、招聘岗位
python工程
二、薪资待遇
1.2万-2万薪元/月
三、岗位职责
1.负责分布式网络爬虫系统设计，搭建系统框架，开发分布式网络爬虫系统；
2.完成数据采集爬取.解析提取.清洗入库等数据生产工作；
3.研究网页特点和规律，对网页信息进行分类.抽取.数据清洗.存储结构等研发和优化工作；
4.负责领域知识的定向爬取.深度提取和挖掘；
5.对数据进行清洗.整理.去重及合并等工作；
6.具有海量高并发数据爬取经验
四、职位要求
1.本科及以上学历，计算机软件或相关专业，三年及以上python开发经验
2.掌握网络爬虫开发原理，熟悉互联网各种类型数据交互模式
3.掌握HTML，JS，熟悉Web、APP爬虫，掌握爬虫与反爬虫技术
4.精通一种爬虫框架，对分布式爬虫、海量数据采集有深刻的理解，如Scrapy等
5.熟练掌握正则表达式、XPath等信息抽取技术
6.熟练使用Mysql等流行数据库技术，熟悉缓存,如memcached、redis
五、公司地址
深圳市鼎尖软件有限公司
