一、招聘岗位
爬虫工程师
二、薪资待遇
25-40K元/月
三、岗位职责
1、负责分布式采集平台架构设计与开发；
2、反爬虫策略研究，以及采集支撑服务建设，保障数据获取能力；
3、海量爬虫数据清洗、解析、处理；
4、目标导向、带领爬虫小组落地项目目标
四、职位要求
1、本科及以上学历，3年以上爬虫相关经验，具备日亿级采集平台架构与设计能力。
2、熟练掌握Java、Python、NodeJs，基础扎实。
3、熟练掌握SQL，有MySQL、Mongodb、ElasticSearch等存储使用和调优经验。
4、熟悉开源爬虫框架，了解业界主流数据采集平台架构设计与工程实施方案。
5、熟练掌握多线程与分布式架构，熟悉队列、缓存等中间件，了解逆向工程。
6、至少深度参与过一款成熟数据采集平台从0-1的建设过程。
7、有数据分析能力和经验的优先
8、有企业信息库建设经验的优先
五、公司地址
北京市 朝阳区 东方国际大厦(东方东路) 602
