一、招聘岗位
大数据爬虫工程师
二、薪资待遇
10-15K元/月
三、岗位职责
1、负责各类电商平台和App端数据抓取和平台搭建；
2、负责对爬取数据进行分类/解析/清洗
3、负责开发高性能抓取架构，支持业务发展；
4、负责爬虫技术攻关和平台运维相关工作；
四、职位要求
1.计算机相关专业，有3年以上的爬虫开发经验；
2.熟悉Linux系统，熟练掌握Python，Java等语言；
3.精通网页抓取原理及技术，精通正则表达式，Xpath，可以从结构化的和非结构化的数据中获取信息；
4.熟练掌握软件逆向静态分析、动态调试、代码跟踪等；
5.熟悉Android开发，了解打包、反编译、破解流程；
6.有大数据整体建设经验者，包含外部数据采集/对接，数仓建设，实时处理经验者优先
7.对数据敏感，具备良好的逻辑思维能力以及优秀的问题解决能力者优先;
加分项：在飞瓜、新榜、蝉妈妈、胖球等数据平台有过相关经验者，优先录用
五、公司地址
广州越秀区星光映景A中心写字楼5A
4.【招聘信息】北京群鲜荟萃科技有限公司招聘爬虫工程师
一、招聘岗位
爬虫工程师
二、薪资待遇
25-40K元/月
三、岗位职责
1、负责分布式采集平台架构设计与开发；
2、反爬虫策略研究，以及采集支撑服务建设，保障数据获取能力；
3、海量爬虫数据清洗、解析、处理；
4、目标导向、带领爬虫小组落地项目目标
四、职位要求
1、本科及以上学历，3年以上爬虫相关经验，具备日亿级采集平台架构与设计能力。
2、熟练掌握Java、Python、NodeJs，基础扎实。
3、熟练掌握SQL，有MySQL、Mongodb、ElasticSearch等存储使用和调优经验。
4、熟悉开源爬虫框架，了解业界主流数据采集平台架构设计与工程实施方案。
5、熟练掌握多线程与分布式架构，熟悉队列、缓存等中间件，了解逆向工程。
6、至少深度参与过一款成熟数据采集平台从0-1的建设过程。
7、有数据分析能力和经验的优先
8、有企业信息库建设经验的优先
五、公司地址
北京市 朝阳区 东方国际大厦(东方东路) 602
