1.负责爬虫各个系统核心代码搭建,性能方面的优化,解决相关的疑难问题;
2.负责研究各种网站、网页、链接的形态,发现它们的特点和规律;
3.设计各种策略和算法,提高数据抓取的效率和质量,解决数据的重复,垃圾数据识别;
4.提高系统的可运维,可测性,易用性。

1.熟悉爬虫框架，熟悉 xpath、正则表达式，pyquery等;
2.有爬取经验，了解常见策略，能优化爬取效率;
3.熟悉Java/Python等语言及相关算法和数据结构、了解并发编程；
4.熟悉 HTML，CSS，JS，jquery，MySQL，redis，mongodb等;
5.专业基础扎实，学习能力强。
专业要求：计算机科学与技术、应用数学、统计学、物理学、天文学、商业分析、信息系统、数据科学或相关专业

联系人：张老师
公司地址：温州市瓯海区经济开发区东经一路1号
最近登录：2023-03-01