岗位职责： 负责 数据爬取，包括静态网页、动态网页（JS 渲染）、API 接口数据等； 处理 反爬策略，如 User-Agent 伪装、代理池、验证码绕过，cookie加密，正文参数加密等，提高爬取成功率； 解析网页数据，使用 XPath、CSS 选择器、正则表达式等提取信息； 存储爬取数据到 MySQL、MongoDB、Redis、Selectdb等数据库； 编写 数据清洗、去重 相关代码，提高数据质量； 监控爬虫运行状态，优化爬取策略，保证数据抓取的稳定性；