【Trendx】数据工程师
发布时间：2025-02-20
职位描述：
岗位职责：
负责 数据爬取，包括静态网页、动态网页（JS 渲染）、API 接口数据等；
处理 反爬策略，如 User-Agent 伪装、代理池、验证码绕过，cookie加密，正文参数加密等，提高爬取成功率；
解析网页数据，使用 XPath、CSS 选择器、正则表达式等提取信息；
存储爬取数据到 MySQL、MongoDB、Redis、Selectdb等数据库；
编写 数据清洗、去重 相关代码，提高数据质量；
监控爬虫运行状态，优化爬取策略，保证数据抓取的稳定性；
职位要求：
岗位要求：
计算机相关专业，本科及以上学历（或能力突出者）；
熟练掌握 Python，熟悉 requests、beautifulsoup、selenium、scrapy 等爬虫工具；
熟练掌握 SQL，窗口函数，数据统计与分析；
熟悉 HTML、JavaScript 基础，能够解析网页结构；
掌握 XPath、CSS 选择器、正则表达式，能准确提取网页数据；
了解 反爬机制，会使用 代理池、Cookies、User-Agent 伪装 等方式绕过常见封锁；
掌握 多线程、多进程、异步爬取 方法，提高爬虫效率；
熟悉 MySQL、MongoDB、Redis 等数据库存储方案；
具备良好的编码规范和调试能力，能编写稳定可靠的爬虫脚本；
有海外网站抓取经验和区块链行业经验；
掌握基础数据结构与算法，具备良好的代码优化和问题解决能力；
加分项：
有JAVA后端开发经验
有量化交易经验优先
有app抓取经验
福利待遇：
无
工作地点：
China
工作方式：
远程 全职
薪酬范围：
每月 $2000 - $2800
联系方式：
邮件：Vickyvkk0712@gmail.com
telegram：SailorMoon_VK7
请注明来源于：hitajobs.com
公司介绍：
公司名称：Trendx
公司规模：30+
An ALL-IN-ONE Platform for AI-Driven Web3 Trend Tracking & Smart Trading