#web-scraping 仓库
共 382 个仓库
隐形 Playwright:反机器人系统无法检测到的 Playwright,因此不会触发验证码:相同的 API、反检测隐身无头 Firefox、无法被检测到的指纹、绕过机器人检测,适用于 Python 网页抓取和浏览器自动化。
免费的开源 Google 地图潜在客户信息抓取工具(Python,无需 API 密钥或 Docker)。将名称、电话、电子邮件、网站、评分以及 Instagram/Facebook/LinkedIn/TikTok/YouTube/X 链接导出为 CSV。44 秒抓取 100 个含电子邮件地址的地点;--grid 可突破 Google 的 120 条上限。检查邮件 MX 记录,检测广告像素。适用于 Claude Code、Codex 和 Cursor 的技能。
天猫 TaoBao i茅台 iMatoTai JD 京东抢购、京东抢茅台 Windows 端、开箱即用无需配置环境。开发在即(开源协议采用 Apache License)
使用 Python 和 Oxylabs SERP Scraper API 从 Google Scholar 提取标题、作者和引用的指南。
使用 Python 和 Oxylabs E-Commerce Scraper API 从 Amazon 提取畅销商品、搜索结果和当前可用优惠的 Python 代码。
SURF - 高级Go HTTP客户端,支持Chrome/Firefox浏览器模拟、带QUIC指纹的HTTP/3、JA3/JA4 TLS模拟以及用于Web自动化和抓取的反爬虫绕过。
qstock由“Python金融量化”公众号开发,试图打造成个人量化投研分析包,目前包括数据获取(data)、可视化(plot)、选股(stock)和量化回测(策略backtest)模块。 qstock将为用户提供简洁的数据接口和规整化后的金融市场数据。可视化模块为用户提供基于web的交互图形的简单接口; 选股模块提供了同花顺的选股数据和自定义选股,包括RPS、MM趋势、财务指标、资金流模型等; 回测模块为大家提供向量化(基于pandas)和基于事件驱动的基本框架和模型。 关注“Python金融量化“微信公众号,获取更多应用信息。
了解如何使用 Python 和 Oxylabs 的 Google Jobs Scraper API 构建您自己的 Google Jobs Scraper,该工具可以同时为多个搜索查询和地理位置抓取 Google Jobs。https://oxylabs.io/blog/how-to-scrape-google-jobs
免费、开源的反检测浏览器启动器,适用于网页抓取和多账号管理。由 ShardX 团队开发(前身为 ProxyShard)。在 Chromium 158 中实现引擎级指纹伪装(WebGL / WebGPU / Client Hints / 字体 / TLS),内置 220 多种设备配置文件,并支持通过 SOCKS5 运行稳定的 QUIC + WebRTC。
适用于 Python 的 Twitter 和 X 抓取工具:无需官方 API 即可抓取推文、个人资料、粉丝、关注对象和趋势。提供支持多账号池、代理和异步功能的 Twitter 抓取库,也可使用托管在 Apify 上的版本。