#web-scraping 仓库
共 382 个仓库
Playwright Model Context Protocol Server - 用于在 Claude Desktop、Cline、Cursor IDE 等中自动化浏览器和 API 的工具 🔌
使用一条命令提取任何网站的完整设计系统。DTCG tokens,语义+基础+复合,Claude Code/Cursor/Windsurf 的 MCP 服务器,多平台发射器(iOS SwiftUI、Android Compose、Flutter、WordPress),Tailwind v4,Figma 变量,shadcn/ui,CSS 健康审计,WCAG 修复,Chrome 扩展。MIT,Playwright,Node 20+。
Undetected-Chromedriver 的后继者。为网站自动化、网络爬取、机器人以及任何其他通常会受到 Captcha / CloudFlare / Imperva / hCaptcha 等烦人的反机器人系统阻碍的创意想法提供闪电般快速的框架。
来自书籍《Web Scraping with Python》的代码样本 http://shop.oreilly.com/product/0636920034391.do
一款面向消息平台的智能代理信息提取工具。Noria 通过聊天接收消息和 URL,抓取网页数据,并根据自定义评分矩阵(如职位、奖学金)评估内容,然后将包含计算所得匹配分数的结构化摘要直接发送到指定的消息账号。
开源与净化应用的理想之选。OrionStore 让你即刻畅享 YouTube Morphe、YT Music Morphe 及必备开源工具,告别繁杂体验。无需服务器,不追踪数据,只为你喜爱的应用提供一个简洁美观、现代化的入口。
多平台内容监控·采集·搬运 一个 Web 面板管起抖音 / 小红书 / 快手 / 视频号 / TikTok / 哔哩哔哩 / Instagram / 海外小红书(rednote)
使用人工智能驱动的抓取工具、爬虫和浏览器自动化从任何网站收集结构化数据。使用自然语言提示进行抓取和爬取。为您的LLM代理配备最新数据。用于智能网页数据收集的AI Studio python SDK。
通过 MCP 和 Chrome DevTools 协议为 AI 代理提供隐蔽的浏览器自动化:导航、网络钩子、DOM 提取以及像素级精准的 UI 克隆。
免费防指纹浏览器, 指纹浏览器, 隐私浏览器, 防识别浏览器, 反识别浏览器, 防关联浏览器, 免费的web3空投专用指纹浏览器 https://virtualbrowser.cc/?src=github
一个 Python 程序,可以将运行在 Ollama 上的 LLM 转变为一个自动化研究员,该程序只需一次查询即可确定要调查的重点领域,进行网络搜索,抓取来自各种相关网站的内容,并自主为您进行研究!不仅如此,还包括为您保存研究成果!
一个用于通过 DevTools 协议控制无头 Chrome 或 Chromium 的高级 API。它是 Puppeteer 的 Rust 等价物,Puppeteer 是由 Chrome DevTools 团队维护的 Node 库。
学习如何使用 Python 和 Oxylabs SERP API 一步步抓取 Google 趋势数据并进行结果比较。提取关键词、它们的热度、按地区细分、相关查询等信息。
虎牙,斗鱼,抖音,BiliBili,TikTok,Twitch🔥热门🔥智能直播视频剪辑发布AI机器人,自动化🤖,全智能化⚙(智能生成切片,标题,封面,简介),可视化👓,平台热门监控🌡,丰富插件随意扩展🕹,快速部署⚡,视频账号打造自动发布🌟,支持DIY🎮