#crawler 仓库
共 162 个仓库
任何网站的媒体下载器,包括 Twitter、Reddit、Instagram、BlueSky、TikTok、Threads、Facebook、OnlyFans、YouTube、Pinterest、PornHub、XHamster、XVIDEOS、ThisVid 等。
蓝天采集器是一款开源免费的爬虫系统,仅需点选编辑规则即可采集数据,可运行在本地、虚拟主机或云服务器中,几乎能采集所有类型的网页,无缝对接各类CMS建站程序,免登录实时发布数据,全自动无需人工干预!是网页大数据采集软件中完全跨平台的云端爬虫系统
爬虫案例合集。包括但不限于《淘宝、京东、天猫、豆瓣、抖音、快手、微博、微信、阿里、头条、pdd、优酷、爱奇艺、携程、12306、58、搜狐、各种指数、维普万方、Zlibraty、Oalib、小说、招标网、采购网、小红书、大众点评、推特、脉脉、知乎》
Boss直聘爬虫 / BOSS直聘职位数据抓取工具,基于 Chrome CDP 协议复用真实登录态,绕过字体反爬,输出明文薪资 JSON/CSV + 薪资技能分析。
❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y](轻松寻找真正的房产)- Fredy 会持续在 ImmoScout24、Immowelt、eBay Kleinanzeigen 等平台上搜索欧洲的新公寓、住宅和房源,并通过 Slack、Telegram、电子邮件、Discord 或 ntfy 将结果即时发送给你,让你可以专注于生活中更重要的事情 ;)
python爬虫,目前库存:网易云音乐歌曲爬取,B站视频爬取,知乎问答爬取,壁纸爬取,xvideos视频爬取,有声书爬取,微博爬虫,安居客信息爬取+数据可视化,哔哩哔哩视频封面提取器,ip代理池封装,知乎百万级用户爬虫+数据分析,github用户爬虫
用于 puppeteer 和 playwright 的补丁集合,以避免自动化检测和泄露。有助于绕过 Cloudflare 和 DataDome CAPTCHA 页面。易于打补丁/取消补丁,可按需启用/禁用。
小红书数据采集、网站图片、视频资源批量下载工具,颜值超高的数据采集工具(批量下载,视频提取,图片)Telegram:https://t.me/+ZtLSwuIKTo44MDY1
基于 Rust 的快速、轻量级 Firecrawl/Tavily 替代方案。包含用于 AI 代理的 MCP 服务器的网页抓取、爬虫和搜索 API。提供与 Firecrawl 兼容的直接替换 API(/scrape, /crawl, /search)。在 1K URL 基准测试中,速度比 Tavily 快 2.3 倍,比 Firecrawl 快 1.5 倍。仅需 6 MB 内存,单个二进制文件。支持自托管或使用托管云服务。