#crawler Repositories
Insgesamt 162 Repositories
DecryptLogin: APIs zum Einloggen auf einige Websites unter Verwendung von requests.
Geziyor, ultraschnelles Web-Crawling- & Scraping-Framework für Go. Unterstützt JS-Rendering.
:spider: Das progressive PHP-Crawler-Framework! Elegantes progressives PHP-Sammel-Framework.
ScopeSentry-Cyberspace-Mapping, Subdomain-Enumeration, Port-Scanning, Entdeckung sensibler Informationen, Schwachstellenscans, verteilte Knoten
news-please - Ein integrierter Web-Crawler und Informations-Extraktor für Nachrichten, der einfach funktioniert
🕷 CrawlerDetect ist eine PHP-Klasse zur Erkennung von Bots/Crawlern/Spiders über den User-Agent
Geleakte GPTs-Prompts umgehen die 25-Nachrichten-Beschränkung oder um GPTs ohne ein Plus-Abonnement auszuprobieren.
Ein plattformübergreifendes C#-Web-Crawler-Framework, das auf Geschwindigkeit und Flexibilität ausgelegt ist. Bitte geben Sie diesem Projekt einen Stern! +1.
Website Cloner - Nutzt leistungsstarke Go-Routinen, um Websites innerhalb von Sekunden auf Ihren Computer zu klonen.
Medien-Downloader von beliebigen Websites, einschließlich Twitter, Reddit, Instagram, BlueSky, TikTok, Threads, Facebook, OnlyFans, YouTube, Pinterest, PornHub, XHamster, XVIDEOS, ThisVid usw.
Blue Sky Collector ist ein quelloffenes und kostenloses Crawler-System, das nur die Auswahl und Bearbeitung von Regeln zur Datenerfassung benötigt. Es kann lokal, auf einem virtuellen Host oder auf einem Cloud-Server ausgeführt werden und kann fast alle Arten von Webseiten erfassen. Es lässt sich nahtlos an verschiedene CMS-Website-Erstellungsprogramme anbinden, veröffentlicht Daten in Echtzeit und ohne Anmeldung, vollautomatisch und ohne menschliches Eingreifen! Es ist ein vollständig plattformübergreifendes Cloud-Crawler-System für die Web-Big-Data-Erfassungssoftware.
NewPipe's Kernbibliothek zum Extrahieren von Daten aus Streaming-Seiten
Sammlung von Web-Scraping-Fällen. Einschließlich, aber nicht beschränkt auf "Taobao, JD.com, Tmall, Douban, Douyin, Kuaishou, Weibo, WeChat, Alibaba, Toutiao, PDD, Youku, iQIYI, Ctrip, 12306, 58, Sohu, verschiedene Indizes, VIP, Wanfang, ZLibrary, Oalib, Romane, Ausschreibungsportale, Beschaffungsportale, Xiaohongshu, Dianping, Twitter, Maimai, Zhihu"
Diskover Community Edition - Open-Source-Datei-Indexer, Dateisuche und Datenmanagement sowie -Analyse, unterstützt von Elasticsearch
BOSS Zhipin Scraper / BOSS Zhipin Job-Daten-Crawler, basierend auf dem Chrome CDP-Protokoll zur Wiederverwendung echter Anmeldesitzungen, Umgehung von Schriftarten-Anti-Scraping und Ausgabe von Klartext-Gehalts-JSON/CSV + Gehalts- und Kompetenzanalyse.
Python-Binding für Modest- und Lexbor-Engines. Schneller HTML5-Parser mit CSS-Selektoren für Python.
CLI-Werkzeug zum Speichern einer originalgetreuen Kopie einer vollständigen Webseite in einer einzigen HTML-Datei (basierend auf SingleFile)
❤️ Fredy – [F]ind [R]eal [E]state [D]amn Eas[y] – Fredy sucht fortlaufend auf Plattformen wie ImmoScout24, Immowelt und eBay Kleinanzeigen nach neuen Wohnungen, Häusern und Immobilien in Europa und liefert dir die Ergebnisse sofort über Slack, Telegram, E-Mail, Discord oder ntfy, damit du dich auf die wichtigeren Dinge im Leben konzentrieren kannst ;)
Douyin-Crawler – Erfassung öffentlicher Daten wie Profilseite des Kontos, Likes, Sammlungen, Musik-Originaltöne, Hashtags, Suche, Sammlungen, Werke, Follower, Fans usw.
Der Web-Crawler des Archivars: WARC-Ausgabe, Dashboard für alle Crawls, dynamische Ignoriermuster
Python-Crawler, Aktueller Bestand: NetEase Cloud Music Song-Crawling, Bilibili Video-Crawling, Zhihu Q&A-Crawling, Wallpaper-Crawling, xvideos Video-Crawling, Hörbuch-Crawling, Weibo-Crawler, Anjuke-Informationen-Crawling + Datenvisualisierung, Bilibili Video-Cover-Extraktor, IP-Proxy-Pool-Verpackung, Zhihu Millionen-Nutzer-Crawler + Datenanalyse, GitHub-Nutzer-Crawler
Sammlung von Patches für Puppeteer und Playwright, um Automatisierungserkennung und Lecks zu vermeiden. Hilft, Cloudflare- und DataDome-CAPTCHA-Seiten zu umgehen. Einfach zu patchen/unpatchen, kann nach Bedarf aktiviert/deaktiviert werden.
Xiaohongshu-Datenerfassung, Batch-Download-Tool für Website-Bilder und Videoressourcen, Datenerfassungstool mit extrem hoher Attraktivität (Batch-Download, Videoextraktion, Bilder) Telegram:https://t.me/+ZtLSwuIKTo44MDY1
Eine Zusammenfassung interessanter Artikel über Reverse Engineering, die einen Blick wert ist
K-Bruder Web-Scraping-Code-Sharing, JS-Reverse-Engineering, Advanced Web-Scraping. Folgen Sie dem öffentlichen WeChat-Konto von K-Bruder Web-Scraping.
🤖 Daten automatisch aus HTML-Websites scrapen, indem Sie einfach Beispiele bereitstellen
Leichter Ruby-Web-Crawler/Scraper mit einer eleganten DSL, die strukturierte Daten aus Seiten extrahiert.
Das Prime Cross Site Request Forgery (CSRF) Audit- und Exploitation-Toolkit.
Schnelle, leichtgewichtige Firecrawl/Tavily-Alternative in Rust. Web-Scraper, Crawler & Such-API mit MCP-Server für KI-Agenten. Drop-in Firecrawl-kompatible API (/scrape, /crawl, /search). 2,3x schneller als Tavily, 1,5x schneller als Firecrawl bei 1K-URL-Benchmarks. 6 MB RAM, einzelne Binärdatei. Selbst-Hosting oder Managed Cloud.
Beanbun ist ein in PHP geschriebenes Multi-Prozess-Webcrawling-Framework mit guter Offenheit und hoher Skalierbarkeit, basierend auf Workerman.