#web-scraping Repositories
Insgesamt 382 Repositories
AI Map ist ein KI-gestütztes Website-Mapping-Tool von Oxylabs AI Studio, das natürliche Sprachprompts verwendet, um relevante URLs von jeder Website intelligent zu erkennen und zu extrahieren.
❤️ Fredy – [F]ind [R]eal [E]state [D]amn Eas[y] – Fredy sucht fortlaufend auf Plattformen wie ImmoScout24, Immowelt und eBay Kleinanzeigen nach neuen Wohnungen, Häusern und Immobilien in Europa und liefert dir die Ergebnisse sofort über Slack, Telegram, E-Mail, Discord oder ntfy, damit du dich auf die wichtigeren Dinge im Leben konzentrieren kannst ;)
🖱️ Generiere menschliche Mausbewegungen mit Puppeteer oder auf jeder 2D-Ebene
Selbst gehostete Websuche für KI-Agenten und SEO. Google, Bing, Yandex, Baidu, DuckDuckGo und Ecosia, dargestellt in einem echten Browser: sortierte Ergebnisse und sauberes Markdown der Seiten. API, CLI, MCP 🎉
Nicht erkannte Python-Version der Playwright-Test- und Automatisierungsbibliothek.
Eine einfache Chrome- (und Firefox-)Erweiterung, die Web-Romane (und andere Webseiten) in ein EPUB umwandelt.
AgentQL ist eine Suite von Tools, um Ihre KI mit dem Web zu verbinden. Mit einer Abfragesprache und Playwright-Integrationen für die schnelle, präzise und skalierbare Interaktion mit Elementen und die Extraktion von Daten. Enthält REST API, Python- und JavaScript-SDKs sowie einen Browser-Debugger.
Mietwohnungen auf der Karte suchen: Müde davon, die ganze Stadt nach einer Wohnung abzusuchen? Probieren Sie eine andere Methode aus und suchen Sie direkt auf der Karte nach Mietwohnungen! [Offizieller WeChat-Account und Mini-Programm: 人生删除指南]
Sammlung von Patches für Puppeteer und Playwright, um Automatisierungserkennung und Lecks zu vermeiden. Hilft, Cloudflare- und DataDome-CAPTCHA-Seiten zu umgehen. Einfach zu patchen/unpatchen, kann nach Bedarf aktiviert/deaktiviert werden.
Sammeln Sie strukturierte Antworten von einem ChatGPT-Scraper, indem Sie eine Eingabeaufforderung mit gültigen ChatGPT-Scraping-API-Anmeldeinformationen senden. Aktivieren Sie die Live-Suche, injizieren Sie HTML-Kontext und automatisieren Sie intelligente Scraper-ChatGPT-Workflows mit nur wenigen Parametern.
WebAI2API: Tool zur Umwandlung von Web-AI in API basierend auf Camoufox, unterstützt LMArena/Gemini u.a., Multi-Fenster-Konkurrenz & Konto-Isolierung. | Web AI to OpenAI API via Camoufox. Supports LMArena/Gemini and more, multi-window concurrency & account isolation.
Verwenden Sie die Web Scraper API, um Daten von Google Finanzen zu extrahieren, einschließlich Aktientitel, Preisgestaltung und Preisänderungen in Prozent.
Puppeteer für Python, das Anti-Bot-Systeme nicht erkennen können – ganz ohne Captchas: dieselbe API, ein unsichtbarer, Anti-Detection-fähiger Headless-Firefox, ein nicht erkennbarer Fingerabdruck, Umgehung der Bot-Erkennung, Web-Scraping und Browser-Automatisierung.
📖 MCP-Server zum Abrufen von deepwiki.com und Erhalten des neuesten Wissens in Cursor und anderen Code-Editoren
Go HTTP Client mit browseridentischem TLS/HTTP2-Fingerprinting. Umgeht Bot-Erkennung, indem Chrome, Firefox und Safari auf kryptografischer Ebene (JA3/JA4, Akamai-Fingerabdruck, Header-Reihenfolge) perfekt nachgeahmt werden. Unterstützt HTTP/1.1, HTTP/2, HTTP/3, Sessions, Cookies und Proxies.
Python3-Skript zum Herunterladen von archive.org-Büchern im PDF-Format
Calibre neues Metadatenquellen-Plugin für Douban. Douban stellt keine Buch-APIs mehr öffentlich zur Verfügung, daher kann es nur Web-Crawling verwenden, um Daten zu erhalten. Dies ist ein Calibre-Douban-Plugin, das auf Web-Crawling basiert.
🔥 KI‑gestützte Web‑Monitoring‑Plattform. Erstellen Sie automatisierte Scouts, die das Web durchsuchen und E‑Mail‑Benachrichtigungen senden, wenn sie finden, wonach Sie suchen.
WebLoop: Skriptfähiges, Headless-WebKit mit einer Go-API. Wie PhantomJS, aber für Go.
Flyscrape ist ein Kommandozeilen-Web-Scraping-Tool, das sich an Personen ohne fortgeschrittene Programmierkenntnisse richtet.
Dianping-Crawler (ganze Website durchsuchbar, löst dynamische Schrifterverschlüsselung, kein OCR). Kontinuierliche Aktualisierung
KI-gestütztes Data-Enrichment-Tool, das E-Mails mit Firecrawl und Multi-Agent-KI in reichhaltige Datensätze mit Unternehmensprofilen, Finanzierungsdaten, Technologie-Stacks und mehr umwandelt
Kspider ist eine Crawler-Plattform, die es ermöglicht, Crawler-Workflows grafisch zu definieren, wodurch Crawler-Workflows ohne Code implementiert werden können. Kspider beschränkt sich nicht nur auf Web-Crawling, sondern kann auch für die WEB-Automatisierung getestet werden. Weitere Funktionen warten darauf, von Ihnen entdeckt zu werden.
Schnelle, leichtgewichtige Firecrawl/Tavily-Alternative in Rust. Web-Scraper, Crawler & Such-API mit MCP-Server für KI-Agenten. Drop-in Firecrawl-kompatible API (/scrape, /crawl, /search). 2,3x schneller als Tavily, 1,5x schneller als Firecrawl bei 1K-URL-Benchmarks. 6 MB RAM, einzelne Binärdatei. Selbst-Hosting oder Managed Cloud.
Ein automatisierter Preisverfolger, der Bright Data, Playwright, React und Flask verwendet.
Chromium-Fingerprinting-Engine auf Quellcodeebene, von Erkennungsseiten wie ein gewöhnliches Chrome bewertet. Ein Chromium-Fingerprinting-Kernel auf Quellcodeebene, der Bot-Erkennungstests besteht. Keine JS-Injektion – C++-Patches, die in die Binärdatei kompiliert werden.
HTTP(S)/SOCKS5 rotierende Residential-Proxys - Code-Beispiele & allgemeine Informationen.
Holen Sie sich cookies.txt, senden Sie NIEMALS Informationen nach außen.
Eine Web-Erweiterung zum Ausschneiden von Informationen aus Webseiten. Speichern Sie sie auf Ihrem lokalen Gerät, um die Ungültigkeit von Informationen zu vermeiden. Keine langweilige Registrierung, keine Gebühren.
Automatische Anmeldung auf der Website netlib.re zur Domain-Aktivitätserhaltung