#web-scraping Repositories
Insgesamt 382 Repositories
Selbst gehostete Scraping-Engine — umgeht jede JS-Herausforderung und jedes Captcha: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Alternative zu FlareSolverr und Byparr und direkter Ersatz für Ihren *arr-Stack.
Eine JavaScript-Bibliothek zum Generieren zufälliger User-Agents mit täglich aktualisierten Daten.
Eine selbst gehostete API, die eine URL entgegennimmt und eine Datei mit Browser-Screenshots zurückgibt.
Stellen Sie Scrapers für alle großen israelischen Banken und Kreditkartenunternehmen bereit
Ein Tool zum Scrapen von LinkedIn ohne API-Einschränkungen für die Datenaufklärung
In diesem Repository finden Sie Beispielcode-Dateien für jeden Tag des Kurses "Python für OSINT. Ein 21-tägiger Kurs für Anfänger".
Xiaohongshu xs Pure-Berechnung, Reverse Engineering der reinen Berechnungslogik für Felder wie Xiaohongshu x-s, x-s-common, xsc.
Schreiben Sie Web‑Scraper in Ruby mit einer sauberen, KI‑gestützten DSL. Kimurai nutzt KI, um herauszufinden, wo die Daten liegen, speichert dann die Selektoren im Cache und scrapt ausschließlich mit reinem Ruby. Profitieren Sie von der Intelligenz eines LLM ohne die Latenz pro Anfrage oder Token‑Kosten.
Stable Tribe. Professionelles Backup und Export von Weibo-Aufzeichnungen, stabil!
Über 660 von muapi gehostete generative Medienmodelle sowie von der Community eingereichte API-Tools von Drittanbietern (SEO, Datenanreicherung, soziale Medien, Scraping) — eine YAML-Datei pro Eintrag, nach Funktionen durchsuchbar.
Kernelbasierter Anti-Erkennungsbrowser mit der Playwright-API, die Sie bereits verwenden. Python- und Node-SDKs, MCP-fähig, unbegrenzt viele lokale Profile. Linux x64 + arm64, macOS Intel + Apple Silicon, Windows x64.
Die letzte Änderungszeit der Position ist auf einen Blick ersichtlich: Grün bedeutet innerhalb von 2 Wochen, Dunkelorange bedeutet innerhalb von 1,5 Monaten, Rot bedeutet über 1,5 Monate
Ein Social-Media-Sentimentanalyseprojekt auf Basis von Weibo-Daten, einschließlich Weibo-Crawler, LDA-Themenanalyse und Sentimentanalyse.
Ein HTTP-Stealth-Proxy der nächsten Generation, der Anfragen auf allen Ebenen des Stacks perfekt als Chrome-Browser tarnt.
SiteOne Crawler ist ein plattformübergreifender Website-Crawler und -Analysator für SEO, Sicherheit, Zugänglichkeit und Leistungsoptimierung – ideal für Entwickler, DevOps, QA-Ingenieure und Berater. Unterstützt Windows, macOS und Linux (x64 und arm64).
Eine Rust-Bibliothek zum Extrahieren nützlicher Daten aus HTML-Dokumenten, geeignet für Web-Scraping.
Ranking von Google Scholar-Suchergebnissen basierend auf der Anzahl der Zitationen
Code für "WebVoyager: WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models"
Geektime Kursdownloader, unterstützt den Download von Geektime-Blogs/Videokursen/Täglichen Lektionen/Big Factory Practicals/Bootcamp-Videos
Dies ist ein schlanker, speziell für KI-Agenten (wie Codex oder Claude Code) entwickelter Headless-Browser zur Automatisierung von Browseraufgaben. Er ist darauf ausgelegt, verschiedene Webschutzsysteme, Anmeldeprozesse und Reverse-Engineering-Szenarien zu bewältigen.
Ermöglicht den Massendownload aller Ihrer Kindle-eBooks auf eine automatisiertere Weise. Dieses Tool ermöglicht es Ihnen, Sicherungskopien der Bücher zu erstellen, die Sie bereits gekauft haben.
Automatisches Scan-Tool für ChatGPT Team (Business) Aktionscodes — Batch-Erkennung/Validierung/Preiserfassung, unterstützt 34 Codes in 17 Ländern, bis zu 71 % Rabatt | ChatGPT Business promo code scanner — batch discovery, validation, price collection, 34 codes across 17 countries, up to 71% off
Eine Chrome-Erweiterung für die Erkennung sensibler Web-Informationen und Fingerprinting.
Dorks Eye Google Hacking Dork Scraping und Suchskript. Dorks Eye ist ein Skript, das ich in Python 3 erstellt habe. Mit diesem Tool können Sie leicht Google Dorks finden. Dork Eye sammelt potenziell anfällige Webseiten und Anwendungen im Internet oder andere großartige Informationen, die von Googles Suchbots erfasst werden. Autor: Jolanda de Koff