#web-scraping Repositories
Entdecke 381 aktive Open-Source-GitHub-Repositories, die mit #web-scraping getaggt sind und insgesamt 2,147,590 Sterne gesammelt haben (durchschnittlich 5,636 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist firecrawl/firecrawl mit 205,758 Sternen.
Insgesamt 382 Repositories
Wissensinfrastruktur, die Ihre Agenten intelligenter macht. Durchsuchen, extrahieren und greifen Sie über eine einzige API auf mehr als 550 Datenanbieter zu.
Kommandozeilenprogramm zum Herunterladen von Videos von YouTube.com und anderen Videosites
Open-Source-Python-Bibliothek für KI-Browser-Agenten sowie Browser Use Cloud: Stealth-Browser und eine gehostete Agenten-API.
🕷️ Das BESTE Web-Scraping-Framework – für alles von einer einzelnen Anfrage bis hin zu einem umfangreichen Crawl! Nur keine Scheu: Tritt hier bei: https://discord.gg/EMgGbDceNQ und folge uns hier für tägliche Tipps und Tricks: https://x.com/Scrapling_dev
Offizielles Crawl4AI Cloud: eine gehostete API für Web-Scraping, Extraktion und Suche für KI-Agenten. Kostenloser API-Schlüssel, 1.000 Credits pro Monat, keine Kreditkarte erforderlich. Vollständig Open Source: Dieses Repository enthält den Apache-2.0-Crawler, der den Dienst antreibt, und kann selbst gehostet werden.
Xiaohongshu Notiz | Kommentare Crawler, Douyin Video | Kommentare Crawler, Kuaishou Video | Kommentare Crawler, Bilibili Video | Kommentare Crawler, Weibo Beitrag | Kommentare Crawler, Baidu Tieba Beitrag | Baidu Tieba Kommentar Antwort Crawler | Zhihu Frage und Antwort Artikel | Kommentare Crawler
Scrapy, ein schnelles Framework auf hohem Niveau für Web-Crawling und -Scraping in Python.
Legado 3.0 Book Reader mit leistungsstarken Steuerelementen & vollständigen Funktionen ❤️ Lesen 3.0, Lesen ist ein Tool, das benutzerdefinierte Quellen zum Lesen von Online-Inhalten ermöglicht und Netzwerkliteratur-Enthusiasten eine bequeme, schnelle und angenehme Testleserfahrung bietet.
Klonen Sie jede Website mit einem Befehl mithilfe von KI-Coding-Agenten
Das beste und einfachste Tool zur Erkennung von Website-Änderungen, zur Überwachung von Webseiten und für Änderungsbenachrichtigungen. Ideal, um Inhaltsänderungen, Preissenkungen, Wiederverfügbarkeiten und Manipulationen an Websites zu verfolgen – MCP inklusive! Alles kostenlos oder mit unserem SaaS-Tarif.
Stealth-Chromium, das alle Bot-Erkennungstests besteht. Direkter Ersatz für Playwright mit Fingerprint-Patches auf Quellcode-Ebene. Über 50 Tests bestanden.
Crawlee—Eine Web-Scraping- und Browser-Automatisierungs-Bibliothek für Node.js, um zuverlässige Crawler zu erstellen. In JavaScript und TypeScript. Extrahieren von Daten für KI, LLMs, RAG oder GPTs. Herunterladen von HTML, PDF, JPG, PNG und anderen Dateien von Websites. Funktioniert mit Puppeteer, Playwright, Cheerio, JSDOM und rohem HTTP. Sowohl im headful- als auch im headless-Modus. Mit Proxy-Rotation.
Das SDK zum Extrahieren von Daten und Interagieren mit jeder Website im Web. Legen Sie mit Claude Code, Codex, Eve, Mastra und mehr los.
Der beste Headless-Browser für KI-Agenten. Leichtgewichtig, schnell und hochkompatibel. In Rust entwickelt
🚀 Self-hosted API zur Datenerfassung von Douyin, TikTok und Bilibili sowie zum Herunterladen wasserzeichenfreier Videos. Unterstützt Aufrufe durch KI-Agenten via MCP und Offline-Spracherkennung. Docker-Bereitstellung mit einem Klick. | Self-hosted Scraper für TikTok, Douyin und Bilibili sowie Downloader für Videos ohne Wasserzeichen — asynchrone REST-API, MCP-Server für KI-Agenten, CLI und Webkonsole sowie Offline-Spracherkennung für heruntergeladene Videos. Selbstheilender Identitätspool, PostgreSQL-Archiv und Start mit einem einzigen `docker compose up`.
Verwandeln Sie jede Website in eine strukturierte API. Extrahieren, automatisieren, durchsuchen und überwachen Sie das Web.
Open-Source-Alternative zu NotebookLM mit abgeschotteter Netzwerkumgebung und Fokus auf Datenschutz. Ein KI-Agent, der Ihre Dokumente recherchiert, umwandelt und bearbeitet. Treten Sie unserem Discord bei: https://discord.gg/ejRNvftDp9
Konvertieren Sie Dokumentations-Websites, GitHub-Repositories und PDFs in Claude AI Skills mit automatischer Konflikterkennung
🚂 12306 Ticketkauf-Assistent, unterstützt Cluster, mehrere Accounts, Mehrfachticketkauf und Webseitenverwaltung
Open-Source-KI-Agent für die Webautomatisierung. Automatisiere alltägliche Aufgaben mit deinem echten, angemeldeten Browser.
Schnelle und zuverlässige Browser-Automatisierung für End-to-End-Tests, Scraping und unauffälliges Browsing. Umgeht die Bot-Erkennung mit dem CDP-Modus. Integriert sich in pytest, Playwright und MCP.
Ein praktischer Douyin-Downloader für den Download einzelner Inhalte sowie von Profilen in Stapeln, mit Fortschrittsanzeige, Wiederholungsversuchen, SQLite-Deduplizierung und Browser-Fallback-Unterstützung. Ein Douyin-Tool für Stapeldownloads von Videos, Bildergalerien, Sammlungen und Musik (Originalton).
Stealth-Headless-Browser für KI-Agenten — umgeht Cloudflare, Bot-Erkennung und Anti-Scraping. Drop-in-Ersatz für Puppeteer/Playwright.
jsoup: Der Java-HTML-Parser, entwickelt für HTML-Bearbeitung, -Reinigung, -Scraping und XSS-Sicherheit.
Automatisierter CAPTCHA-Löser für Ihren Browser. Funktioniert mit Selenium, Puppeteer, Playwright und mehr.
High‑Performance-Browser‑Automationsbridge und Multi‑Instance-Orchestrator mit fortschrittlicher stealth‑Injektion und Echtzeit‑Dashboard.
Crawlee – eine Python-Bibliothek für Web Scraping und Browserautomatisierung zum Erstellen zuverlässiger Crawler. Extrahiere mit Pydantic AI und LLMs strukturierte Daten oder steuere den Browser mit Stagehand in natürlicher Sprache. Funktioniert mit BeautifulSoup, Parsel, Playwright und rohem HTTP. Lade HTML-, PDF- und Bilddateien sowie andere Dateien herunter. Proxy-Rotation ist integriert.
FreeAskInternet ist ein völlig kostenloser, PRIVATER und LOKAL laufender Suchaggregator & Antwortgenerator, der MULTIPLE LLMs verwendet, ohne dass eine GPU benötigt wird. Der Benutzer kann eine Frage stellen, und das System führt eine Multi-Engine-Suche durch und kombiniert die Suchergebnisse mit LLM, um die Antwort basierend auf den Suchergebnissen zu generieren. Es ist alles KOSTENLOS nutzbar.
Datenerfassung mit Xiaohongshu (RED)-Crawler, Reverse Engineering von Xiaohongshu, private Nachrichten, Livestreaming und Gesamtlösungen für den Xiaohongshu-Betrieb
Dieses GitHub-Repo ist eine leistungsstarke Sammlung von APIs, die Sie sofort nutzen können, um alles von einfachen Automatisierungen bis hin zu vollwertigen Anwendungen zu erstellen. Eine der wertvollsten API-Listen auf GitHub – Punkt. 💪
Daten von Google Maps scrapen. Extrahiert Daten wie Name, Adresse, Telefonnummer, Website-URL, Bewertung, Anzahl der Bewertungen, Breiten- und Längengrad, Bewertungen, E-Mail und mehr für jeden Ort
Liste von Bibliotheken, Tools und APIs für Web Scraping und Datenverarbeitung.
Ein intelligenter, automatischer, schneller und leichtgewichtiger Web-Scraper für Python
Offizieller Firecrawl-MCP-Server, die Kontext-API für KI-Agenten: Mit jedem MCP-Client im Web suchen, Inhalte extrahieren und interagieren sowie Inhalte parsen, crawlen und kartieren und Agent und Monitor nutzen.
Gerstenautomatische Ticketbuchung, unterstützt Auswahl von Personen, Städten, Datumsserien und Preisen
Python- und Kommandozeilen-Tool zum Sammeln von Text und Metadaten im Web: Crawling, Scraping, Extraktion, Ausgabe als CSV, JSON, HTML, MD, TXT, XML
Pydoll ist eine Bibliothek zur Automatisierung von Chromium-basierten Browsern ohne WebDriver, die realistische Interaktionen bietet.
Python-Bindung für curl-impersonate-Fork über cffi. Ein HTTP-Client, der Browser-TLS/JA3/HTTP2-Fingerabdrücke imitieren kann.
Browser-Automatisierungs-CLI für KI-Agenten. Durchbrechen Sie Anti-Bot-Wände, übergeben Sie bei Problemen plattformübergreifend an Menschen. Parallele Multitasking-Ausführung, unabhängiger Multisession-Betrieb, isoliertes Multi-Account-Browsing.
Ein Open-Source-Deep-Research-Klon. KI-Agent, der große Mengen an Webdaten mit Firecrawl extrahiert und daraus Schlüsse zieht.
Deklarative Datenautomatisierungssprache und Go-Laufzeit für strukturierte Extraktionsworkflows.
EyeWitness wurde entwickelt, um Screenshots von Websites zu erstellen, einige Server-Header-Informationen bereitzustellen und Standardanmeldeinformationen zu identifizieren, falls möglich.
Häufig gestellte Fragen
Welches ist das beliebteste #web-scraping-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#web-scraping-Projekt auf GitHub ist firecrawl/firecrawl mit 205,758 Sternen. Wissensinfrastruktur, die Ihre Agenten intelligenter macht. Durchsuchen, extrahieren und greifen Sie über eine einzige API auf mehr als 550 Datenanbieter zu.
Welche Programmiersprachen werden in #web-scraping-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #web-scraping-Projekten auf GitHub sind Python, TypeScript, JavaScript, Go die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #web-scraping-Repositories berechnet?
Wir verfolgen 381 aktive Open-Source-Repositories, die mit #web-scraping getaggt sind (500+ Sterne), mit insgesamt 2,147,590 Sternen und durchschnittlich 5,636 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.