#scraper Repositories
Entdecke 128 aktive Open-Source-GitHub-Repositories, die mit #scraper getaggt sind und insgesamt 792,441 Sterne gesammelt haben (durchschnittlich 6,190 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist firecrawl/firecrawl mit 205,758 Sternen.
Insgesamt 128 Repositories
Wissensinfrastruktur, die Ihre Agenten intelligenter macht. Durchsuchen, extrahieren und greifen Sie über eine einzige API auf mehr als 550 Datenanbieter zu.
Offizielles Crawl4AI Cloud: eine gehostete API für Web-Scraping, Extraktion und Suche für KI-Agenten. Kostenloser API-Schlüssel, 1.000 Credits pro Monat, keine Kreditkarte erforderlich. Vollständig Open Source: Dieses Repository enthält den Apache-2.0-Crawler, der den Dienst antreibt, und kann selbst gehostet werden.
Erstellen Sie Agenten, die für Sie überwachen und handeln. Ihre Agenten stehen bereit!
Ein visueller No-Code-Web-Crawler/Spider: Eine Software zur Browserautomatisierung, Datenerfassung und zum Web-Scraping, mit der Crawling-Aufgaben grafisch und ohne Programmierung entworfen und ausgeführt werden können. Alias: ServiceWrapper, ein intelligentes Service-Kapselungssystem für Webanwendungen.
Die schnelle, flexible und elegante Bibliothek zum Parsen und Manipulieren von HTML und XML.
Crawlee—Eine Web-Scraping- und Browser-Automatisierungs-Bibliothek für Node.js, um zuverlässige Crawler zu erstellen. In JavaScript und TypeScript. Extrahieren von Daten für KI, LLMs, RAG oder GPTs. Herunterladen von HTML, PDF, JPG, PNG und anderen Dateien von Websites. Funktioniert mit Puppeteer, Playwright, Cheerio, JSDOM und rohem HTTP. Sowohl im headful- als auch im headless-Modus. Mit Proxy-Rotation.
🚀 Self-hosted API zur Datenerfassung von Douyin, TikTok und Bilibili sowie zum Herunterladen wasserzeichenfreier Videos. Unterstützt Aufrufe durch KI-Agenten via MCP und Offline-Spracherkennung. Docker-Bereitstellung mit einem Klick. | Self-hosted Scraper für TikTok, Douyin und Bilibili sowie Downloader für Videos ohne Wasserzeichen — asynchrone REST-API, MCP-Server für KI-Agenten, CLI und Webkonsole sowie Offline-Spracherkennung für heruntergeladene Videos. Selbstheilender Identitätspool, PostgreSQL-Archiv und Start mit einem einzigen `docker compose up`.
Verwandeln Sie jede Website in eine strukturierte API. Extrahieren, automatisieren, durchsuchen und überwachen Sie das Web.
newspaper3k ist eine Nachrichten-, Volltext- und Artikelmetadatenextraktion in Python 3. Erweiterte Dokumentation:
Automatisierter CAPTCHA-Löser für Ihren Browser. Funktioniert mit Selenium, Puppeteer, Playwright und mehr.
AV-Filververwaltungssystem, avmoo, javbus, javlibrary Crawler, Online-AV-Filmbibliothek, AV-Magnetlink-Datenbank, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database
Crawlee – eine Python-Bibliothek für Web Scraping und Browserautomatisierung zum Erstellen zuverlässiger Crawler. Extrahiere mit Pydantic AI und LLMs strukturierte Daten oder steuere den Browser mit Stagehand in natürlicher Sprache. Funktioniert mit BeautifulSoup, Parsel, Playwright und rohem HTTP. Lade HTML-, PDF- und Bilddateien sowie andere Dateien herunter. Proxy-Rotation ist integriert.
Ein intelligenter, automatischer, schneller und leichtgewichtiger Web-Scraper für Python
💡 Laden Sie den vollständigen Quellcode einer beliebigen Website herunter (einschließlich aller Assets). [ Javascripts, Stylesheets, Images ] mit Node.js
Analyse von Bot-Schutzsystemen mit verfügbaren Gegenmaßnahmen 🚿. Wie man Anti-Bot-Systeme 👻 besiegt und Browser-Fingerprinting-Skripte 🕵️♂️ beim Web-Scraping umgeht?
Twitter API Scraper | Ohne API-Schlüssel | Twitter Interne API | Kostenlos | Twitter Scraper | Twitter Bot
Schweizer Taschenmesser zum Scrapen und Extrahieren von Daten aus Online-Assets, gemacht für Hacker
Eine Community-gesteuerte Methode, um mit KI-Bots zu lesen und zu chatten – angetrieben von chatGPT.
Ein Datenscraper mit aktuellem Schwerpunkt auf Inhalten für Erwachsene (OnlyFans usw.) – wird regelmäßig aktualisiert
Nimm eine Liste von Domains, durchsuche URLs und scanne nach Endpunkten, Geheimnissen, API-Schlüsseln, Dateierweiterungen, Tokens und mehr.
Open-Source Web-Scraping-API. Verwandeln Sie jede Website in sauberes Markdown oder strukturiertes JSON. Anti-Detect-Browser, automatische Proxy-Auswahl, selbst gehostet. Ein Befehl: make up
Ein Emby/Jellyfin-Plugin für japanische Filme-Scraper, das Film-Informationen von bestimmten Websites abruft.
Ein leistungsstarker Web-Scraper, angetrieben von LLMs | OpenAI, Gemini & Ollama
Möchtest du KOSTENLOS NEUES LERNEN? Keine Sorge, mit der Macht von Web-Scraping und Automatisierung findet dieses Skript die notwendigen Udemy-Gutscheine und schreibt dich für BEZAHLTE UDEMY-KURSE ein, ABSOLUT KOSTENLOS!
Python-Bibliothek und CLI für das Scraping von X/Twitter mit Multi-Account-Rotation und integrierter Ratenbegrenzungsverwaltung.
Erfahren Sie Schritt für Schritt, wie Sie Google Trends-Daten scrapen und einen Ergebnisvergleich mithilfe von Python und der Oxylabs SERP API durchführen. Extrahieren Sie Schlüsselwörter, deren Beliebtheit, Aufschlüsselung nach Region, verwandte Suchanfragen und mehr.
Geziyor, ultraschnelles Web-Crawling- & Scraping-Framework für Go. Unterstützt JS-Rendering.
Extrahieren Sie Metadaten von jeder URL unter Verwendung von Open Graph, JSON-LD, HTML-Meta-Tags und intelligenten Fallbacks.
:spider: Das progressive PHP-Crawler-Framework! Elegantes progressives PHP-Sammel-Framework.
TikTok LIVE API für Node.js: Eine inoffizielle Bibliothek zum Echtzeit-Empfang von Livestream-Ereignissen (Kommentare, Geschenke usw.) aus TikTok LIVE.
Komplett kostenloser, privater, UI-basierter Tech-Dokumentations-MCP-Server. Entwickelt für Programmierer und Softwareentwickler. Einfache Integration in Cursor, Windsurf, Cline, Roo Code, Claude Desktop App
NewPipe's Kernbibliothek zum Extrahieren von Daten aus Streaming-Seiten
Kostenloses OSINT-Tool für E-Mail-Adressen, über 5.000 Plattformen, Identitäts-Clustering und Erkennung von Datenlecks. Keine API-Schlüssel erforderlich. pip install mailaccess
BOSS Zhipin Scraper / BOSS Zhipin Job-Daten-Crawler, basierend auf dem Chrome CDP-Protokoll zur Wiederverwendung echter Anmeldesitzungen, Umgehung von Schriftarten-Anti-Scraping und Ausgabe von Klartext-Gehalts-JSON/CSV + Gehalts- und Kompetenzanalyse.
Website in lokales Verzeichnis herunterladen (einschließlich aller CSS, Bilder, JS usw.)
Erfahren Sie, wie Sie Ihren eigenen Google Jobs Scraper erstellen, der mit Python und der Google Jobs Scraper API von Oxylabs gleichzeitig Google Jobs für mehrere Suchanfragen und geografische Standorte abruft. https://oxylabs.io/blog/how-to-scrape-google-jobs
Google Play Scraper zum Sammeln öffentlicher Details über Anwendungen, Spiele, Filme & Fernsehsendungen, Bücher und mehr.
Häufig gestellte Fragen
Welches ist das beliebteste #scraper-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#scraper-Projekt auf GitHub ist firecrawl/firecrawl mit 205,758 Sternen. Wissensinfrastruktur, die Ihre Agenten intelligenter macht. Durchsuchen, extrahieren und greifen Sie über eine einzige API auf mehr als 550 Datenanbieter zu.
Welche Programmiersprachen werden in #scraper-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #scraper-Projekten auf GitHub sind Python, TypeScript, Go, JavaScript die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #scraper-Repositories berechnet?
Wir verfolgen 128 aktive Open-Source-Repositories, die mit #scraper getaggt sind (500+ Sterne), mit insgesamt 792,441 Sternen und durchschnittlich 6,190 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.