#scraping Repositories
Entdecke 109 aktive Open-Source-GitHub-Repositories, die mit #scraping getaggt sind und insgesamt 768,143 Sterne gesammelt haben (durchschnittlich 7,047 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist firecrawl/firecrawl mit 205,758 Sternen.
Insgesamt 109 Repositories
Wissensinfrastruktur, die Ihre Agenten intelligenter macht. Durchsuchen, extrahieren und greifen Sie über eine einzige API auf mehr als 550 Datenanbieter zu.
🕷️ Das BESTE Web-Scraping-Framework – für alles von einer einzelnen Anfrage bis hin zu einem umfangreichen Crawl! Nur keine Scheu: Tritt hier bei: https://discord.gg/EMgGbDceNQ und folge uns hier für tägliche Tipps und Tricks: https://x.com/Scrapling_dev
Scrapy, ein schnelles Framework auf hohem Niveau für Web-Crawling und -Scraping in Python.
🕵️♂️ Erstelle anhand eines Benutzernamens aus 6.000 Websites ein Dossier über eine Person
Crawlee—Eine Web-Scraping- und Browser-Automatisierungs-Bibliothek für Node.js, um zuverlässige Crawler zu erstellen. In JavaScript und TypeScript. Extrahieren von Daten für KI, LLMs, RAG oder GPTs. Herunterladen von HTML, PDF, JPG, PNG und anderen Dateien von Websites. Funktioniert mit Puppeteer, Playwright, Cheerio, JSDOM und rohem HTTP. Sowohl im headful- als auch im headless-Modus. Mit Proxy-Rotation.
Benutzerdefinierter Selenium Chromedriver | Zero-Konfig | Besteht alle Bot-Mitigationssysteme (wie Distil / Imperva / Datadadome / CloudFlare IUAM)
Stealth-Headless-Browser für KI-Agenten — umgeht Cloudflare, Bot-Erkennung und Anti-Scraping. Drop-in-Ersatz für Puppeteer/Playwright.
Crawlee – eine Python-Bibliothek für Web Scraping und Browserautomatisierung zum Erstellen zuverlässiger Crawler. Extrahiere mit Pydantic AI und LLMs strukturierte Daten oder steuere den Browser mit Stagehand in natürlicher Sprache. Funktioniert mit BeautifulSoup, Parsel, Playwright und rohem HTTP. Lade HTML-, PDF- und Bilddateien sowie andere Dateien herunter. Proxy-Rotation ist integriert.
Liste von Bibliotheken, Tools und APIs für Web Scraping und Datenverarbeitung.
Ein intelligenter, automatischer, schneller und leichtgewichtiger Web-Scraper für Python
Tabula ist ein Werkzeug, um Daten-Tabellen zu befreien, die in PDF-Dateien gefangen sind
Python- und Kommandozeilen-Tool zum Sammeln von Text und Metadaten im Web: Crawling, Scraping, Extraktion, Ausgabe als CSV, JSON, HTML, MD, TXT, XML
Pydoll ist eine Bibliothek zur Automatisierung von Chromium-basierten Browsern ohne WebDriver, die realistische Interaktionen bietet.
🚀 Kostenlose HTTP-, SOCKS4- & SOCKS5-Proxy-Liste * Alle 5 Minuten aktualisiert * und rotierende Proxy-API (über 100 Länder)
Twitter API Scraper | Ohne API-Schlüssel | Twitter Interne API | Kostenlos | Twitter Scraper | Twitter Bot
Schweizer Taschenmesser zum Scrapen und Extrahieren von Daten aus Online-Assets, gemacht für Hacker
Mechanize ist eine Ruby-Bibliothek, die automatisierte Web-Interaktion erleichtert.
Sammlung nützlicher Data-Science-Themen zusammen mit Artikeln, Videos und Code
Entwickle für jede Website per Reverse Engineering einen typisierten API-Client. Funktioniert mit Claude Code, Codex, Cursor und OpenCode.
AnyCrawl 🚀: Ein Node.js/TypeScript-Crawler, der Webseiten in LLM-fertige Daten umwandelt und strukturierte SERP-Ergebnisse von Google/Bing/Baidu/etc. extrahiert. Native Mehrfach-Threading für die Stapelverarbeitung.
Ein Open-Source-Fingerprinting-Browser, der auf Ungoogled Chromium basiert. Fingerabdruck-Browser, Datenschutz-Browser
Möchtest du KOSTENLOS NEUES LERNEN? Keine Sorge, mit der Macht von Web-Scraping und Automatisierung findet dieses Skript die notwendigen Udemy-Gutscheine und schreibt dich für BEZAHLTE UDEMY-KURSE ein, ABSOLUT KOSTENLOS!
Python-Bibliothek und CLI für das Scraping von X/Twitter mit Multi-Account-Rotation und integrierter Ratenbegrenzungsverwaltung.
Erfahren Sie Schritt für Schritt, wie Sie Google Trends-Daten scrapen und einen Ergebnisvergleich mithilfe von Python und der Oxylabs SERP API durchführen. Extrahieren Sie Schlüsselwörter, deren Beliebtheit, Aufschlüsselung nach Region, verwandte Suchanfragen und mehr.
Geziyor, ultraschnelles Web-Crawling- & Scraping-Framework für Go. Unterstützt JS-Rendering.
Ein leistungsstarker Model Context Protocol (MCP)-Server, der eine All-in-One-Lösung für den öffentlichen Webzugriff bietet.
Browser-Fingerprinting-Tools zur Anonymisierung Ihrer Scraper. Entwickelt von Apify.
Fortgeschrittenes Privacy-Browser-Core mit einheitlichem Fingerabdruckschutz: Cloudflare, Akamai, Kasada, Shape, DataDome, PerimeterX, hCaptcha, FunCaptcha, Imperva, reCAPTCHA, ThreatMetrix, Adscore
Unsichtbares Playwright: Playwright, das Anti-Bot-Systeme nicht erkennen können – also keine Captchas: dieselbe API, unauffälliges Headless-Firefox mit Anti-Erkennung, nicht erkennbare Fingerprints, umgeht die Bot-Erkennung, Python-Web-Scraping und Browser-Automatisierung.
Ein CLI-Dienstprogramm zum Erstellen von Screenshots von Websites, Aufnehmen von Videodemos und Scrapen von Websites mit JavaScript
OSINT-Spickzettel, Liste von OSINT-Tools, Wiki, Datensatz, Artikel, Buch, Red-Team-OSINT für Hacker und OSINT-Tipps und OSINT-Zweig. Dieses Repository wird jedes Mal wachsen, wenn recherchiert wird, es gibt Forschung, Wissenschaft und Technologie, Tutorials. Bitte nutzen Sie es mit Bedacht.
Liste von Anti-Erkennungs- und Humanisierungs-Tools und Browsern, einschließlich CAPTCHA-Lösern und SMS-Aktivierung.
Internet-in-a-Box - Baue deine eigene Bibliothek von Alexandria mit einem Raspberry Pi!
Verbergen Sie Ihre Scraper-IP hinter der Cloud. Stellen Sie Proxy-Server über verschiedene Cloud-Anbieter bereit, um Ihren Scraping-Erfolg zu verbessern.
In diesem Tutorial zeigen wir, wie man öffentliche Google-Daten mit Python und der Oxylabs API scrapt.
Holen Sie sich saubere Daten aus kniffligen Dokumenten, angetrieben von Vision-Language-Modellen ⚡
Häufig gestellte Fragen
Welches ist das beliebteste #scraping-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#scraping-Projekt auf GitHub ist firecrawl/firecrawl mit 205,758 Sternen. Wissensinfrastruktur, die Ihre Agenten intelligenter macht. Durchsuchen, extrahieren und greifen Sie über eine einzige API auf mehr als 550 Datenanbieter zu.
Welche Programmiersprachen werden in #scraping-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #scraping-Projekten auf GitHub sind Python, TypeScript, Go, JavaScript die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #scraping-Repositories berechnet?
Wir verfolgen 109 aktive Open-Source-Repositories, die mit #scraping getaggt sind (500+ Sterne), mit insgesamt 768,143 Sternen und durchschnittlich 7,047 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.