Git Stars Git Stars

#scraping Repositories

Entdecke 109 aktive Open-Source-GitHub-Repositories, die mit #scraping getaggt sind und insgesamt 768,143 Sterne gesammelt haben (durchschnittlich 7,047 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist firecrawl/firecrawl mit 205,758 Sternen.

109
Gesamtzahl der Repositories
768,143
Gesamtanzahl der Sterne
7,047
Durchschnittliche Sterne/Repo

Insgesamt 109 Repositories

1
firecrawl/firecrawl

Wissensinfrastruktur, die Ihre Agenten intelligenter macht. Durchsuchen, extrahieren und greifen Sie über eine einzige API auf mehr als 550 Datenanbieter zu.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-04-15
2
D4Vinci/Scrapling

🕷️ Das BESTE Web-Scraping-Framework – für alles von einer einzelnen Anfrage bis hin zu einem umfangreichen Crawl! Nur keine Scheu: Tritt hier bei: https://discord.gg/EMgGbDceNQ und folge uns hier für tägliche Tipps und Tricks: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2024-10-13
3
scrapy/scrapy

Scrapy, ein schnelles Framework auf hohem Niveau für Web-Crawling und -Scraping in Python.

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2010-02-22
4
soxoj/maigret

🕵️‍♂️ Erstelle anhand eines Benutzernamens aus 6.000 Websites ein Dossier über eine Person

soxoj
⭐ 41,111 Python 👤 soxoj User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2020-06-27
5
ScrapeGraphAI/Scrapegraph-ai

Python-Scraper basierend auf KI

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 Aktualisiert 2026-10-06 📅 Erstellt 2024-01-27
6
apify/crawlee

Crawlee—Eine Web-Scraping- und Browser-Automatisierungs-Bibliothek für Node.js, um zuverlässige Crawler zu erstellen. In JavaScript und TypeScript. Extrahieren von Daten für KI, LLMs, RAG oder GPTs. Herunterladen von HTML, PDF, JPG, PNG und anderen Dateien von Websites. Funktioniert mit Puppeteer, Playwright, Cheerio, JSDOM und rohem HTTP. Sowohl im headful- als auch im headless-Modus. Mit Proxy-Rotation.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2016-08-26
7
gocolly/colly

Elegantes Scraper- und Crawler-Framework für Golang

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 Aktualisiert 2026-10-16 📅 Erstellt 2017-09-29
8
psf/requests-html

Pythonisches HTML-Parsing für Menschen™

psf
⭐ 13,874 Python 👤 psf Organization 🕐 Aktualisiert 2024-04-16 📅 Erstellt 2018-02-24
9
daijro/camoufox

🦊 Anti-detect Browser

daijro
⭐ 13,533 C 👤 daijro User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2024-07-26
10
ultrafunkamsterdam/undetected-chromedriver

Benutzerdefinierter Selenium Chromedriver | Zero-Konfig | Besteht alle Bot-Mitigationssysteme (wie Distil / Imperva / Datadadome / CloudFlare IUAM)

ultrafunkamsterdam
⭐ 12,725 Python 👤 ultrafunkamsterdam User 🕐 Aktualisiert 2025-07-05 📅 Erstellt 2019-12-22
11
jo-inc/camofox-browser

Stealth-Headless-Browser für KI-Agenten — umgeht Cloudflare, Bot-Erkennung und Anti-Scraping. Drop-in-Ersatz für Puppeteer/Playwright.

jo-inc
⭐ 12,437 JavaScript 👤 jo-inc Organization 🕐 Aktualisiert 2026-11-10 📅 Erstellt 2026-01-26
12
code4craft/webmagic

Ein skalierbares Web-Crawler-Framework für Java.

code4craft
⭐ 11,660 Java 👤 code4craft User 🕐 Aktualisiert 2025-12-20 📅 Erstellt 2013-04-23
13
apify/crawlee-python

Crawlee – eine Python-Bibliothek für Web Scraping und Browserautomatisierung zum Erstellen zuverlässiger Crawler. Extrahiere mit Pydantic AI und LLMs strukturierte Daten oder steuere den Browser mit Stagehand in natürlicher Sprache. Funktioniert mit BeautifulSoup, Parsel, Playwright und rohem HTTP. Lade HTML-, PDF- und Bilddateien sowie andere Dateien herunter. Proxy-Rotation ist integriert.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-01-10
14
lorien/awesome-web-scraping

Liste von Bibliotheken, Tools und APIs für Web Scraping und Datenverarbeitung.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2015-08-12
15
alirezamika/autoscraper

Ein intelligenter, automatischer, schneller und leichtgewichtiger Web-Scraper für Python

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 Aktualisiert 2026-07-29 📅 Erstellt 2020-08-31
16
tabulapdf/tabula

Tabula ist ein Werkzeug, um Daten-Tabellen zu befreien, die in PDF-Dateien gefangen sind

tabulapdf
⭐ 7,414 CSS 👤 tabulapdf Organization 🕐 Aktualisiert 2025-03-14 📅 Erstellt 2013-03-11
17
adbar/trafilatura

Python- und Kommandozeilen-Tool zum Sammeln von Text und Metadaten im Web: Crawling, Scraping, Extraktion, Ausgabe als CSV, JSON, HTML, MD, TXT, XML

adbar
⭐ 7,157 Python 👤 adbar User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2019-04-08
18
autoscrape-labs/pydoll

Pydoll ist eine Bibliothek zur Automatisierung von Chromium-basierten Browsern ohne WebDriver, die realistische Interaktionen bietet.

autoscrape-labs
⭐ 7,145 HTML 👤 autoscrape-labs Organization 🕐 Aktualisiert 2026-11-08 📅 Erstellt 2024-10-27
19
proxifly/free-proxy-list

🚀 Kostenlose HTTP-, SOCKS4- & SOCKS5-Proxy-Liste * Alle 5 Minuten aktualisiert * und rotierende Proxy-API (über 100 Länder)

proxifly
⭐ 7,083 👤 proxifly Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-07-13
20
jaypyles/Scraperr

Selbst gehosteter Web-Scraper.

jaypyles
⭐ 4,876 TypeScript 👤 jaypyles User 🕐 Aktualisiert 2025-10-12 📅 Erstellt 2024-07-06
21
d60/twikit

Twitter API Scraper | Ohne API-Schlüssel | Twitter Interne API | Kostenlos | Twitter Scraper | Twitter Bot

d60
⭐ 4,785 Python 👤 d60 User 🕐 Aktualisiert 2026-03-10 📅 Erstellt 2024-01-20
22
bjesus/pipet

Schweizer Taschenmesser zum Scrapen und Extrahieren von Daten aus Online-Assets, gemacht für Hacker

bjesus
⭐ 4,610 Go 👤 bjesus User 🕐 Aktualisiert 2024-10-12 📅 Erstellt 2024-08-31
23
sparklemotion/mechanize

Mechanize ist eine Ruby-Bibliothek, die automatisierte Web-Interaktion erleichtert.

sparklemotion
⭐ 4,443 Ruby 👤 sparklemotion Organization 🕐 Aktualisiert 2026-10-26 📅 Erstellt 2008-04-18
24
CodeCutTech/Data-science

Sammlung nützlicher Data-Science-Themen zusammen mit Artikeln, Videos und Code

CodeCutTech
⭐ 4,158 Jupyter Notebook 👤 CodeCutTech Organization 🕐 Aktualisiert 2025-11-16 📅 Erstellt 2020-07-17
25
kalil0321/reverse-api-engineer

Entwickle für jede Website per Reverse Engineering einen typisierten API-Client. Funktioniert mit Claude Code, Codex, Cursor und OpenCode.

kalil0321
⭐ 4,088 Python 👤 kalil0321 User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-12-23
26
snooppr/snoop

Snoop – ein OSINT-Tool (Open Source Intelligence)

snooppr
⭐ 4,072 Python 👤 snooppr User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2020-02-14
27
fake-useragent/fake-useragent

Aktueller einfacher User-Agent-Fälscher mit realer Welt-Datenbank

fake-useragent
⭐ 4,047 Python 👤 fake-useragent Organization 🕐 Aktualisiert 2026-03-29 📅 Erstellt 2013-03-04
28
any4ai/AnyCrawl

AnyCrawl 🚀: Ein Node.js/TypeScript-Crawler, der Webseiten in LLM-fertige Daten umwandelt und strukturierte SERP-Ergebnisse von Google/Bing/Baidu/etc. extrahiert. Native Mehrfach-Threading für die Stapelverarbeitung.

any4ai
⭐ 3,580 TypeScript 👤 any4ai User 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2025-03-31
29
adryfish/fingerprint-chromium

Ein Open-Source-Fingerprinting-Browser, der auf Ungoogled Chromium basiert. Fingerabdruck-Browser, Datenschutz-Browser

adryfish
⭐ 3,300 👤 adryfish User 🕐 Aktualisiert 2026-10-02 📅 Erstellt 2024-12-09
30
aapatre/Automatic-Udemy-Course-Enroller-GET-PAID-UDEMY-COURSES-for-FREE

Möchtest du KOSTENLOS NEUES LERNEN? Keine Sorge, mit der Macht von Web-Scraping und Automatisierung findet dieses Skript die notwendigen Udemy-Gutscheine und schreibt dich für BEZAHLTE UDEMY-KURSE ein, ABSOLUT KOSTENLOS!

aapatre
⭐ 3,289 Python 👤 aapatre User 🕐 Aktualisiert 2026-04-28 📅 Erstellt 2020-09-12
31
symfony/panther

Eine Browser-Testing- und Web-Crawling-Bibliothek für PHP und Symfony

symfony
⭐ 3,074 PHP 👤 symfony Organization 🕐 Aktualisiert 2026-10-03 📅 Erstellt 2018-03-16
32
kevinzg/facebook-scraper

Facebook-Öffentliche Seiten ohne API-Schlüssel scrapen

kevinzg
⭐ 3,006 Python 👤 kevinzg User 🕐 Aktualisiert 2024-06-22 📅 Erstellt 2019-03-15
33
vladkens/twscrape

Python-Bibliothek und CLI für das Scraping von X/Twitter mit Multi-Account-Rotation und integrierter Ratenbegrenzungsverwaltung.

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2023-05-05
34
oxylabs/how-to-scrape-google-trends

Erfahren Sie Schritt für Schritt, wie Sie Google Trends-Daten scrapen und einen Ergebnisvergleich mithilfe von Python und der Oxylabs SERP API durchführen. Extrahieren Sie Schlüsselwörter, deren Beliebtheit, Aufschlüsselung nach Region, verwandte Suchanfragen und mehr.

oxylabs
⭐ 2,907 Python 👤 oxylabs Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2024-08-06
35
spider-rs/spider

Grundlegende Webdatenerfassung mit geringer Latenz in Rust

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2018-01-07
36
geziyor/geziyor

Geziyor, ultraschnelles Web-Crawling- & Scraping-Framework für Go. Unterstützt JS-Rendering.

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 Aktualisiert 2026-07-02 📅 Erstellt 2019-06-06
37
brightdata/brightdata-mcp

Ein leistungsstarker Model Context Protocol (MCP)-Server, der eine All-in-One-Lösung für den öffentlichen Webzugriff bietet.

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2025-04-15
38
apify/fingerprint-suite

Browser-Fingerprinting-Tools zur Anonymisierung Ihrer Scraper. Entwickelt von Apify.

apify
⭐ 2,678 TypeScript 👤 apify Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2022-05-04
39
botswin/BotBrowser

Fortgeschrittenes Privacy-Browser-Core mit einheitlichem Fingerabdruckschutz: Cloudflare, Akamai, Kasada, Shape, DataDome, PerimeterX, hCaptcha, FunCaptcha, Imperva, reCAPTCHA, ThreatMetrix, Adscore

botswin
⭐ 2,667 TypeScript 👤 botswin Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2024-09-08
40
oss-invisible/playwright

Unsichtbares Playwright: Playwright, das Anti-Bot-Systeme nicht erkennen können – also keine Captchas: dieselbe API, unauffälliges Headless-Firefox mit Anti-Erkennung, nicht erkennbare Fingerprints, umgeht die Bot-Erkennung, Python-Web-Scraping und Browser-Automatisierung.

oss-invisible
⭐ 2,612 Python 👤 oss-invisible Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-05-13
41
simonw/shot-scraper

Ein CLI-Dienstprogramm zum Erstellen von Screenshots von Websites, Aufnehmen von Videodemos und Scrapen von Websites mit JavaScript

simonw
⭐ 2,609 Python 👤 simonw User 🕐 Aktualisiert 2026-10-14 📅 Erstellt 2022-03-08
42
transitive-bullshit/awesome-puppeteer

Eine kuratierte Liste toller Puppeteer-Ressourcen.

transitive-bullshit
⭐ 2,528 👤 transitive-bullshit User 🕐 Aktualisiert 2024-07-19 📅 Erstellt 2018-05-07
43
lorien/grab

Web-Scraping-Framework

lorien
⭐ 2,461 Python 👤 lorien User 🕐 Aktualisiert 2025-09-19 📅 Erstellt 2013-05-01
44
Jieyab89/OSINT-Cheat-sheet

OSINT-Spickzettel, Liste von OSINT-Tools, Wiki, Datensatz, Artikel, Buch, Red-Team-OSINT für Hacker und OSINT-Tipps und OSINT-Zweig. Dieses Repository wird jedes Mal wachsen, wenn recherchiert wird, es gibt Forschung, Wissenschaft und Technologie, Tutorials. Bitte nutzen Sie es mit Bedacht.

Jieyab89
⭐ 2,333 HTML 👤 Jieyab89 User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2021-11-22
45
php-embed/Embed

Informationen von jedem Webdienst oder einer Seite abrufen

php-embed
⭐ 2,140 PHP 👤 php-embed Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2012-10-09
46
TheGP/untidetect-tools

Liste von Anti-Erkennungs- und Humanisierungs-Tools und Browsern, einschließlich CAPTCHA-Lösern und SMS-Aktivierung.

TheGP
⭐ 2,075 👤 TheGP User 🕐 Aktualisiert 2026-10-07 📅 Erstellt 2024-01-21
47
iiab/iiab

Internet-in-a-Box - Baue deine eigene Bibliothek von Alexandria mit einem Raspberry Pi!

iiab
⭐ 2,056 Jinja 👤 iiab Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2017-05-28
48
claffin/cloudproxy

Verbergen Sie Ihre Scraper-IP hinter der Cloud. Stellen Sie Proxy-Server über verschiedene Cloud-Anbieter bereit, um Ihren Scraping-Erfolg zu verbessern.

claffin
⭐ 1,729 Python 👤 claffin User 🕐 Aktualisiert 2026-11-05 📅 Erstellt 2021-04-16
49
oxylabs/scrape-google-python

In diesem Tutorial zeigen wir, wie man öffentliche Google-Daten mit Python und der Oxylabs API scrapt.

oxylabs
⭐ 1,719 👤 oxylabs Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2024-07-30
50
emcf/thepipe

Holen Sie sich saubere Daten aus kniffligen Dokumenten, angetrieben von Vision-Language-Modellen ⚡

emcf
⭐ 1,529 Python 👤 emcf User 🕐 Aktualisiert 2026-09-28 📅 Erstellt 2024-03-22

Häufig gestellte Fragen

1

Welches ist das beliebteste #scraping-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#scraping-Projekt auf GitHub ist firecrawl/firecrawl mit 205,758 Sternen. Wissensinfrastruktur, die Ihre Agenten intelligenter macht. Durchsuchen, extrahieren und greifen Sie über eine einzige API auf mehr als 550 Datenanbieter zu.

2

Welche Programmiersprachen werden in #scraping-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #scraping-Projekten auf GitHub sind Python, TypeScript, Go, JavaScript die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #scraping-Repositories berechnet?

Wir verfolgen 109 aktive Open-Source-Repositories, die mit #scraping getaggt sind (500+ Sterne), mit insgesamt 768,143 Sternen und durchschnittlich 7,047 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.