Git Stars Git Stars

#web-scraping Repositories

Entdecke 381 aktive Open-Source-GitHub-Repositories, die mit #web-scraping getaggt sind und insgesamt 2,147,590 Sterne gesammelt haben (durchschnittlich 5,636 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist firecrawl/firecrawl mit 205,758 Sternen.

381
Gesamtzahl der Repositories
2.1M
Gesamtanzahl der Sterne
5,636
Durchschnittliche Sterne/Repo

Insgesamt 382 Repositories

1
firecrawl/firecrawl

Wissensinfrastruktur, die Ihre Agenten intelligenter macht. Durchsuchen, extrahieren und greifen Sie über eine einzige API auf mehr als 550 Datenanbieter zu.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-04-15
2
jackfrued/Python-100-Days

Python - 100 Tage vom Anfänger zum Meister

jackfrued
⭐ 187,961 Jupyter Notebook 👤 jackfrued User 🕐 Aktualisiert 2026-07-29 📅 Erstellt 2018-03-01
3
ytdl-org/youtube-dl

Kommandozeilenprogramm zum Herunterladen von Videos von YouTube.com und anderen Videosites

ytdl-org
⭐ 141,627 Python 👤 ytdl-org Organization 🕐 Aktualisiert 2026-11-06 📅 Erstellt 2010-10-31
4
browser-use/browser-use

Open-Source-Python-Bibliothek für KI-Browser-Agenten sowie Browser Use Cloud: Stealth-Browser und eine gehostete Agenten-API.

browser-use
⭐ 121,654 Python 👤 browser-use Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-10-31
5
D4Vinci/Scrapling

🕷️ Das BESTE Web-Scraping-Framework – für alles von einer einzelnen Anfrage bis hin zu einem umfangreichen Crawl! Nur keine Scheu: Tritt hier bei: https://discord.gg/EMgGbDceNQ und folge uns hier für tägliche Tipps und Tricks: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2024-10-13
6
unclecode/crawl4ai

Offizielles Crawl4AI Cloud: eine gehostete API für Web-Scraping, Extraktion und Suche für KI-Agenten. Kostenloser API-Schlüssel, 1.000 Credits pro Monat, keine Kreditkarte erforderlich. Vollständig Open Source: Dieses Repository enthält den Apache-2.0-Crawler, der den Dienst antreibt, und kann selbst gehostet werden.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-05-09
7
NanmiCoder/MediaCrawler

Xiaohongshu Notiz | Kommentare Crawler, Douyin Video | Kommentare Crawler, Kuaishou Video | Kommentare Crawler, Bilibili Video | Kommentare Crawler, Weibo Beitrag | Kommentare Crawler, Baidu Tieba Beitrag | Baidu Tieba Kommentar Antwort Crawler | Zhihu Frage und Antwort Artikel | Kommentare Crawler

NanmiCoder
⭐ 71,528 Python 👤 NanmiCoder User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-06-09
8
scrapy/scrapy

Scrapy, ein schnelles Framework auf hohem Niveau für Web-Crawling und -Scraping in Python.

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2010-02-22
9
soimort/you-get

:arrow_double_down: Dummer Downloader, der das Web abschabt

soimort
⭐ 56,851 Python 👤 soimort User 🕐 Aktualisiert 2026-11-15 📅 Erstellt 2012-08-20
10
gedoor/legado

Legado 3.0 Book Reader mit leistungsstarken Steuerelementen & vollständigen Funktionen ❤️ Lesen 3.0, Lesen ist ein Tool, das benutzerdefinierte Quellen zum Lesen von Online-Inhalten ermöglicht und Netzwerkliteratur-Enthusiasten eine bequeme, schnelle und angenehme Testleserfahrung bietet.

gedoor
⭐ 47,268 Kotlin 👤 gedoor User 🕐 Aktualisiert 2026-05-27 📅 Erstellt 2019-05-22
11
JCodesMore/ai-website-cloner-template

Klonen Sie jede Website mit einem Befehl mithilfe von KI-Coding-Agenten

JCodesMore
⭐ 39,582 TypeScript 👤 JCodesMore User 🕐 Aktualisiert 2026-11-10 📅 Erstellt 2026-03-13
12
dgtlmoon/changedetection.io

Das beste und einfachste Tool zur Erkennung von Website-Änderungen, zur Überwachung von Webseiten und für Änderungsbenachrichtigungen. Ideal, um Inhaltsänderungen, Preissenkungen, Wiederverfügbarkeiten und Manipulationen an Websites zu verfolgen – MCP inklusive! Alles kostenlos oder mit unserem SaaS-Tarif.

dgtlmoon
⭐ 35,939 Python 👤 dgtlmoon User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2021-01-27
13
CloakHQ/CloakBrowser

Stealth-Chromium, das alle Bot-Erkennungstests besteht. Direkter Ersatz für Playwright mit Fingerprint-Patches auf Quellcode-Ebene. Über 50 Tests bestanden.

CloakHQ
⭐ 33,007 Python 👤 CloakHQ Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-02-22
14
ScrapeGraphAI/Scrapegraph-ai

Python-Scraper basierend auf KI

ScrapeGraphAI
⭐ 32,877 Python 👤 ScrapeGraphAI Organization 🕐 Aktualisiert 2026-10-06 📅 Erstellt 2024-01-27
15
apify/crawlee

Crawlee—Eine Web-Scraping- und Browser-Automatisierungs-Bibliothek für Node.js, um zuverlässige Crawler zu erstellen. In JavaScript und TypeScript. Extrahieren von Daten für KI, LLMs, RAG oder GPTs. Herunterladen von HTML, PDF, JPG, PNG und anderen Dateien von Websites. Funktioniert mit Puppeteer, Playwright, Cheerio, JSDOM und rohem HTTP. Sowohl im headful- als auch im headless-Modus. Mit Proxy-Rotation.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2016-08-26
16
browserbase/stagehand

Das SDK zum Extrahieren von Daten und Interagieren mit jeder Website im Web. Legen Sie mit Claude Code, Codex, Eve, Mastra und mehr los.

browserbase
⭐ 26,109 TypeScript 👤 browserbase Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-03-24
17
lexmount/moli

Der beste Headless-Browser für KI-Agenten. Leichtgewichtig, schnell und hochkompatibel. In Rust entwickelt

lexmount
⭐ 24,190 Rust 👤 lexmount Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-08-10
18
Evil0ctal/Douyin_TikTok_Download_API

🚀 Self-hosted API zur Datenerfassung von Douyin, TikTok und Bilibili sowie zum Herunterladen wasserzeichenfreier Videos. Unterstützt Aufrufe durch KI-Agenten via MCP und Offline-Spracherkennung. Docker-Bereitstellung mit einem Klick. | Self-hosted Scraper für TikTok, Douyin und Bilibili sowie Downloader für Videos ohne Wasserzeichen — asynchrone REST-API, MCP-Server für KI-Agenten, CLI und Webkonsole sowie Offline-Spracherkennung für heruntergeladene Videos. Selbstheilender Identitätspool, PostgreSQL-Archiv und Start mit einem einzigen `docker compose up`.

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2021-11-07
19
getmaxun/maxun

Verwandeln Sie jede Website in eine strukturierte API. Extrahieren, automatisieren, durchsuchen und überwachen Sie das Web.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2023-10-23
20
MODSetter/SurfSense

Open-Source-Alternative zu NotebookLM mit abgeschotteter Netzwerkumgebung und Fokus auf Datenschutz. Ein KI-Agent, der Ihre Dokumente recherchiert, umwandelt und bearbeitet. Treten Sie unserem Discord bei: https://discord.gg/ejRNvftDp9

MODSetter
⭐ 16,907 Python 👤 MODSetter User 🕐 Aktualisiert 2026-11-14 📅 Erstellt 2024-07-30
21
yusufkaraaslan/Skill_Seekers

Konvertieren Sie Dokumentations-Websites, GitHub-Repositories und PDFs in Claude AI Skills mit automatischer Konflikterkennung

yusufkaraaslan
⭐ 15,351 Python 👤 yusufkaraaslan User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2025-10-17
22
pjialin/py12306

🚂 12306 Ticketkauf-Assistent, unterstützt Cluster, mehrere Accounts, Mehrfachticketkauf und Webseitenverwaltung

pjialin
⭐ 14,960 Python 👤 pjialin User 🕐 Aktualisiert 2026-10-01 📅 Erstellt 2019-01-07
23
nanobrowser/nanobrowser

Open-Source-KI-Agent für die Webautomatisierung. Automatisiere alltägliche Aufgaben mit deinem echten, angemeldeten Browser.

nanobrowser
⭐ 14,359 TypeScript 👤 nanobrowser Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2024-12-31
24
seleniumbase/SeleniumBase

Schnelle und zuverlässige Browser-Automatisierung für End-to-End-Tests, Scraping und unauffälliges Browsing. Umgeht die Bot-Erkennung mit dem CDP-Modus. Integriert sich in pytest, Playwright und MCP.

seleniumbase
⭐ 13,272 Python 👤 seleniumbase Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2014-03-04
25
jiji262/douyin-downloader

Ein praktischer Douyin-Downloader für den Download einzelner Inhalte sowie von Profilen in Stapeln, mit Fortschrittsanzeige, Wiederholungsversuchen, SQLite-Deduplizierung und Browser-Fallback-Unterstützung. Ein Douyin-Tool für Stapeldownloads von Videos, Bildergalerien, Sammlungen und Musik (Originalton).

jiji262
⭐ 12,644 Python 👤 jiji262 User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-05-25
26
jo-inc/camofox-browser

Stealth-Headless-Browser für KI-Agenten — umgeht Cloudflare, Bot-Erkennung und Anti-Scraping. Drop-in-Ersatz für Puppeteer/Playwright.

jo-inc
⭐ 12,437 JavaScript 👤 jo-inc Organization 🕐 Aktualisiert 2026-11-10 📅 Erstellt 2026-01-26
27
jhy/jsoup

jsoup: Der Java-HTML-Parser, entwickelt für HTML-Bearbeitung, -Reinigung, -Scraping und XSS-Sicherheit.

jhy
⭐ 11,418 Java 👤 jhy User 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2009-12-19
28
NopeCHALLC/nopecha-extension

Automatisierter CAPTCHA-Löser für Ihren Browser. Funktioniert mit Selenium, Puppeteer, Playwright und mehr.

NopeCHALLC
⭐ 11,140 👤 NopeCHALLC User 🕐 Aktualisiert 2026-10-02 📅 Erstellt 2023-03-23
29
pinchtab/pinchtab

High‑Performance-Browser‑Automationsbridge und Multi‑Instance-Orchestrator mit fortschrittlicher stealth‑Injektion und Echtzeit‑Dashboard.

pinchtab
⭐ 10,599 Go 👤 pinchtab Organization 🕐 Aktualisiert 2026-11-10 📅 Erstellt 2026-02-15
30
apify/crawlee-python

Crawlee – eine Python-Bibliothek für Web Scraping und Browserautomatisierung zum Erstellen zuverlässiger Crawler. Extrahiere mit Pydantic AI und LLMs strukturierte Daten oder steuere den Browser mit Stagehand in natürlicher Sprache. Funktioniert mit BeautifulSoup, Parsel, Playwright und rohem HTTP. Lade HTML-, PDF- und Bilddateien sowie andere Dateien herunter. Proxy-Rotation ist integriert.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-01-10
31
scrapinghub/portia

Visuelles Scrapen für Scrapy

scrapinghub
⭐ 9,479 Python 👤 scrapinghub Organization 🕐 Aktualisiert 2024-06-26 📅 Erstellt 2014-03-21
32
nashsu/FreeAskInternet

FreeAskInternet ist ein völlig kostenloser, PRIVATER und LOKAL laufender Suchaggregator & Antwortgenerator, der MULTIPLE LLMs verwendet, ohne dass eine GPU benötigt wird. Der Benutzer kann eine Frage stellen, und das System führt eine Multi-Engine-Suche durch und kombiniert die Suchergebnisse mit LLM, um die Antwort basierend auf den Suchergebnissen zu generieren. Es ist alles KOSTENLOS nutzbar.

nashsu
⭐ 8,734 Python 👤 nashsu User 🕐 Aktualisiert 2024-04-18 📅 Erstellt 2024-04-05
33
cv-cat/Spider_XHS

Datenerfassung mit Xiaohongshu (RED)-Crawler, Reverse Engineering von Xiaohongshu, private Nachrichten, Livestreaming und Gesamtlösungen für den Xiaohongshu-Betrieb

cv-cat
⭐ 8,542 Python 👤 cv-cat User 🕐 Aktualisiert 2026-10-22 📅 Erstellt 2023-08-08
34
cporter202/API-mega-list

Dieses GitHub-Repo ist eine leistungsstarke Sammlung von APIs, die Sie sofort nutzen können, um alles von einfachen Automatisierungen bis hin zu vollwertigen Anwendungen zu erstellen. Eine der wertvollsten API-Listen auf GitHub – Punkt. 💪

cporter202
⭐ 8,406 JavaScript 👤 cporter202 User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2025-12-09
35
ericchiang/pup

HTML-Parsing auf der Kommandozeile

ericchiang
⭐ 8,372 HTML 👤 ericchiang User 🕐 Aktualisiert 2024-05-02 📅 Erstellt 2014-09-01
36
mherrmann/helium

Leichtere Web-Automatisierung mit Python

mherrmann
⭐ 8,333 Python 👤 mherrmann User 🕐 Aktualisiert 2026-10-22 📅 Erstellt 2019-11-26
37
gosom/google-maps-scraper

Daten von Google Maps scrapen. Extrahiert Daten wie Name, Adresse, Telefonnummer, Website-URL, Bewertung, Anzahl der Bewertungen, Breiten- und Längengrad, Bewertungen, E-Mail und mehr für jeden Ort

gosom
⭐ 8,291 Go 👤 gosom User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-04-22
38
lorien/awesome-web-scraping

Liste von Bibliotheken, Tools und APIs für Web Scraping und Datenverarbeitung.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2015-08-12
39
alirezamika/autoscraper

Ein intelligenter, automatischer, schneller und leichtgewichtiger Web-Scraper für Python

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 Aktualisiert 2026-07-29 📅 Erstellt 2020-08-31
40
firecrawl/firecrawl-mcp-server

Offizieller Firecrawl-MCP-Server, die Kontext-API für KI-Agenten: Mit jedem MCP-Client im Web suchen, Inhalte extrahieren und interagieren sowie Inhalte parsen, crawlen und kartieren und Agent und Monitor nutzen.

firecrawl
⭐ 7,871 JavaScript 👤 firecrawl Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-12-06
41
WECENG/ticket-purchase

Gerstenautomatische Ticketbuchung, unterstützt Auswahl von Personen, Städten, Datumsserien und Preisen

WECENG
⭐ 7,844 Python 👤 WECENG User 🕐 Aktualisiert 2026-05-14 📅 Erstellt 2023-10-12
42
mgdm/htmlq

Wie jq, aber für HTML.

mgdm
⭐ 7,591 Rust 👤 mgdm User 🕐 Aktualisiert 2026-05-27 📅 Erstellt 2019-05-07
43
go-rod/rod

Ein Chrome DevTools Protocol-Treiber für Web-Automatisierung und Scraping.

go-rod
⭐ 7,160 Go 👤 go-rod Organization 🕐 Aktualisiert 2026-08-11 📅 Erstellt 2020-01-21
44
adbar/trafilatura

Python- und Kommandozeilen-Tool zum Sammeln von Text und Metadaten im Web: Crawling, Scraping, Extraktion, Ausgabe als CSV, JSON, HTML, MD, TXT, XML

adbar
⭐ 7,157 Python 👤 adbar User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2019-04-08
45
autoscrape-labs/pydoll

Pydoll ist eine Bibliothek zur Automatisierung von Chromium-basierten Browsern ohne WebDriver, die realistische Interaktionen bietet.

autoscrape-labs
⭐ 7,145 HTML 👤 autoscrape-labs Organization 🕐 Aktualisiert 2026-11-08 📅 Erstellt 2024-10-27
46
lexiforest/curl_cffi

Python-Bindung für curl-impersonate-Fork über cffi. Ein HTTP-Client, der Browser-TLS/JA3/HTTP2-Fingerabdrücke imitieren kann.

lexiforest
⭐ 6,909 Python 👤 lexiforest User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2022-03-10
47
browser-act/skills

Browser-Automatisierungs-CLI für KI-Agenten. Durchbrechen Sie Anti-Bot-Wände, übergeben Sie bei Problemen plattformübergreifend an Menschen. Parallele Multitasking-Ausführung, unabhängiger Multisession-Betrieb, isoliertes Multi-Account-Browsing.

browser-act
⭐ 6,385 Python 👤 browser-act Organization 🕐 Aktualisiert 2026-11-04 📅 Erstellt 2026-02-06
48
nickscamara/open-deep-research

Ein Open-Source-Deep-Research-Klon. KI-Agent, der große Mengen an Webdaten mit Firecrawl extrahiert und daraus Schlüsse zieht.

nickscamara
⭐ 6,242 TypeScript 👤 nickscamara User 🕐 Aktualisiert 2025-05-07 📅 Erstellt 2025-02-03
49
MontFerret/ferret

Deklarative Datenautomatisierungssprache und Go-Laufzeit für strukturierte Extraktionsworkflows.

MontFerret
⭐ 6,025 Go 👤 MontFerret Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2018-08-23
50
RedSiege/EyeWitness

EyeWitness wurde entwickelt, um Screenshots von Websites zu erstellen, einige Server-Header-Informationen bereitzustellen und Standardanmeldeinformationen zu identifizieren, falls möglich.

RedSiege
⭐ 5,906 Python 👤 RedSiege Organization 🕐 Aktualisiert 2026-01-05 📅 Erstellt 2014-02-26

Häufig gestellte Fragen

1

Welches ist das beliebteste #web-scraping-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#web-scraping-Projekt auf GitHub ist firecrawl/firecrawl mit 205,758 Sternen. Wissensinfrastruktur, die Ihre Agenten intelligenter macht. Durchsuchen, extrahieren und greifen Sie über eine einzige API auf mehr als 550 Datenanbieter zu.

2

Welche Programmiersprachen werden in #web-scraping-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #web-scraping-Projekten auf GitHub sind Python, TypeScript, JavaScript, Go die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #web-scraping-Repositories berechnet?

Wir verfolgen 381 aktive Open-Source-Repositories, die mit #web-scraping getaggt sind (500+ Sterne), mit insgesamt 2,147,590 Sternen und durchschnittlich 5,636 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.