Git Stars Git Stars

#scraper Repositories

Entdecke 128 aktive Open-Source-GitHub-Repositories, die mit #scraper getaggt sind und insgesamt 792,441 Sterne gesammelt haben (durchschnittlich 6,190 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist firecrawl/firecrawl mit 205,758 Sternen.

128
Gesamtzahl der Repositories
792,441
Gesamtanzahl der Sterne
6,190
Durchschnittliche Sterne/Repo

Insgesamt 128 Repositories

1
firecrawl/firecrawl

Wissensinfrastruktur, die Ihre Agenten intelligenter macht. Durchsuchen, extrahieren und greifen Sie über eine einzige API auf mehr als 550 Datenanbieter zu.

firecrawl
⭐ 205,758 TypeScript 👤 firecrawl Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-04-15
2
unclecode/crawl4ai

Offizielles Crawl4AI Cloud: eine gehostete API für Web-Scraping, Extraktion und Suche für KI-Agenten. Kostenloser API-Schlüssel, 1.000 Credits pro Monat, keine Kreditkarte erforderlich. Vollständig Open Source: Dieses Repository enthält den Apache-2.0-Crawler, der den Dienst antreibt, und kann selbst gehostet werden.

unclecode
⭐ 87,627 Python 👤 unclecode User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-05-09
3
huginn/huginn

Erstellen Sie Agenten, die für Sie überwachen und handeln. Ihre Agenten stehen bereit!

huginn
⭐ 50,601 Ruby 👤 huginn Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2013-03-10
4
NaiboWang/EasySpider

Ein visueller No-Code-Web-Crawler/Spider: Eine Software zur Browserautomatisierung, Datenerfassung und zum Web-Scraping, mit der Crawling-Aufgaben grafisch und ohne Programmierung entworfen und ausgeführt werden können. Alias: ServiceWrapper, ein intelligentes Service-Kapselungssystem für Webanwendungen.

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2020-07-18
5
iawia002/lux

👾 Schnelle und einfache Video-Download-Bibliothek und CLI-Tool, geschrieben in Go

iawia002
⭐ 31,854 Go 👤 iawia002 User 🕐 Aktualisiert 2026-03-29 📅 Erstellt 2018-02-24
6
cheeriojs/cheerio

Die schnelle, flexible und elegante Bibliothek zum Parsen und Manipulieren von HTML und XML.

cheeriojs
⭐ 30,552 TypeScript 👤 cheeriojs Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2011-10-09
7
apify/crawlee

Crawlee—Eine Web-Scraping- und Browser-Automatisierungs-Bibliothek für Node.js, um zuverlässige Crawler zu erstellen. In JavaScript und TypeScript. Extrahieren von Daten für KI, LLMs, RAG oder GPTs. Herunterladen von HTML, PDF, JPG, PNG und anderen Dateien von Websites. Funktioniert mit Puppeteer, Playwright, Cheerio, JSDOM und rohem HTTP. Sowohl im headful- als auch im headless-Modus. Mit Proxy-Rotation.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2016-08-26
8
gocolly/colly

Elegantes Scraper- und Crawler-Framework für Golang

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 Aktualisiert 2026-10-16 📅 Erstellt 2017-09-29
9
Evil0ctal/Douyin_TikTok_Download_API

🚀 Self-hosted API zur Datenerfassung von Douyin, TikTok und Bilibili sowie zum Herunterladen wasserzeichenfreier Videos. Unterstützt Aufrufe durch KI-Agenten via MCP und Offline-Spracherkennung. Docker-Bereitstellung mit einem Klick. | Self-hosted Scraper für TikTok, Douyin und Bilibili sowie Downloader für Videos ohne Wasserzeichen — asynchrone REST-API, MCP-Server für KI-Agenten, CLI und Webkonsole sowie Offline-Spracherkennung für heruntergeladene Videos. Selbstheilender Identitätspool, PostgreSQL-Archiv und Start mit einem einzigen `docker compose up`.

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2021-11-07
10
getmaxun/maxun

Verwandeln Sie jede Website in eine strukturierte API. Extrahieren, automatisieren, durchsuchen und überwachen Sie das Web.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2023-10-23
11
codelucas/newspaper

newspaper3k ist eine Nachrichten-, Volltext- und Artikelmetadatenextraktion in Python 3. Erweiterte Dokumentation:

codelucas
⭐ 15,192 Python 👤 codelucas User 🕐 Aktualisiert 2026-10-26 📅 Erstellt 2013-11-25
12
NopeCHALLC/nopecha-extension

Automatisierter CAPTCHA-Löser für Ihren Browser. Funktioniert mit Selenium, Puppeteer, Playwright und mehr.

NopeCHALLC
⭐ 11,140 👤 NopeCHALLC User 🕐 Aktualisiert 2026-10-02 📅 Erstellt 2023-03-23
13
guyueyingmu/avbook

AV-Filververwaltungssystem, avmoo, javbus, javlibrary Crawler, Online-AV-Filmbibliothek, AV-Magnetlink-Datenbank, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database

guyueyingmu
⭐ 9,894 PHP 👤 guyueyingmu User 🕐 Aktualisiert 2024-06-01 📅 Erstellt 2017-02-19
14
apify/crawlee-python

Crawlee – eine Python-Bibliothek für Web Scraping und Browserautomatisierung zum Erstellen zuverlässiger Crawler. Extrahiere mit Pydantic AI und LLMs strukturierte Daten oder steuere den Browser mit Stagehand in natürlicher Sprache. Funktioniert mit BeautifulSoup, Parsel, Playwright und rohem HTTP. Lade HTML-, PDF- und Bilddateien sowie andere Dateien herunter. Proxy-Rotation ist integriert.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-01-10
15
alirezamika/autoscraper

Ein intelligenter, automatischer, schneller und leichtgewichtiger Web-Scraper für Python

alirezamika
⭐ 8,102 Python 👤 alirezamika User 🕐 Aktualisiert 2026-07-29 📅 Erstellt 2020-08-31
16
go-rod/rod

Ein Chrome DevTools Protocol-Treiber für Web-Automatisierung und Scraping.

go-rod
⭐ 7,160 Go 👤 go-rod Organization 🕐 Aktualisiert 2026-08-11 📅 Erstellt 2020-01-21
17
BruceDone/awesome-crawler

Eine Sammlung toller Web-Crawler und Spiders in verschiedenen Sprachen

BruceDone
⭐ 7,051 👤 BruceDone User 🕐 Aktualisiert 2024-06-16 📅 Erstellt 2016-10-10
18
mishushakov/llm-scraper

Beliebige Webinhalte mithilfe von LLMs in strukturierte Daten umwandeln

mishushakov
⭐ 6,956 TypeScript 👤 mishushakov User 🕐 Aktualisiert 2026-10-26 📅 Erstellt 2024-04-20
19
AhmadIbrahiim/Website-downloader

💡 Laden Sie den vollständigen Quellcode einer beliebigen Website herunter (einschließlich aller Assets). [ Javascripts, Stylesheets, Images ] mit Node.js

AhmadIbrahiim
⭐ 6,206 HTML 👤 AhmadIbrahiim User 🕐 Aktualisiert 2026-08-12 📅 Erstellt 2019-10-26
20
niespodd/browser-fingerprinting

Analyse von Bot-Schutzsystemen mit verfügbaren Gegenmaßnahmen 🚿. Wie man Anti-Bot-Systeme 👻 besiegt und Browser-Fingerprinting-Skripte 🕵️‍♂️ beim Web-Scraping umgeht?

niespodd
⭐ 5,171 JavaScript 👤 niespodd User 🕐 Aktualisiert 2026-07-27 📅 Erstellt 2021-01-23
21
d60/twikit

Twitter API Scraper | Ohne API-Schlüssel | Twitter Interne API | Kostenlos | Twitter Scraper | Twitter Bot

d60
⭐ 4,785 Python 👤 d60 User 🕐 Aktualisiert 2026-03-10 📅 Erstellt 2024-01-20
22
fent/node-ytdl-core

YouTube-Videodownloader in JavaScript.

fent
⭐ 4,732 JavaScript 👤 fent User 🕐 Aktualisiert 2026-11-10 📅 Erstellt 2014-06-29
23
joeyism/linkedin_scraper

Eine Bibliothek, die LinkedIn nach Benutzerdaten scrapt

joeyism
⭐ 4,699 Python 👤 joeyism User 🕐 Aktualisiert 2026-04-10 📅 Erstellt 2017-10-27
24
bjesus/pipet

Schweizer Taschenmesser zum Scrapen und Extrahieren von Daten aus Online-Assets, gemacht für Hacker

bjesus
⭐ 4,610 Go 👤 bjesus User 🕐 Aktualisiert 2024-10-12 📅 Erstellt 2024-08-31
25
myreader-io/myGPTReader

Eine Community-gesteuerte Methode, um mit KI-Bots zu lesen und zu chatten – angetrieben von chatGPT.

myreader-io
⭐ 4,416 Python 👤 myreader-io Organization 🕐 Aktualisiert 2026-02-05 📅 Erstellt 2023-03-08
26
UltimaHoarder/UltimaScraper

Ein Datenscraper mit aktuellem Schwerpunkt auf Inhalten für Erwachsene (OnlyFans usw.) – wird regelmäßig aktualisiert

UltimaHoarder
⭐ 4,302 TypeScript 👤 UltimaHoarder User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2019-06-24
27
IonicaBizau/scrape-it

🔮 Ein Node.js-Scraper für Menschen.

IonicaBizau
⭐ 4,069 JavaScript 👤 IonicaBizau User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2016-04-28
28
edoardottt/cariddi

Nimm eine Liste von Domains, durchsuche URLs und scanne nach Endpunkten, Geheimnissen, API-Schlüsseln, Dateierweiterungen, Tokens und mehr.

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2021-04-27
29
Anakin-Inc/anakin

Open-Source Web-Scraping-API. Verwandeln Sie jede Website in sauberes Markdown oder strukturiertes JSON. Anti-Detect-Browser, automatische Proxy-Auswahl, selbst gehostet. Ein Befehl: make up

Anakin-Inc
⭐ 3,764 Go 👤 Anakin-Inc Organization 🕐 Aktualisiert 2026-08-18 📅 Erstellt 2026-03-17
30
sqzw-x/mdcx

Filmdatensammlungs-Scraper

sqzw-x
⭐ 3,727 Python 👤 sqzw-x User 🕐 Aktualisiert 2026-08-23 📅 Erstellt 2023-11-06
31
JavScraper/Emby.Plugins.JavScraper

Ein Emby/Jellyfin-Plugin für japanische Filme-Scraper, das Film-Informationen von bestimmten Websites abruft.

JavScraper
⭐ 3,709 C# 👤 JavScraper User 🕐 Aktualisiert 2024-07-08 📅 Erstellt 2020-01-20
32
itsOwen/CyberScraper-2077

Ein leistungsstarker Web-Scraper, angetrieben von LLMs | OpenAI, Gemini & Ollama

itsOwen
⭐ 3,302 Python 👤 itsOwen User 🕐 Aktualisiert 2026-10-12 📅 Erstellt 2024-08-17
33
aapatre/Automatic-Udemy-Course-Enroller-GET-PAID-UDEMY-COURSES-for-FREE

Möchtest du KOSTENLOS NEUES LERNEN? Keine Sorge, mit der Macht von Web-Scraping und Automatisierung findet dieses Skript die notwendigen Udemy-Gutscheine und schreibt dich für BEZAHLTE UDEMY-KURSE ein, ABSOLUT KOSTENLOS!

aapatre
⭐ 3,289 Python 👤 aapatre User 🕐 Aktualisiert 2026-04-28 📅 Erstellt 2020-09-12
34
facundoolano/google-play-scraper

Node.js-Scraper zum Abrufen von Daten aus dem Google Play Store

facundoolano
⭐ 3,005 JavaScript 👤 facundoolano User 🕐 Aktualisiert 2026-10-17 📅 Erstellt 2015-04-07
35
vladkens/twscrape

Python-Bibliothek und CLI für das Scraping von X/Twitter mit Multi-Account-Rotation und integrierter Ratenbegrenzungsverwaltung.

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2023-05-05
36
oxylabs/how-to-scrape-google-trends

Erfahren Sie Schritt für Schritt, wie Sie Google Trends-Daten scrapen und einen Ergebnisvergleich mithilfe von Python und der Oxylabs SERP API durchführen. Extrahieren Sie Schlüsselwörter, deren Beliebtheit, Aufschlüsselung nach Region, verwandte Suchanfragen und mehr.

oxylabs
⭐ 2,907 Python 👤 oxylabs Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2024-08-06
37
geziyor/geziyor

Geziyor, ultraschnelles Web-Crawling- & Scraping-Framework für Go. Unterstützt JS-Rendering.

geziyor
⭐ 2,781 Go 👤 geziyor Organization 🕐 Aktualisiert 2026-07-02 📅 Erstellt 2019-06-06
38
microlinkhq/metascraper

Extrahieren Sie Metadaten von jeder URL unter Verwendung von Open Graph, JSON-LD, HTML-Meta-Tags und intelligenten Fallbacks.

microlinkhq
⭐ 2,754 HTML 👤 microlinkhq Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2016-05-25
39
jae-jae/QueryList

:spider: Das progressive PHP-Crawler-Framework! Elegantes progressives PHP-Sammel-Framework.

jae-jae
⭐ 2,689 PHP 👤 jae-jae User 🕐 Aktualisiert 2026-10-20 📅 Erstellt 2015-12-20
40
Serene-Arc/bulk-downloader-for-reddit

Lädt Inhalte von Reddit herunter und archiviert sie

Serene-Arc
⭐ 2,631 Python 👤 Serene-Arc User 🕐 Aktualisiert 2026-04-12 📅 Erstellt 2018-06-14
41
zerodytrash/TikTok-Live-Connector

TikTok LIVE API für Node.js: Eine inoffizielle Bibliothek zum Echtzeit-Empfang von Livestream-Ereignissen (Kommentare, Geschenke usw.) aus TikTok LIVE.

zerodytrash
⭐ 2,332 TypeScript 👤 zerodytrash User 🕐 Aktualisiert 2026-11-11 📅 Erstellt 2022-02-04
42
watercrawl/WaterCrawl

Web-Inhalte in LLM-fertige Daten umwandeln

watercrawl
⭐ 2,244 TypeScript 👤 watercrawl Organization 🕐 Aktualisiert 2026-08-17 📅 Erstellt 2024-12-15
43
cyberagiinc/DevDocs

Komplett kostenloser, privater, UI-basierter Tech-Dokumentations-MCP-Server. Entwickelt für Programmierer und Softwareentwickler. Einfache Integration in Cursor, Windsurf, Cline, Roo Code, Claude Desktop App

cyberagiinc
⭐ 2,106 TypeScript 👤 cyberagiinc Organization 🕐 Aktualisiert 2026-02-04 📅 Erstellt 2025-01-15
44
PaulMcInnis/JobFunnel

Scrapen Sie Jobportale in eine einzige Tabellenkalkulation ohne Duplikate.

PaulMcInnis
⭐ 2,103 Python 👤 PaulMcInnis User 🕐 Aktualisiert 2025-12-04 📅 Erstellt 2017-08-25
45
TeamNewPipe/NewPipeExtractor

NewPipe's Kernbibliothek zum Extrahieren von Daten aus Streaming-Seiten

TeamNewPipe
⭐ 2,070 Java 👤 TeamNewPipe Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2017-03-01
46
KatrielMoses/MailAccess

Kostenloses OSINT-Tool für E-Mail-Adressen, über 5.000 Plattformen, Identitäts-Clustering und Erkennung von Datenlecks. Keine API-Schlüssel erforderlich. pip install mailaccess

KatrielMoses
⭐ 1,824 Python 👤 KatrielMoses User 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2026-05-18
47
eatmoreduck/boss-zhipin-scraper

BOSS Zhipin Scraper / BOSS Zhipin Job-Daten-Crawler, basierend auf dem Chrome CDP-Protokoll zur Wiederverwendung echter Anmeldesitzungen, Umgehung von Schriftarten-Anti-Scraping und Ausgabe von Klartext-Gehalts-JSON/CSV + Gehalts- und Kompetenzanalyse.

eatmoreduck
⭐ 1,781 Python 👤 eatmoreduck User 🕐 Aktualisiert 2026-11-03 📅 Erstellt 2026-06-11
48
website-scraper/node-website-scraper

Website in lokales Verzeichnis herunterladen (einschließlich aller CSS, Bilder, JS usw.)

website-scraper
⭐ 1,773 JavaScript 👤 website-scraper Organization 🕐 Aktualisiert 2026-11-11 📅 Erstellt 2014-09-04
49
oxylabs/how-to-scrape-google-jobs

Erfahren Sie, wie Sie Ihren eigenen Google Jobs Scraper erstellen, der mit Python und der Google Jobs Scraper API von Oxylabs gleichzeitig Google Jobs für mehrere Suchanfragen und geografische Standorte abruft. https://oxylabs.io/blog/how-to-scrape-google-jobs

oxylabs
⭐ 1,761 Python 👤 oxylabs Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2024-02-08
50
oxylabs/google-play-scraper

Google Play Scraper zum Sammeln öffentlicher Details über Anwendungen, Spiele, Filme & Fernsehsendungen, Bücher und mehr.

oxylabs
⭐ 1,746 Python 👤 oxylabs Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2023-09-01

Häufig gestellte Fragen

1

Welches ist das beliebteste #scraper-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#scraper-Projekt auf GitHub ist firecrawl/firecrawl mit 205,758 Sternen. Wissensinfrastruktur, die Ihre Agenten intelligenter macht. Durchsuchen, extrahieren und greifen Sie über eine einzige API auf mehr als 550 Datenanbieter zu.

2

Welche Programmiersprachen werden in #scraper-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #scraper-Projekten auf GitHub sind Python, TypeScript, Go, JavaScript die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #scraper-Repositories berechnet?

Wir verfolgen 128 aktive Open-Source-Repositories, die mit #scraper getaggt sind (500+ Sterne), mit insgesamt 792,441 Sternen und durchschnittlich 6,190 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.