Git Stars Git Stars

#crawling Repositories

Entdecke 39 aktive Open-Source-GitHub-Repositories, die mit #crawling getaggt sind und insgesamt 335,438 Sterne gesammelt haben (durchschnittlich 8,600 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist D4Vinci/Scrapling mit 104,760 Sternen.

39
Gesamtzahl der Repositories
335,438
Gesamtanzahl der Sterne
8,600
Durchschnittliche Sterne/Repo

Insgesamt 39 Repositories

1
D4Vinci/Scrapling

🕷️ Das BESTE Web-Scraping-Framework – für alles von einer einzelnen Anfrage bis hin zu einem umfangreichen Crawl! Nur keine Scheu: Tritt hier bei: https://discord.gg/EMgGbDceNQ und folge uns hier für tägliche Tipps und Tricks: https://x.com/Scrapling_dev

D4Vinci
⭐ 104,760 Python 👤 D4Vinci User 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2024-10-13
2
scrapy/scrapy

Scrapy, ein schnelles Framework auf hohem Niveau für Web-Crawling und -Scraping in Python.

scrapy
⭐ 65,519 Python 👤 scrapy Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2010-02-22
3
apify/crawlee

Crawlee—Eine Web-Scraping- und Browser-Automatisierungs-Bibliothek für Node.js, um zuverlässige Crawler zu erstellen. In JavaScript und TypeScript. Extrahieren von Daten für KI, LLMs, RAG oder GPTs. Herunterladen von HTML, PDF, JPG, PNG und anderen Dateien von Websites. Funktioniert mit Puppeteer, Playwright, Cheerio, JSDOM und rohem HTTP. Sowohl im headful- als auch im headless-Modus. Mit Proxy-Rotation.

apify
⭐ 26,510 TypeScript 👤 apify Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2016-08-26
4
gocolly/colly

Elegantes Scraper- und Crawler-Framework für Golang

gocolly
⭐ 25,608 Go 👤 gocolly Organization 🕐 Aktualisiert 2026-10-16 📅 Erstellt 2017-09-29
5
getmaxun/maxun

Verwandeln Sie jede Website in eine strukturierte API. Extrahieren, automatisieren, durchsuchen und überwachen Sie das Web.

getmaxun
⭐ 18,538 TypeScript 👤 getmaxun Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2023-10-23
6
codelucas/newspaper

newspaper3k ist eine Nachrichten-, Volltext- und Artikelmetadatenextraktion in Python 3. Erweiterte Dokumentation:

codelucas
⭐ 15,192 Python 👤 codelucas User 🕐 Aktualisiert 2026-10-26 📅 Erstellt 2013-11-25
7
apify/crawlee-python

Crawlee – eine Python-Bibliothek für Web Scraping und Browserautomatisierung zum Erstellen zuverlässiger Crawler. Extrahiere mit Pydantic AI und LLMs strukturierte Daten oder steuere den Browser mit Stagehand in natürlicher Sprache. Funktioniert mit BeautifulSoup, Parsel, Playwright und rohem HTTP. Lade HTML-, PDF- und Bilddateien sowie andere Dateien herunter. Proxy-Rotation ist integriert.

apify
⭐ 9,679 Python 👤 apify Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-01-10
8
lorien/awesome-web-scraping

Liste von Bibliotheken, Tools und APIs für Web Scraping und Datenverarbeitung.

lorien
⭐ 8,242 JavaScript 👤 lorien User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2015-08-12
9
go-rod/rod

Ein Chrome DevTools Protocol-Treiber für Web-Automatisierung und Scraping.

go-rod
⭐ 7,160 Go 👤 go-rod Organization 🕐 Aktualisiert 2026-08-11 📅 Erstellt 2020-01-21
10
exa-labs/exa-mcp-server

Exa MCP für Websuche und Web-Crawling!

exa-labs
⭐ 5,250 TypeScript 👤 exa-labs Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-11-27
11
hakluke/hakrawler

Einfacher, schneller Web-Crawler, der für die einfache und schnelle Entdeckung von Endpunkten und Assets in einer Web-Anwendung konzipiert ist

hakluke
⭐ 5,171 Go 👤 hakluke User 🕐 Aktualisiert 2026-08-05 📅 Erstellt 2019-12-15
12
ai-robots-txt/ai.robots.txt

Eine Liste von KI-Agenten und Robotern, die blockiert werden sollen.

ai-robots-txt
⭐ 4,265 Python 👤 ai-robots-txt Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2024-03-27
13
hardkoded/puppeteer-sharp

Headless Chrome .NET-API

hardkoded
⭐ 3,936 C# 👤 hardkoded Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2017-09-30
14
edoardottt/cariddi

Nimm eine Liste von Domains, durchsuche URLs und scanne nach Endpunkten, Geheimnissen, API-Schlüsseln, Dateierweiterungen, Tokens und mehr.

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2021-04-27
15
apache/nutch

Apache Nutch ist ein erweiterbarer und skalierbarer Web-Crawler

apache
⭐ 3,311 Java 👤 apache Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2009-05-21
16
transitive-bullshit/awesome-puppeteer

Eine kuratierte Liste toller Puppeteer-Ressourcen.

transitive-bullshit
⭐ 2,528 👤 transitive-bullshit User 🕐 Aktualisiert 2024-07-19 📅 Erstellt 2018-05-07
17
lorien/grab

Web-Scraping-Framework

lorien
⭐ 2,461 Python 👤 lorien User 🕐 Aktualisiert 2025-09-19 📅 Erstellt 2013-05-01
18
NateScarlet/holiday-cn

📅🇨🇳 Chinesische gesetzliche Feiertage Daten Automatisch täglich aus Staatsratsankündigungen abgerufen

NateScarlet
⭐ 2,293 Python 👤 NateScarlet User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2019-03-05
19
zorlan/skycaiji

Blue Sky Collector ist ein quelloffenes und kostenloses Crawler-System, das nur die Auswahl und Bearbeitung von Regeln zur Datenerfassung benötigt. Es kann lokal, auf einem virtuellen Host oder auf einem Cloud-Server ausgeführt werden und kann fast alle Arten von Webseiten erfassen. Es lässt sich nahtlos an verschiedene CMS-Website-Erstellungsprogramme anbinden, veröffentlicht Daten in Echtzeit und ohne Anmeldung, vollautomatisch und ohne menschliches Eingreifen! Es ist ein vollständig plattformübergreifendes Cloud-Crawler-System für die Web-Big-Data-Erfassungssoftware.

zorlan
⭐ 2,098 PHP 👤 zorlan User 🕐 Aktualisiert 2026-10-07 📅 Erstellt 2018-02-26
20
rebrowser/rebrowser-patches

Sammlung von Patches für Puppeteer und Playwright, um Automatisierungserkennung und Lecks zu vermeiden. Hilft, Cloudflare- und DataDome-CAPTCHA-Seiten zu umgehen. Einfach zu patchen/unpatchen, kann nach Bedarf aktiviert/deaktiviert werden.

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 Aktualisiert 2026-11-02 📅 Erstellt 2024-08-06
21
roach-php/core

Das komplette Web-Scraping-Toolkit für PHP.

roach-php
⭐ 1,456 PHP 👤 roach-php Organization 🕐 Aktualisiert 2025-10-27 📅 Erstellt 2021-08-17
22
lorey/mlscraper

🤖 Daten automatisch aus HTML-Websites scrapen, indem Sie einfach Beispiele bereitstellen

lorey
⭐ 1,370 Python 👤 lorey User 🕐 Aktualisiert 2024-03-17 📅 Erstellt 2020-07-30
23
webrecorder/browsertrix-crawler

Führen Sie einen browserbasierten Webcrawler mit hoher Wiedergabetreue in einem einzigen Docker-Container aus

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2020-11-02
24
needleworm/bhban_rpa

Dies ist ein Beispielcode aus <6개월 치 업무를 하루 만에 끝내는 업무 자동화(생능출판사, 2020)>. Es handelt sich um ein Beispiel für Personen, die noch nie Python gelernt haben, und bietet Beispiele in verschiedenen Bereichen der Aufgabenautomatisierung, von Excel über Design, Makros bis hin zum Crawling.

needleworm
⭐ 1,153 Python 👤 needleworm User 🕐 Aktualisiert 2026-10-25 📅 Erstellt 2020-02-11
25
dondai44423/donsetch

Web-Abruf, Suche und Crawling für KI-Agenten. Von Grund auf in Rust entwickelt. Keine Schlüssel, keine Konten. AGPL v3.

dondai44423
⭐ 1,138 Rust 👤 dondai44423 User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-08-07
26
scrapfly/scrapfly-scrapers

Skalierbare Python-Web-Scraping-Skripte für über 80 beliebte Domains

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-05-22
27
elixir-crawly/crawly

Crawly, ein Framework auf hohem Niveau für Web-Crawling und Scraping für Elixir.

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2019-03-09
28
janreges/siteone-crawler

SiteOne Crawler ist ein plattformübergreifender Website-Crawler und -Analysator für SEO, Sicherheit, Zugänglichkeit und Leistungsoptimierung – ideal für Entwickler, DevOps, QA-Ingenieure und Berater. Unterstützt Windows, macOS und Linux (x64 und arm64).

janreges
⭐ 1,019 Rust 👤 janreges User 🕐 Aktualisiert 2026-09-27 📅 Erstellt 2023-10-04
29
clemfromspace/scrapy-selenium

Scrapy-Middleware zum Behandeln von JavaScript-Seiten mit Selenium

clemfromspace
⭐ 950 Python 👤 clemfromspace User 🕐 Aktualisiert 2026-04-13 📅 Erstellt 2018-02-11
30
mishakorzik/AdminHack

heute werden wir das Admin-Panel der Website hacken.

mishakorzik
⭐ 932 Shell 👤 mishakorzik User 🕐 Aktualisiert 2026-09-10 📅 Erstellt 2021-05-16
31
scrapinghub/scrapyrt

HTTP-API für Scrapy-Spinnen

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 Aktualisiert 2026-10-13 📅 Erstellt 2015-01-06
32
StJudeWasHere/seonaut

Open-Source-SEO-Audit-Tool.

StJudeWasHere
⭐ 873 Go 👤 StJudeWasHere User 🕐 Aktualisiert 2026-10-08 📅 Erstellt 2022-03-02
33
MorvanZhou/easy-scraping-tutorial

Einfacher, aber nützlicher Python-Web-Scraping-Tutorial-Code.

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 Aktualisiert 2024-04-07 📅 Erstellt 2017-12-29
34
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ LinkedIn-Profil-Scraper, der strukturierte Profildaten im JSON-Format zurückgibt.

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 Aktualisiert 2024-04-05 📅 Erstellt 2018-12-21
35
lumpinif/deepcrawl

100% kostenlos und vollständig open-source Alternative zu Firecrawl edge mit besserer Link-Extraktion für Agents - die du selbst auf Cloudflare oder Vercel deployen kannst.

lumpinif
⭐ 704 TypeScript 👤 lumpinif User 🕐 Aktualisiert 2026-08-24 📅 Erstellt 2025-05-22
36
cxcscmu/Craw4LLM

Offizielle Repository für "Craw4LLM: Effizientes Web-Crawling für LLM-Pretraining"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Aktualisiert 2025-02-24 📅 Erstellt 2025-02-17
37
l4rm4nd/LinkedInDumper

Python 3-Skript zum Auslesen/Scrapen/Extrahieren von Firmendaten von Mitarbeitern aus der LinkedIn-API

l4rm4nd
⭐ 624 Python 👤 l4rm4nd User 🕐 Aktualisiert 2026-08-21 📅 Erstellt 2022-10-17
38
scrapinghub/spidermon

Scrapy-Erweiterung zur Überwachung der Spider-Ausführung.

scrapinghub
⭐ 563 Python 👤 scrapinghub Organization 🕐 Aktualisiert 2026-10-20 📅 Erstellt 2015-11-17
39
zhuyingda/webster

Ein zuverlässiges High-Level-Web-Crawling- und Scraping-Framework für Node.js.

zhuyingda
⭐ 560 JavaScript 👤 zhuyingda User 🕐 Aktualisiert 2025-03-12 📅 Erstellt 2017-11-04

Häufig gestellte Fragen

1

Welches ist das beliebteste #crawling-Repository auf GitHub?

Das am höchsten eingestufte Open-Source-#crawling-Projekt auf GitHub ist D4Vinci/Scrapling mit 104,760 Sternen. 🕷️ Das BESTE Web-Scraping-Framework – für alles von einer einzelnen Anfrage bis hin zu einem umfangreichen Crawl! Nur keine Scheu: Tritt hier bei: https://discord.gg/EMgGbDceNQ und folge uns hier für tägliche Tipps und Tricks: https://x.com/Scrapling_dev

2

Welche Programmiersprachen werden in #crawling-Repositories am häufigsten verwendet?

Unter den am höchsten eingestuften #crawling-Projekten auf GitHub sind Python, TypeScript, Go, JavaScript die am häufigsten verwendeten Programmiersprachen.

3

Wie wird das Ranking der #crawling-Repositories berechnet?

Wir verfolgen 39 aktive Open-Source-Repositories, die mit #crawling getaggt sind (500+ Sterne), mit insgesamt 335,438 Sternen und durchschnittlich 8,600 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.