Git Stars Git Stars

#scraping Repositories

109
Gesamtzahl der Repositories
768,143
Gesamtanzahl der Sterne
7,047
Durchschnittliche Sterne/Repo

Insgesamt 109 Repositories

51
tinyfish-io/agentql

AgentQL ist eine Suite von Tools, um Ihre KI mit dem Web zu verbinden. Mit einer Abfragesprache und Playwright-Integrationen für die schnelle, präzise und skalierbare Interaktion mit Elementen und die Extraktion von Daten. Enthält REST API, Python- und JavaScript-SDKs sowie einen Browser-Debugger.

tinyfish-io
⭐ 1,510 Python 👤 tinyfish-io Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-02-20
52
rebrowser/rebrowser-patches

Sammlung von Patches für Puppeteer und Playwright, um Automatisierungserkennung und Lecks zu vermeiden. Hilft, Cloudflare- und DataDome-CAPTCHA-Seiten zu umgehen. Einfach zu patchen/unpatchen, kann nach Bedarf aktiviert/deaktiviert werden.

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 Aktualisiert 2026-11-02 📅 Erstellt 2024-08-06
53
ScrapingBee/chatgpt-scraper-api

Sammeln Sie strukturierte Antworten von einem ChatGPT-Scraper, indem Sie eine Eingabeaufforderung mit gültigen ChatGPT-Scraping-API-Anmeldeinformationen senden. Aktivieren Sie die Live-Suche, injizieren Sie HTML-Kontext und automatisieren Sie intelligente Scraper-ChatGPT-Workflows mit nur wenigen Parametern.

ScrapingBee
⭐ 1,465 👤 ScrapingBee Organization 🕐 Aktualisiert 2026-07-15 📅 Erstellt 2026-03-12
54
okfn-brasil/querido-diario

📰 Brasilianische Amtsblätter für alle zugänglich | 📰 Brasilianische Regierungsgazetten, zugänglich für alle.

okfn-brasil
⭐ 1,424 Python 👤 okfn-brasil Organization 🕐 Aktualisiert 2026-10-12 📅 Erstellt 2018-04-01
55
feder-cr/invisible_puppeteer

Puppeteer für Python, das Anti-Bot-Systeme nicht erkennen können – ganz ohne Captchas: dieselbe API, ein unsichtbarer, Anti-Detection-fähiger Headless-Firefox, ein nicht erkennbarer Fingerabdruck, Umgehung der Bot-Erkennung, Web-Scraping und Browser-Automatisierung.

feder-cr
⭐ 1,403 Python 👤 feder-cr User 🕐 Aktualisiert 2026-10-19 📅 Erstellt 2024-09-01
56
raznem/parsera

Leichte Bibliothek zum Auslesen von Webseiten mit LLMs

raznem
⭐ 1,372 Python 👤 raznem User 🕐 Aktualisiert 2025-12-17 📅 Erstellt 2024-08-12
57
lorey/mlscraper

🤖 Daten automatisch aus HTML-Websites scrapen, indem Sie einfach Beispiele bereitstellen

lorey
⭐ 1,370 Python 👤 lorey User 🕐 Aktualisiert 2024-03-17 📅 Erstellt 2020-07-30
58
scrapy/parsel

Parsel ermöglicht es Ihnen, Daten aus XML/HTML-Dokumenten mit XPath oder CSS-Selektoren zu extrahieren

scrapy
⭐ 1,368 Python 👤 scrapy Organization 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2015-04-24
59
mov-cli/mov-cli

Beobachten Sie alles von Ihrem Terminal aus.

mov-cli
⭐ 1,313 Python 👤 mov-cli Organization 🕐 Aktualisiert 2025-10-05 📅 Erstellt 2022-03-11
60
daijro/browserforge

🎭 Intelligenter Browser-Header und Fingerabdruck-Generator

daijro
⭐ 1,298 Python 👤 daijro User 🕐 Aktualisiert 2026-10-29 📅 Erstellt 2024-03-13
61
plabayo/rama

modulares Dienstleistungsframework zum Verschieben und Transformieren von Netzwerkpaketen

plabayo
⭐ 1,273 Rust 👤 plabayo Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2022-08-07
62
Decodo/Decodo

HTTP(S)/SOCKS5 rotierende Residential-Proxys - Code-Beispiele & allgemeine Informationen.

Decodo
⭐ 1,264 Java 👤 Decodo Organization 🕐 Aktualisiert 2026-11-11 📅 Erstellt 2019-01-07
63
neon-mmd/websurfx

:rocket: Eine Open-Source-Alternative zu searx, die eine modern aussehende :sparkles:, blitzschnelle :zap:, datenschutzfreundliche :disguised_face:, sichere :lock: Meta-Suchmaschine bietet

neon-mmd
⭐ 1,231 Rust 👤 neon-mmd User 🕐 Aktualisiert 2026-11-06 📅 Erstellt 2023-04-28
64
datawhores/OF-Scraper

Ein vollständig überarbeiteter und neu gestalteter Fork mit Unterstützung für OnlyFans und Fansly, der auf Grundlage des ursprünglichen onlyfans-scraper von Grund auf neu konzipiert wurde.

datawhores
⭐ 1,219 Python 👤 datawhores User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-03-22
65
germondai/trawl

Selbst gehostete Scraping-Engine — umgeht jede JS-Herausforderung und jedes Captcha: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Alternative zu FlareSolverr und Byparr und direkter Ersatz für Ihren *arr-Stack.

germondai
⭐ 1,209 TypeScript 👤 germondai User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2026-06-26
66
AndyTheFactory/newspaper4k

📰 Newspaper4k, eine Abspaltung des beliebten Newspaper3k. Extrahieren von Artikeln, Titeln und Metadaten von Nachrichtenseiten.

AndyTheFactory
⭐ 1,170 Python 👤 AndyTheFactory User 🕐 Aktualisiert 2026-11-01 📅 Erstellt 2023-10-22
67
bellingcat/auto-archiver

Archive automatisch Links zu Videos, Bildern und Social-Media-Inhalten aus Google Sheets (und mehr).

bellingcat
⭐ 1,158 Python 👤 bellingcat Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2021-01-15
68
soxoj/socid-extractor

⛏️ Die Extraktions-Engine hinter Maigret: Verwandle jede Profil-URL in einen strukturierten OSINT-Datensatz auf über 150 Websites

soxoj
⭐ 1,143 Python 👤 soxoj User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2019-11-17
69
ai-to-ai/Auto-Gmail-Creator

Open Source Bulk Auto Gmail Creator Bot mit Selenium & Seleniumwire (Python). Kontaktieren Sie mich gerne mit Django/Flask, ML, KI, GPT, Automatisierung, Scraping.

ai-to-ai
⭐ 1,138 Python 👤 ai-to-ai User 🕐 Aktualisiert 2024-09-26 📅 Erstellt 2023-02-20
70
scrapfly/scrapfly-scrapers

Skalierbare Python-Web-Scraping-Skripte für über 80 beliebte Domains

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-05-22
71
elixir-crawly/crawly

Crawly, ein Framework auf hohem Niveau für Web-Crawling und Scraping für Elixir.

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2019-03-09
72
online-judge-tools/oj

Werkzeuge für verschiedene Online-Judges. Herunterladen von Beispielszenarien, Generieren zusätzlicher Testfälle, Testen Ihres Codes und Einreichen.

online-judge-tools
⭐ 1,128 Python 👤 online-judge-tools Organization 🕐 Aktualisiert 2024-05-03 📅 Erstellt 2017-01-05
73
viu-media/viu

Dein Anime-Erlebnis im Browser vom Terminal aus

viu-media
⭐ 1,062 Python 👤 viu-media Organization 🕐 Aktualisiert 2026-05-06 📅 Erstellt 2024-05-27
74
jfilter/clean-text

🧹 Python-Paket zur Textbereinigung

jfilter
⭐ 1,031 Python 👤 jfilter User 🕐 Aktualisiert 2026-10-26 📅 Erstellt 2018-12-06
75
daijro/hrequests

Web Scraping für Menschen

daijro
⭐ 976 Python 👤 daijro User 🕐 Aktualisiert 2024-12-01 📅 Erstellt 2023-07-06
76
Krasjet/pdf.tocgen

Ein CLI-Toolset zur automatischen Erstellung von Inhaltsverzeichnissen für PDF-Dateien.

Krasjet
⭐ 853 Python 👤 Krasjet User 🕐 Aktualisiert 2026-05-13 📅 Erstellt 2020-07-28
77
leoncvlt/loconotion

📄 Python-Tool, um Notion.so-Seiten in leichtgewichtige, anpassbare statische Websites zu verwandeln

leoncvlt
⭐ 853 Python 👤 leoncvlt User 🕐 Aktualisiert 2024-07-22 📅 Erstellt 2020-05-16
78
tiliondev/fortress

Stealth-Chromium-Engine, das verhindert, dass Scraper und Browser-Agenten blockiert werden – mit nur einer Änderung in einer Codezeile.

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 Aktualisiert 2026-11-03 📅 Erstellt 2026-07-02
79
MorvanZhou/easy-scraping-tutorial

Einfacher, aber nützlicher Python-Web-Scraping-Tutorial-Code.

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 Aktualisiert 2024-04-07 📅 Erstellt 2017-12-29
80
Lookyloo/lookyloo

Lookyloo ist eine Weboberfläche, die Benutzern ermöglicht, eine Webseite zu erfassen und dann einen Baum von Domains anzuzeigen, die einander aufrufen.

Lookyloo
⭐ 790 Python 👤 Lookyloo Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2017-07-23
81
alpkeskin/rota

Eine leistungsstarke Proxy-Rotations-Engine mit automatisiertem IP-Management und Echtzeit-Überwachung des Zustands

alpkeskin
⭐ 775 Go 👤 alpkeskin User 🕐 Aktualisiert 2026-09-25 📅 Erstellt 2024-06-02
82
ZacharyHampton/HomeHarvest

Python-Paket zum Abrufen von Immobiliendaten

ZacharyHampton
⭐ 764 Python 👤 ZacharyHampton User 🕐 Aktualisiert 2025-12-26 📅 Erstellt 2023-09-15
83
serpapi/google-search-results-python

Google Suchergebnisse über SERP API pip Python-Paket

serpapi
⭐ 762 Python 👤 serpapi Organization 🕐 Aktualisiert 2026-08-18 📅 Erstellt 2018-01-10
84
1broseidon/ketch

Schnelle, zustandslose CLI für die Websuche und das Scraping. Für KI-Agenten entwickelt.

1broseidon
⭐ 756 Go 👤 1broseidon User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2026-03-25
85
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ LinkedIn-Profil-Scraper, der strukturierte Profildaten im JSON-Format zurückgibt.

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 Aktualisiert 2024-04-05 📅 Erstellt 2018-12-21
86
prescience-data/dark-knowledge

😈📚 Eine kuratierte Bibliothek von Forschungsarbeiten und Präsentationen für Enthusiasten von Gegen-Erkennung und Web-Privatsphäre.

prescience-data
⭐ 715 JavaScript 👤 prescience-data User 🕐 Aktualisiert 2024-02-19 📅 Erstellt 2021-04-15
87
Yuvi9587/Kemono-Downloader

Kemono pawchive Downloader ist eine schnelle PyQt5-App zum Archivieren von Inhalten von einer Vielzahl von Websites, darunter Kemono, Coomer, Bunkr, Erome, Saint2.su, nhentai und Discord. Sie verfügt über einen Creator-Browser, eine Update-Prüfung und unterstützt Multi-Thread- sowie Multi-Part-Downloads. Sitzungen können pausiert, fortgesetzt oder Filter wiederhergestellt werden.

Yuvi9587
⭐ 675 Python 👤 Yuvi9587 User 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2025-05-05
88
ScriptSmith/socialreaper

Bibliothek zum Scraping bzw. zur Datenerfassung in sozialen Medien für die APIs von Facebook, Twitter, Reddit, YouTube, Pinterest und Tumblr

ScriptSmith
⭐ 668 Python 👤 ScriptSmith User 🕐 Aktualisiert 2026-09-29 📅 Erstellt 2017-01-31
89
Xonshiz/comic-dl

Comic-dl ist ein Kommandozeilen-Tool zum Herunterladen von Manga und Comics aus verschiedenen Comic- und Manga-Seiten. Unterstützte Seiten: readcomiconline.to, mangafox.me, comic naver und viele mehr.

Xonshiz
⭐ 667 Python 👤 Xonshiz User 🕐 Aktualisiert 2025-07-31 📅 Erstellt 2016-11-13
90
freelawproject/juriscraper

Eine API zum Auslesen von Metadaten von amerikanischen Gerichtswebseiten.

freelawproject
⭐ 664 HTML 👤 freelawproject Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2014-08-08
91
AnonCatalyst/Ominis-OSINT

Diese Python-Anwendung ist ein OSINT (Open Source Intelligence)-Tool namens „Ominis OSINT - Web Hunter“. Es führt eine Online-Informationssammlung durch, indem es Google nach Suchergebnissen im Zusammenhang mit einer vom Benutzer eingegebenen Abfrage abfragt. Das Tool extrahiert relevante Informationen wie Titel, URLs und mögliche Erwähnungen der Abfrage in den Ergebnissen.

AnonCatalyst
⭐ 655 Python 👤 AnonCatalyst User 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2023-10-09
92
gunkonchi/xscrape

Asynchroner Python-Client zum Erfassen öffentlicher Daten von X (Twitter) – Suche, Profile, Threads, Antworten und Medien. Mit integrierter Kontorotation, adaptiver Ratenbegrenzung und Export nach JSON/CSV/SQLite.

gunkonchi
⭐ 647 Python 👤 gunkonchi User 🕐 Aktualisiert 2026-10-20 📅 Erstellt 2026-09-26
93
lorey/social-media-profiles-regexs

:card_index: Extrahiere Social-Media-Profile und mehr mit regulären Ausdrücken

lorey
⭐ 642 Python 👤 lorey User 🕐 Aktualisiert 2024-01-11 📅 Erstellt 2015-06-24
94
scrapfly/Antibot-Detector

Echtzeiterkennung von Anti-Bot-Systemen, Captchas und Fingerprinting-Techniken. Erkennt Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security und mehr – mit Vertrauenswerten und erweiterten Erfassungstools.

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2025-09-03
95
l4rm4nd/LinkedInDumper

Python 3-Skript zum Auslesen/Scrapen/Extrahieren von Firmendaten von Mitarbeitern aus der LinkedIn-API

l4rm4nd
⭐ 624 Python 👤 l4rm4nd User 🕐 Aktualisiert 2026-08-21 📅 Erstellt 2022-10-17
96
ksanjeev284/reddit-universal-scraper

Universal Reddit Scraper - Funktioniert für jedes Subreddit und jeden Benutzer

ksanjeev284
⭐ 620 Python 👤 ksanjeev284 User 🕐 Aktualisiert 2026-10-22 📅 Erstellt 2025-12-13
97
umihico/docker-selenium-lambda

Die einfachste Demo der Chrome-Automatisierung mit Python und Selenium in AWS Lambda

umihico
⭐ 614 Dockerfile 👤 umihico User 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2021-03-12
98
kr4ude/onlyfans-scraper

Ein Tool, mit dem Sie Medien von jedem Onlyfans-Konto und mehr scrapen können

kr4ude
⭐ 605 Python 👤 kr4ude User 🕐 Aktualisiert 2025-11-25 📅 Erstellt 2025-11-10
99
drudge/n8n-nodes-puppeteer

n8n-Knoten für die Browserautomatisierung mit Puppeteer

drudge
⭐ 589 TypeScript 👤 drudge User 🕐 Aktualisiert 2026-05-08 📅 Erstellt 2022-05-07
100
spekulatius/PHPScraper

Ein universelles Web-Util für PHP.

spekulatius
⭐ 588 PHP 👤 spekulatius User 🕐 Aktualisiert 2026-09-08 📅 Erstellt 2020-04-21