Git Stars Git Stars

#web-scraping Repositories

381
Gesamtzahl der Repositories
2.1M
Gesamtanzahl der Sterne
5,636
Durchschnittliche Sterne/Repo

Insgesamt 382 Repositories

51
matthewmueller/x-ray

Der nächste Web-Scraper. Durchblicke durch das <html> Rauschen.

matthewmueller
⭐ 5,899 JavaScript 👤 matthewmueller User 🕐 Aktualisiert 2026-08-31 📅 Erstellt 2015-02-05
52
omkarcloud/botasaurus

Das All-in-One-Framework zum Erstellen unschlagbarer Scraper

omkarcloud
⭐ 5,857 TypeScript 👤 omkarcloud Organization 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2023-05-09
53
executeautomation/mcp-playwright

Playwright Model Context Protocol Server – Werkzeug zur Automatisierung von Browsern und APIs in Claude Desktop, Cline, Cursor IDE und mehr 🔌

executeautomation
⭐ 5,681 TypeScript 👤 executeautomation User 🕐 Aktualisiert 2025-12-13 📅 Erstellt 2024-12-03
54
KnockOutEZ/wigolo

Das ideale Web für Ihren KI-Codierungsagenten — lokale Suche, Abruf, Crawling und Recherche über MCP. Keine API-Schlüssel, keine Cloud, 0 $/Abfrage. Öffentliche Beta.

KnockOutEZ
⭐ 5,560 TypeScript 👤 KnockOutEZ User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-04-12
55
Kaliiiiiiiiii-Vinyzu/patchright

Nicht erkannte Version der Playwright-Test- und Automatisierungsbibliothek.

Kaliiiiiiiiii-Vinyzu
⭐ 5,227 TypeScript 👤 Kaliiiiiiiiii-Vinyzu Organization 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2023-11-07
56
Manavarya09/design-extract

Extrahieren Sie das vollständige Designsystem jeder Website mit einem Befehl. DTCG-Token, semantisch+primitiv+komposit, MCP-Server für Claude Code/Cursor/Windsurf, Multiplattform-Emitter (iOS SwiftUI, Android Compose, Flutter, WordPress), Tailwind v4, Figma-Variablen, shadcn/ui, CSS-Gesundheitsprüfung, WCAG-Behebung, Chrome-Erweiterung. MIT, Playwright, Node 20+.

Manavarya09
⭐ 5,180 HTML 👤 Manavarya09 User 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2026-04-15
57
ultrafunkamsterdam/nodriver

Nachfolger von Undetected-Chromedriver. Bietet ein rasantes Framework für Webautomatisierung, Web-Scraping, Bots und alle anderen kreativen Ideen, die normalerweise durch lästige Anti-Bot-Systeme wie Captcha / CloudFlare / Imperva / hCaptcha behindert werden.

ultrafunkamsterdam
⭐ 4,950 Python 👤 ultrafunkamsterdam User 🕐 Aktualisiert 2026-10-26 📅 Erstellt 2024-02-20
58
jaypyles/Scraperr

Selbst gehosteter Web-Scraper.

jaypyles
⭐ 4,876 TypeScript 👤 jaypyles User 🕐 Aktualisiert 2025-10-12 📅 Erstellt 2024-07-06
59
NanmiCoder/CrawlerTutorial

Einstieg in Web-Scraping, Fortgeschrittener Web-Scraping, Fortgeschrittener Web-Scraping

NanmiCoder
⭐ 4,873 Python 👤 NanmiCoder User 🕐 Aktualisiert 2026-04-03 📅 Erstellt 2024-03-24
60
request/request-promise

Der vereinfachte HTTP-Anforderungskclient 'request' mit Promise-Unterstützung. Angetrieben von Bluebird.

request
⭐ 4,734 JavaScript 👤 request Organization 🕐 Aktualisiert 2024-01-31 📅 Erstellt 2013-10-04
61
REMitchell/python-scraping

Code-Beispiele aus dem Buch Web Scraping with Python http://shop.oreilly.com/product/0636920034391.do

REMitchell
⭐ 4,669 Jupyter Notebook 👤 REMitchell User 🕐 Aktualisiert 2024-06-01 📅 Erstellt 2015-06-14
62
AhmadHassan-BTed/Noria

Ein agentischer Extraktor für Messaging-Plattformen. Noria empfängt Nachrichten und URLs per Chat, erfasst Webdaten, um Inhalte anhand benutzerdefinierter Bewertungsschemata (z. B. für Jobs und Stipendien) zu bewerten, und sendet eine strukturierte Zusammenfassung mit einem berechneten Übereinstimmungswert direkt an die zugewiesene Messenger-Nummer.

AhmadHassan-BTed
⭐ 4,624 JavaScript 👤 AhmadHassan-BTed User 🕐 Aktualisiert 2026-11-10 📅 Erstellt 2026-05-31
63
linsomniac/spotify_to_ytmusic

Playlists und gelikte Musik von Spotify auf YTMusic kopieren

linsomniac
⭐ 4,588 Python 👤 linsomniac User 🕐 Aktualisiert 2026-04-13 📅 Erstellt 2023-12-22
64
0xHJK/music-dl

Musik suchen und herunterladen Von NetEase Cloud Music, QQ Music, KuGou Music, Baidu Music, Xiami Music, MiGu Music usw. suchen und Songs herunterladen

0xHJK
⭐ 4,423 Python 👤 0xHJK User 🕐 Aktualisiert 2025-08-12 📅 Erstellt 2019-01-08
65
ssut/py-googletrans

(inoffiziell) Googletrans: Kostenlose und unbegrenzte Google Translate-API für Python. Übersetzt vollständig kostenlos.

ssut
⭐ 4,303 Python 👤 ssut User 🕐 Aktualisiert 2026-08-08 📅 Erstellt 2015-06-05
66
RookieEnough/Orion-Store

Das Zuhause für Open-Source-Apps und bereinigte Apps. OrionStore bietet sofortigen Zugriff auf YouTube Morphe, YT Music Morphe und unverzichtbare Open-Source-Tools – ganz ohne unnötigen Ballast. Keine Server, kein Tracking, sondern einfach ein schönes, modernes Portal zu deinen Lieblings-Apps.

RookieEnough
⭐ 4,285 Kotlin 👤 RookieEnough User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2025-11-28
67
scrapinghub/splash

Leichtgewichtiger, skriptbarer Browser als Service mit HTTP-API

scrapinghub
⭐ 4,197 Python 👤 scrapinghub Organization 🕐 Aktualisiert 2024-08-02 📅 Erstellt 2013-05-20
68
kalil0321/reverse-api-engineer

Entwickle für jede Website per Reverse Engineering einen typisierten API-Client. Funktioniert mit Claude Code, Codex, Cursor und OpenCode.

kalil0321
⭐ 4,088 Python 👤 kalil0321 User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-12-23
69
snooppr/snoop

Snoop – ein OSINT-Tool (Open Source Intelligence)

snooppr
⭐ 4,072 Python 👤 snooppr User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2020-02-14
70
IonicaBizau/scrape-it

🔮 Ein Node.js-Scraper für Menschen.

IonicaBizau
⭐ 4,069 JavaScript 👤 IonicaBizau User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2016-04-28
71
ericciarla/trendFinder

Bleiben Sie mit KI über angesagte Themen in sozialen Medien und im Web auf dem Laufenden

ericciarla
⭐ 4,016 TypeScript 👤 ericciarla User 🕐 Aktualisiert 2025-02-17 📅 Erstellt 2024-12-31
72
osnr/TabFS

🗄 Mounten Sie Ihre Browser-Tabs als Dateisystem.

osnr
⭐ 3,916 JavaScript 👤 osnr User 🕐 Aktualisiert 2024-12-28 📅 Erstellt 2019-02-26
73
Samueli924/chaoxing

Superstar Learning Cloud / Super Star Er Ya / Pan Ya Super Star Vollautomatisches unbeaufsichtigtes Abschließen von Aufgabenpunkten

Samueli924
⭐ 3,883 Python 👤 Samueli924 User 🕐 Aktualisiert 2026-09-28 📅 Erstellt 2020-11-20
74
sentient-agi/OpenDeepSearch

SOTA-Suche-gesteuerte LLM

sentient-agi
⭐ 3,824 Python 👤 sentient-agi Organization 🕐 Aktualisiert 2025-04-04 📅 Erstellt 2025-03-20
75
edoardottt/cariddi

Nimm eine Liste von Domains, durchsuche URLs und scanne nach Endpunkten, Geheimnissen, API-Schlüsseln, Dateierweiterungen, Tokens und mehr.

edoardottt
⭐ 3,817 Go 👤 edoardottt User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2021-04-27
76
3441293738/creatorhub

Plattformübergreifende Inhaltsüberwachung · Sammlung · Weiterveröffentlichung. Ein Web-Dashboard zur Verwaltung von Douyin / Xiaohongshu / Kuaishou / WeChat-Kanälen / TikTok / Bilibili / Instagram / Xiaohongshu international (rednote)

3441293738
⭐ 3,774 Python 👤 3441293738 User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-07-03
77
Anakin-Inc/anakin

Open-Source Web-Scraping-API. Verwandeln Sie jede Website in sauberes Markdown oder strukturiertes JSON. Anti-Detect-Browser, automatische Proxy-Auswahl, selbst gehostet. Ein Befehl: make up

Anakin-Inc
⭐ 3,764 Go 👤 Anakin-Inc Organization 🕐 Aktualisiert 2026-08-18 📅 Erstellt 2026-03-17
78
cv-cat/DouYin_Spider

TikTok Reverse Engineering, TikTok Crawler, alle TikTok APIs, private Nachrichten, Live-Stream-Überwachung

cv-cat
⭐ 3,711 Python 👤 cv-cat User 🕐 Aktualisiert 2026-10-23 📅 Erstellt 2023-10-17
79
oxylabs/amazon-scraper

Kostenlose Testversion der Amazon Scraper API zum Extrahieren von Daten aus Suchergebnissen, Produkten, Angeboten, Bewertungen, Fragen und Antworten, Bestsellern und Verkäufern.

oxylabs
⭐ 3,417 Python 👤 oxylabs Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2022-11-29
81
oxylabs/oxylabs-ai-studio-py

Strukturierte Datenerfassung von jeder Website mithilfe eines KI-gesteuerten Scrapers, Crawlers und der Browserautomatisierung. Scraping und Crawling mit Aufforderungen in natürlicher Sprache. Statten Sie Ihre LLM-Agenten mit aktuellen Daten aus. AI Studio Python SDK für die intelligente Webdatenerfassung.

oxylabs
⭐ 3,394 Python 👤 oxylabs Organization 🕐 Aktualisiert 2026-08-21 📅 Erstellt 2025-06-17
82
vibheksoni/stealth-browser-mcp

Unauffällige Browser-Automatisierung für KI-Agenten über MCP und das Chrome-DevTools-Protokoll: Navigation, Netzwerk-Hooks, DOM-Extraktion und pixelgenaues Klonen von Benutzeroberflächen.

vibheksoni
⭐ 3,384 Python 👤 vibheksoni User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-08-09
83
php-curl-class/php-curl-class

PHP Curl Class erleichtert das Senden von HTTP-Anfragen und die Integration mit Web-APIs.

php-curl-class
⭐ 3,293 PHP 👤 php-curl-class Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2013-08-16
84
Virtual-Browser/VirtualBrowser

Kostenloser Anti-Fingerprinting-Browser, Fingerprint-Browser, Privacy-Browser, Anti-Erkennungs-Browser, Anti-Identifikations-Browser, Anti-Assoziations-Browser, kostenloser Web3-Airdrop-spezifischer Fingerprint-Browser https://virtualbrowser.cc/?src=github

Virtual-Browser
⭐ 3,282 Vue 👤 Virtual-Browser User 🕐 Aktualisiert 2026-10-16 📅 Erstellt 2023-05-20
85
hydrusnetwork/hydrus

Ein persönlicher Booru-Stil-Medientagger, der Dateien und Tags von Ihrer Festplatte und beliebten Websites importieren kann. Inhalte können über benutzerbetriebene Server mit anderen Benutzern geteilt werden.

hydrusnetwork
⭐ 3,276 Python 👤 hydrusnetwork User 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2013-02-19
86
oxylabs/how-to-scrape-amazon-product-data

Der Prozess der Extraktion von Produktdaten von Amazon mithilfe von Python, einschließlich Titeln, Bewertungen, Preisen, Bildern und Beschreibungen.

oxylabs
⭐ 3,248 Python 👤 oxylabs Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2024-09-03
87
mitsuhiko/agent-stuff

Das sind Befehle, die ich mit Agenten, hauptsächlich Claude, verwende.

mitsuhiko
⭐ 3,223 TypeScript 👤 mitsuhiko User 🕐 Aktualisiert 2026-09-27 📅 Erstellt 2025-11-02
88
scrapy/scrapyd

Ein Service-Daemon zum Ausführen von Scrapy-Spiders

scrapy
⭐ 3,100 Python 👤 scrapy Organization 🕐 Aktualisiert 2026-10-23 📅 Erstellt 2013-02-01
90
langchain-ai/social-media-agent

📲 Ein Agent zum Beschaffen, Kuratieren und Planen von Social-Media-Posts mit menschlicher Beteiligung.

langchain-ai
⭐ 3,045 TypeScript 👤 langchain-ai Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2024-11-21
91
TheBlewish/Automated-AI-Web-Researcher-Ollama

Ein Python-Programm, das eine LLM, die auf Ollama läuft, in einen automatisierten Forscher verwandelt, der mit einer einzigen Abfrage Fokusbereiche zur Untersuchung bestimmt, Websuchen durchführt, Inhalte von verschiedenen relevanten Websites kratzt und Forschungen ganz allein für Sie durchführt! Und mehr, nicht beschränkt auf, aber einschließlich des Speicherns der Ergebnisse für Sie!

TheBlewish
⭐ 3,019 Python 👤 TheBlewish User 🕐 Aktualisiert 2026-09-02 📅 Erstellt 2024-11-20
92
x4nth055/pythoncode-tutorials

Die Python-Code-Tutorials

x4nth055
⭐ 3,003 Jupyter Notebook 👤 x4nth055 User 🕐 Aktualisiert 2026-09-30 📅 Erstellt 2019-07-29
93
vladkens/twscrape

Python-Bibliothek und CLI für das Scraping von X/Twitter mit Multi-Account-Rotation und integrierter Ratenbegrenzungsverwaltung.

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2023-05-05
94
rust-headless-chrome/rust-headless-chrome

Ein High-Level-API zur Steuerung von headless Chrome oder Chromium über das DevTools-Protokoll. Es ist das Rust-Äquivalent von Puppeteer, einer von dem Chrome-DevTools-Team gepflegten Node-Bibliothek.

rust-headless-chrome
⭐ 2,960 Rust 👤 rust-headless-chrome Organization 🕐 Aktualisiert 2026-06-11 📅 Erstellt 2018-09-18
95
oxylabs/how-to-scrape-google-trends

Erfahren Sie Schritt für Schritt, wie Sie Google Trends-Daten scrapen und einen Ergebnisvergleich mithilfe von Python und der Oxylabs SERP API durchführen. Extrahieren Sie Schlüsselwörter, deren Beliebtheit, Aufschlüsselung nach Region, verwandte Suchanfragen und mehr.

oxylabs
⭐ 2,907 Python 👤 oxylabs Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2024-08-06
96
digininja/CeWL

CeWL ist ein Generator für benutzerdefinierte Wortlisten

digininja
⭐ 2,896 Ruby 👤 digininja User 🕐 Aktualisiert 2026-06-24 📅 Erstellt 2016-04-22
97
spider-rs/spider

Grundlegende Webdatenerfassung mit geringer Latenz in Rust

spider-rs
⭐ 2,856 Rust 👤 spider-rs Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2018-01-07
98
Geniusay/ChopperBot

Huya, Douyu, Douyin, BiliBili, TikTok, Twitch🔥Beliebt🔥Intelligenter KI-Roboter für die Bearbeitung und Veröffentlichung von Live-Videos, Automatisierung🤖, voll intelligent⚙(automatische Erstellung von Clips, Titeln, Thumbnails, Beschreibungen), Visualisierung👓, Überwachung beliebter Plattformen🌡, umfangreiche Plugins, frei erweiterbar🕹, schnelle Bereitstellung⚡, automatisierte Veröffentlichung für Videokonten🌟, unterstützt DIY🎮

Geniusay
⭐ 2,758 Java 👤 Geniusay User 🕐 Aktualisiert 2025-08-04 📅 Erstellt 2023-04-27
99
levywang/avhub

R18 Ressourcen-Such- & Verwaltungstool

levywang
⭐ 2,742 Vue 👤 levywang User 🕐 Aktualisiert 2026-04-18 📅 Erstellt 2025-03-07
100
brightdata/brightdata-mcp

Ein leistungsstarker Model Context Protocol (MCP)-Server, der eine All-in-One-Lösung für den öffentlichen Webzugriff bietet.

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2025-04-15