Git Stars Git Stars

#web-scraping Repositories

381
Gesamtzahl der Repositories
2.1M
Gesamtanzahl der Sterne
5,636
Durchschnittliche Sterne/Repo

Insgesamt 382 Repositories

101
jerry3747/taobao_seckill

Taobao, Tmall Halbpreis-Schnäppchen, Fernseher ergattern, Maotai ergattern, den Schwarzmarkthändlern den Garaus machen

jerry3747
⭐ 2,667 Python 👤 jerry3747 User 🕐 Aktualisiert 2024-07-12 📅 Erstellt 2020-12-29
102
Predidit/KazumiRules

Kazumis Regel-Hosting-Repository, Beiträge sind willkommen ^•ﻌ•^

Predidit
⭐ 2,653 Dart 👤 Predidit User 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2024-05-22
103
Anning01/AIMedia

AIMedia ist eine integrierte Software, die automatisch Trends erfasst, KI-generierte Artikel erstellt und diese automatisch veröffentlicht. Unterstützt Toutiao, Xiaohongshu, WeChat Official Accounts und mehr.

Anning01
⭐ 2,619 TypeScript 👤 Anning01 User 🕐 Aktualisiert 2026-11-04 📅 Erstellt 2024-10-28
104
oss-invisible/playwright

Unsichtbares Playwright: Playwright, das Anti-Bot-Systeme nicht erkennen können – also keine Captchas: dieselbe API, unauffälliges Headless-Firefox mit Anti-Erkennung, nicht erkennbare Fingerprints, umgeht die Bot-Erkennung, Python-Web-Scraping und Browser-Automatisierung.

oss-invisible
⭐ 2,612 Python 👤 oss-invisible Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-05-13
105
Mahanaicoach/google-maps-scraper-kit

Kostenloser Open-Source-Scraper für Google Maps zur Leadgenerierung (Python, kein API-Schlüssel, kein Docker). Exportiert Name, Telefonnummer, E-Mail-Adresse, Website, Bewertung und Instagram-/Facebook-/LinkedIn-/TikTok-/YouTube-/X-Links als CSV. 100 Orte mit E-Mail-Adressen in 44 s; --grid überwindet Googles Begrenzung auf 120. MX-Prüfung von E-Mail-Adressen, Erkennung von Werbe-Pixeln. Skill für Claude Code, Codex und Cursor.

Mahanaicoach
⭐ 2,567 Python 👤 Mahanaicoach User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2026-06-21
106
lorien/grab

Web-Scraping-Framework

lorien
⭐ 2,461 Python 👤 lorien User 🕐 Aktualisiert 2025-09-19 📅 Erstellt 2013-05-01
107
openbullet/OpenBullet2

OpenBullet neu erfunden

openbullet
⭐ 2,447 C# 👤 openbullet User 🕐 Aktualisiert 2026-09-07 📅 Erstellt 2020-04-23
108
0xMassi/webclaw

Schnelle, lokal priorisierte Web-Inhalts-Extraktion für LLMs. Scrapen, Crawlen, Extraktion strukturierter Daten — alles in Rust. CLI, REST API und MCP-Server.

0xMassi
⭐ 2,440 Rust 👤 0xMassi User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-03-10
109
paquettg/php-html-parser

Ein HTML-DOM-Parser. Er ermöglicht es Ihnen, HTML zu manipulieren. Finden Sie Tags auf einer HTML-Seite mit Selektoren, genau wie bei jQuery.

paquettg
⭐ 2,405 HTML 👤 paquettg User 🕐 Aktualisiert 2024-08-09 📅 Erstellt 2013-12-13
110
drunkdream/weread-exporter

Bücher aus WeChat Reading in Formate wie epub, pdf, mobi exportieren

drunkdream
⭐ 2,403 Python 👤 drunkdream User 🕐 Aktualisiert 2026-03-21 📅 Erstellt 2023-02-11
111
saifyxpro/HeadlessX

Die unsichtbare, selbst gehostete Browser-Automatisierungsplattform. Angetrieben von Camoufox (Firefox) für 0 % Erkennungsraten. Entwickelt für Geschwindigkeit, Privatsphäre und Skalierbarkeit.

saifyxpro
⭐ 2,365 TypeScript 👤 saifyxpro User 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2025-09-12
112
jxhczhl/JsRpc

Remote Procedure Call (RPC) Browser-Methoden aufrufen, ohne Code manuell zu erstellen und Umgebungen einzurichten

jxhczhl
⭐ 2,352 Go 👤 jxhczhl User 🕐 Aktualisiert 2026-06-08 📅 Erstellt 2021-09-25
113
codingforentrepreneurs/30-Days-of-Python

Lernen Sie Python für die nächsten 30 (oder so) Tage.

codingforentrepreneurs
⭐ 2,232 HTML 👤 codingforentrepreneurs User 🕐 Aktualisiert 2024-02-27 📅 Erstellt 2016-03-09
114
chao325/MaoTai_GUIT

Tmall TaoBao iMaotai iMatoTai JD Jingdong Blitzkauf, Jingdong Maotai Blitzkauf Windows-Version, out-of-the-box einsatzbereit ohne Umgebungskonfiguration. Entwicklung steht bevor (Open-Source-Protokoll mit Apache License)

chao325
⭐ 2,147 Python 👤 chao325 User 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2023-09-20
115
btahir/open-deep-research

Open-Source-Alternative zu Gemini Deep Research. Generieren Sie Berichte mit KI basierend auf Suchergebnissen.

btahir
⭐ 2,141 TypeScript 👤 btahir User 🕐 Aktualisiert 2025-12-15 📅 Erstellt 2024-12-24
116
ThePhaseless/Byparr

Holen Sie sich Ihre gültigen Antibot-Cookies selbst ein!

ThePhaseless
⭐ 2,117 Python 👤 ThePhaseless User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2024-07-24
117
oxylabs/how-to-scrape-google-scholar

Ein Leitfaden zum Extrahieren von Titeln, Autoren und Zitaten aus Google Scholar mit Python und der Oxylabs SERP Scraper API.

oxylabs
⭐ 2,095 Python 👤 oxylabs Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2024-03-07
118
oxylabs/how-to-scrape-amazon-prices

Ein Code zum Extrahieren von Bestseller-Artikeln, Suchergebnissen und aktuell verfügbaren Angeboten von Amazon mithilfe von Python und der Oxylabs E-Commerce Scraper API.

oxylabs
⭐ 2,083 Python 👤 oxylabs Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2024-03-21
119
ssili126/tv

Automatisch gesammelte IPv4-Live-Streams für Hotelfernsehen, automatische Testwiedergabegeschwindigkeit, tägliche automatische Aktualisierung. Enthält CCTV-Sender, nationale Satellitenkanäle und einige lokale Kanäle, flüssige Wiedergabe. Kann auch in OpenWrt oder Synology Docker ausgeführt werden.

ssili126
⭐ 2,052 Python 👤 ssili126 User 🕐 Aktualisiert 2026-11-04 📅 Erstellt 2024-01-12
120
supermemoryai/markdowner

Ein schnelles Werkzeug, um jede Website in LLM-bereite Markdown-Daten umzuwandeln. Entwickelt von https://supermemory.ai

supermemoryai
⭐ 2,033 TypeScript 👤 supermemoryai Organization 🕐 Aktualisiert 2026-10-02 📅 Erstellt 2024-05-09
121
midudev/curso-python

Python-Kurs von Grund auf und für alle Niveaus mit Übungen

midudev
⭐ 2,006 Python 👤 midudev User 🕐 Aktualisiert 2026-10-16 📅 Erstellt 2025-01-15
122
zhegexiaohuozi/SeimiCrawler

Ein einfaches, agiles, verteiltes Java-Crawler-Framework, das Spring Boot unterstützt; Ein agiles, verteiltes Crawler-Framework.

zhegexiaohuozi
⭐ 1,984 Java 👤 zhegexiaohuozi User 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2015-11-06
123
KEV0143/Parser-Chitai-Gorod

Intelligenter Parser für den „Chitai-Gorod“-Katalog. Hochgeschwindigkeitserfassung und -strukturierung von Daten basierend auf beliebigen festgelegten Parametern: von der ISBN bis zur Rabattdynamik.

KEV0143
⭐ 1,979 Python 👤 KEV0143 User 🕐 Aktualisiert 2026-09-17 📅 Erstellt 2025-05-18
124
bogdanfinn/tls-client

net/http.Client wie HTTP Client mit Optionen zur Auswahl spezifischer Client-TLS-Fingerabdrücke für Anfragen.

bogdanfinn
⭐ 1,949 Go 👤 bogdanfinn User 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2022-07-09
125
stevenyomi/copymanga

CopyManga-Erweiterung für Tachiyomi.

stevenyomi
⭐ 1,941 👤 stevenyomi User 🕐 Aktualisiert 2024-02-18 📅 Erstellt 2022-06-30
126
nat/natbot

Einen Browser mit GPT-3 steuern

nat
⭐ 1,933 Python 👤 nat User 🕐 Aktualisiert 2024-06-09 📅 Erstellt 2022-09-29
127
ARC-MX/sgcc_electricity_new

HomeAssistant Stromtarifsabfrage Des Netzbetreibers

ARC-MX
⭐ 1,925 Python 👤 ARC-MX User 🕐 Aktualisiert 2026-11-07 📅 Erstellt 2024-05-08
128
bugswriter/notflix

Notflix ist ein Shell-Skript zum Suchen und Streamen von Torrents.

bugswriter
⭐ 1,913 Shell 👤 bugswriter User 🕐 Aktualisiert 2024-06-18 📅 Erstellt 2022-01-01
129
saermart/DouyinLiveWebFetcher

Datenerfassung von Bullet-Journal-Nachrichten für die Webversion von Douyin-Livestreams (aktuellste Version 2025)

saermart
⭐ 1,909 Python 👤 saermart User 🕐 Aktualisiert 2026-09-08 📅 Erstellt 2024-01-02
⭐ 1,894 Python 👤 LawRefBook Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2022-03-21
131
Freedium-cfd/web

DIESES REPOSITORY IST NUR EIN SPIEGEL! Das Hauptentwicklungs-Repository ist https://codeberg.org/Freedium-cfd/web

Freedium-cfd
⭐ 1,885 Python 👤 Freedium-cfd Organization 🕐 Aktualisiert 2026-10-20 📅 Erstellt 2023-08-21
132
enetx/surf

SURF - Erweiterter Go HTTP-Client mit Chrome/Firefox-Browser-Imitation, HTTP/3 mit QUIC-Fingerprinting, JA3/JA4 TLS-Emulation und Anti-Bot-Umgehung für Webautomatisierung und Scraping.

enetx
⭐ 1,853 Go 👤 enetx User 🕐 Aktualisiert 2026-11-15 📅 Erstellt 2025-08-30
133
microlinkhq/browserless

Der Headless Chrome/Chromium-Treiber auf Basis von Puppeteer. Mach Screenshots, erstelle PDFs, extrahiere Text und HTML mit einer produktionsbereiten API.

microlinkhq
⭐ 1,846 JavaScript 👤 microlinkhq Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2017-09-06
134
tkfy920/qstock

qstock wurde vom "Python Financial Quant"-Public Account entwickelt und zielt darauf ab, ein persönliches quantitatives Investment-Research-Analysepaket zu werden. Es umfasst derzeit die Module zur Datenbeschaffung (data), Visualisierung (plot), Aktchienauswahl (stock) und zum quantitativen Backtesting (strategy backtest). qstock bietet Benutzern einen einfachen Datenschnittstelle und standardisierte Finanzmarktdaten. Das Visualisierungsmodul bietet Benutzern eine einfache Schnittstelle für webbasierte interaktive Grafiken; das Aktienauswahlmodul bietet Aktienauswahlmethoden von Tonghuashun und benutzerdefinierte Aktienauswahl, einschließlich RPS, MM-Trend, Finanzkennzahlen, Cashflow-Modell usw.; das Backtesting-Modul bietet allen eine vektorisierte (basierend auf pandas) und ereignisgesteuerte grundlegende Struktur und ein Modell. Folgen Sie dem "Python Financial Quant"-WeChat-Public Account, um weitere Anwendungsinformationen zu erhalten.

tkfy920
⭐ 1,839 Python 👤 tkfy920 User 🕐 Aktualisiert 2025-03-16 📅 Erstellt 2022-10-10
135
deweizhu/bookget

bookget Werkzeug zum Herunterladen digitaler antiker Bücher.

deweizhu
⭐ 1,824 Go 👤 deweizhu User 🕐 Aktualisiert 2026-01-23 📅 Erstellt 2023-04-09
136
kickscondor/fraidycat

Folgen Sie Blogs, Wikis, YouTube-Kanälen sowie Accounts auf Twitter, Instagram usw. von einer einzigen Seite aus.

kickscondor
⭐ 1,809 JavaScript 👤 kickscondor User 🕐 Aktualisiert 2024-02-07 📅 Erstellt 2019-06-22
137
lit26/finvizfinance

Finviz-Analyse-Python-Bibliothek.

lit26
⭐ 1,790 Python 👤 lit26 User 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2020-07-23
138
adsbypasser/adsbypasser

Werbezaehler umgehen, falls möglich.

adsbypasser
⭐ 1,790 JavaScript 👤 adsbypasser Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2012-12-17
139
oxylabs/how-to-scrape-google-jobs

Erfahren Sie, wie Sie Ihren eigenen Google Jobs Scraper erstellen, der mit Python und der Google Jobs Scraper API von Oxylabs gleichzeitig Google Jobs für mehrere Suchanfragen und geografische Standorte abruft. https://oxylabs.io/blog/how-to-scrape-google-jobs

oxylabs
⭐ 1,761 Python 👤 oxylabs Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2024-02-08
140
ProxyShard/ShardBrowser

Kostenloser Open-Source-Launcher für einen Anti-Detect-Browser zum Web-Scraping und zur Verwaltung mehrerer Konten. Vom ShardX-Team (ehemals ProxyShard). Fingerprint-Spoofing auf Engine-Ebene in Chromium 158 (WebGL / WebGPU / Client Hints / Schriftarten / TLS), über 220 gebündelte Geräteprofile sowie stabiles QUIC + WebRTC über SOCKS5.

ProxyShard
⭐ 1,735 TypeScript 👤 ProxyShard User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-05-30
141
egoist/sitefetch

Eine gesamte Website abrufen und als Textdatei speichern (zur Verwendung mit KI-Modellen).

egoist
⭐ 1,733 TypeScript 👤 egoist User 🕐 Aktualisiert 2025-01-18 📅 Erstellt 2025-01-07
142
acoooder/aliyunpanshare

Teilen von Film- und Fernsehressourcen auf Baidu Netdisk, Quark Netdisk und Aliyun Drive. Tägliche Veröffentlichung der neuesten Fernsehserien, Varieté-Shows und Filmressourcen.

acoooder
⭐ 1,729 👤 acoooder User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-02-21
143
qinlili23333/ctfileGet

Erhalten Sie eine einmalige Direktverbindungsadresse für Chengtong Cloud Drive

qinlili23333
⭐ 1,725 JavaScript 👤 qinlili23333 User 🕐 Aktualisiert 2025-11-07 📅 Erstellt 2021-02-11
144
oxylabs/scrape-google-python

In diesem Tutorial zeigen wir, wie man öffentliche Google-Daten mit Python und der Oxylabs API scrapt.

oxylabs
⭐ 1,719 👤 oxylabs Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2024-07-30
145
rushter/selectolax

Python-Binding für Modest- und Lexbor-Engines. Schneller HTML5-Parser mit CSS-Selektoren für Python.

rushter
⭐ 1,717 Python 👤 rushter User 🕐 Aktualisiert 2026-11-10 📅 Erstellt 2017-11-26
146
Shrans/GalSites

Hallo~(∠・ω< )⌒☆

Shrans
⭐ 1,716 Python 👤 Shrans User 🕐 Aktualisiert 2026-10-26 📅 Erstellt 2024-10-16
147
gildas-lormeau/single-file-cli

CLI-Werkzeug zum Speichern einer originalgetreuen Kopie einer vollständigen Webseite in einer einzigen HTML-Datei (basierend auf SingleFile)

gildas-lormeau
⭐ 1,702 JavaScript 👤 gildas-lormeau User 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2022-05-31
148
MgArcher/Text_select_captcha

Implementierung von Textauswahl, Zeichenauswahl, Auswahl und Tipp-Captcha-Erkennung, trainiert mit PyTorch

MgArcher
⭐ 1,679 Python 👤 MgArcher User 🕐 Aktualisiert 2026-05-08 📅 Erstellt 2020-08-23
149
Altimis/Scweet

Twitter- und X-Scraper für Python: Tweets, Profile, Follower, gefolgte Konten und Trends ohne die offizielle API abrufen. Eine Twitter-Scraping-Bibliothek mit Pooling mehrerer Konten, Proxy-Unterstützung und asynchronen Funktionen oder eine auf Apify gehostete Version.

Altimis
⭐ 1,667 Python 👤 Altimis User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2020-12-14
150
ttttmr/Wechat2RSS

WeChat-Offizielle-Konto-zu-RSS

ttttmr
⭐ 1,665 Shell 👤 ttttmr User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2021-09-25