Git Stars Git Stars

#web-scraping Repositories

381
Gesamtzahl der Repositories
2.1M
Gesamtanzahl der Sterne
5,636
Durchschnittliche Sterne/Repo

Insgesamt 382 Repositories

201
germondai/trawl

Selbst gehostete Scraping-Engine — umgeht jede JS-Herausforderung und jedes Captcha: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Alternative zu FlareSolverr und Byparr und direkter Ersatz für Ihren *arr-Stack.

germondai
⭐ 1,209 TypeScript 👤 germondai User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2026-06-26
202
intoli/user-agents

Eine JavaScript-Bibliothek zum Generieren zufälliger User-Agents mit täglich aktualisierten Daten.

intoli
⭐ 1,194 TypeScript 👤 intoli Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2018-08-06
203
Evolution0/bandcamp-dl

Einfaches Python-Skript zum Herunterladen von Bandcamp-Alben

Evolution0
⭐ 1,189 Python 👤 Evolution0 User 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2013-04-29
204
goodreasonai/ScrapeServ

Eine selbst gehostete API, die eine URL entgegennimmt und eine Datei mit Browser-Screenshots zurückgibt.

goodreasonai
⭐ 1,184 Python 👤 goodreasonai Organization 🕐 Aktualisiert 2025-03-09 📅 Erstellt 2025-02-05
205
eshaham/israeli-bank-scrapers

Stellen Sie Scrapers für alle großen israelischen Banken und Kreditkartenunternehmen bereit

eshaham
⭐ 1,181 TypeScript 👤 eshaham User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2017-07-29
206
dchrastil/ScrapedIn

Ein Tool zum Scrapen von LinkedIn ohne API-Einschränkungen für die Datenaufklärung

dchrastil
⭐ 1,168 Python 👤 dchrastil User 🕐 Aktualisiert 2024-04-11 📅 Erstellt 2018-03-29
207
ccd0/4chan-x

Fügt verschiedene Funktionen zu anonymen Imageboards hinzu.

ccd0
⭐ 1,163 CoffeeScript 👤 ccd0 User 🕐 Aktualisiert 2026-08-27 📅 Erstellt 2014-04-01
208
yize8888/maotai

iMoutai, HuLuWa-Reservierungsskript

yize8888
⭐ 1,135 JavaScript 👤 yize8888 User 🕐 Aktualisiert 2025-03-08 📅 Erstellt 2023-06-20
209
fwonggh/Bthub

Bthub Neueste Adresse Veröffentlichungsseite

fwonggh
⭐ 1,134 HTML 👤 fwonggh User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2020-01-11
210
scrapfly/scrapfly-scrapers

Skalierbare Python-Web-Scraping-Skripte für über 80 beliebte Domains

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-05-22
211
juancarlospaco/faster-than-requests

Schnellere Anfragen mit Python 3

juancarlospaco
⭐ 1,131 Nim 👤 juancarlospaco User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2018-11-13
212
cipher387/python-for-OSINT-21-days

In diesem Repository finden Sie Beispielcode-Dateien für jeden Tag des Kurses "Python für OSINT. Ein 21-tägiger Kurs für Anfänger".

cipher387
⭐ 1,129 Python 👤 cipher387 User 🕐 Aktualisiert 2026-01-06 📅 Erstellt 2023-03-26
213
Cloxl/xhshow

Xiaohongshu xs Pure-Berechnung, Reverse Engineering der reinen Berechnungslogik für Felder wie Xiaohongshu x-s, x-s-common, xsc.

Cloxl
⭐ 1,124 Python 👤 Cloxl User 🕐 Aktualisiert 2026-06-11 📅 Erstellt 2024-09-11
215
xiaoguyu/wechatDownload

WeChat-Offizieller-Account-Artikel-Download-Tool

xiaoguyu
⭐ 1,107 TypeScript 👤 xiaoguyu User 🕐 Aktualisiert 2025-11-28 📅 Erstellt 2023-01-03
216
vifreefly/kimuraframework

Schreiben Sie Web‑Scraper in Ruby mit einer sauberen, KI‑gestützten DSL. Kimurai nutzt KI, um herauszufinden, wo die Daten liegen, speichert dann die Selektoren im Cache und scrapt ausschließlich mit reinem Ruby. Profitieren Sie von der Intelligenz eines LLM ohne die Latenz pro Anfrage oder Token‑Kosten.

vifreefly
⭐ 1,102 Ruby 👤 vifreefly User 🕐 Aktualisiert 2026-01-27 📅 Erstellt 2018-08-23
217
requireCool/stealth.min.js

Automatisch die neueste stealth.min.js generieren.

requireCool
⭐ 1,096 👤 requireCool User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2022-04-10
218
caolvchong-top/twitter_download

Twitter Bilder Videos Crawler; Ein Anlick-Download

caolvchong-top
⭐ 1,087 Python 👤 caolvchong-top User 🕐 Aktualisiert 2026-07-28 📅 Erstellt 2022-08-23
219
YaoZeyuan/stablog

Stable Tribe. Professionelles Backup und Export von Weibo-Aufzeichnungen, stabil!

YaoZeyuan
⭐ 1,085 JavaScript 👤 YaoZeyuan User 🕐 Aktualisiert 2026-08-15 📅 Erstellt 2019-09-11
220
Anil-matcha/awesome-agent-apis

Über 660 von muapi gehostete generative Medienmodelle sowie von der Community eingereichte API-Tools von Drittanbietern (SEO, Datenanreicherung, soziale Medien, Scraping) — eine YAML-Datei pro Eintrag, nach Funktionen durchsuchbar.

Anil-matcha
⭐ 1,070 Python 👤 Anil-matcha User 🕐 Aktualisiert 2026-10-14 📅 Erstellt 2023-05-06
221
antibrow/antibrow

Kernelbasierter Anti-Erkennungsbrowser mit der Playwright-API, die Sie bereits verwenden. Python- und Node-SDKs, MCP-fähig, unbegrenzt viele lokale Profile. Linux x64 + arm64, macOS Intel + Apple Silicon, Windows x64.

antibrow
⭐ 1,068 TypeScript 👤 antibrow User 🕐 Aktualisiert 2026-09-28 📅 Erstellt 2026-07-29
222
IcarusRyy/NewJob

Die letzte Änderungszeit der Position ist auf einen Blick ersichtlich: Grün bedeutet innerhalb von 2 Wochen, Dunkelorange bedeutet innerhalb von 1,5 Monaten, Rot bedeutet über 1,5 Monate

IcarusRyy
⭐ 1,058 JavaScript 👤 IcarusRyy User 🕐 Aktualisiert 2024-06-10 📅 Erstellt 2024-05-03
223
stay-leave/weibo-public-opinion-analysis

Ein Social-Media-Sentimentanalyseprojekt auf Basis von Weibo-Daten, einschließlich Weibo-Crawler, LDA-Themenanalyse und Sentimentanalyse.

stay-leave
⭐ 1,058 Python 👤 stay-leave User 🕐 Aktualisiert 2026-10-24 📅 Erstellt 2021-08-01
224
lm-rebooter/NuggetsBooklet

Juejin Mini-Broschüre

lm-rebooter
⭐ 1,054 HTML 👤 lm-rebooter User 🕐 Aktualisiert 2026-05-06 📅 Erstellt 2023-05-31
225
mandatoryprogrammer/thermoptic

Ein HTTP-Stealth-Proxy der nächsten Generation, der Anfragen auf allen Ebenen des Stacks perfekt als Chrome-Browser tarnt.

mandatoryprogrammer
⭐ 1,053 JavaScript 👤 mandatoryprogrammer User 🕐 Aktualisiert 2026-10-25 📅 Erstellt 2025-09-02
⭐ 1,041 JavaScript 👤 badlogic User 🕐 Aktualisiert 2026-02-17 📅 Erstellt 2023-05-08
227
FR13ND8/BruteFb

Facebook hacken mit der Brute-Force-Methode in Termux

FR13ND8
⭐ 1,026 Python 👤 FR13ND8 User 🕐 Aktualisiert 2024-07-17 📅 Erstellt 2019-01-10
228
janreges/siteone-crawler

SiteOne Crawler ist ein plattformübergreifender Website-Crawler und -Analysator für SEO, Sicherheit, Zugänglichkeit und Leistungsoptimierung – ideal für Entwickler, DevOps, QA-Ingenieure und Berater. Unterstützt Windows, macOS und Linux (x64 und arm64).

janreges
⭐ 1,019 Rust 👤 janreges User 🕐 Aktualisiert 2026-09-27 📅 Erstellt 2023-10-04
229
utkarshkukreti/select.rs

Eine Rust-Bibliothek zum Extrahieren nützlicher Daten aus HTML-Dokumenten, geeignet für Web-Scraping.

utkarshkukreti
⭐ 1,018 Rust 👤 utkarshkukreti User 🕐 Aktualisiert 2025-03-19 📅 Erstellt 2015-07-15
230
thepycoach/automation

Automatisierung mit Python (Excel, Skripte usw.)

thepycoach
⭐ 1,010 Jupyter Notebook 👤 thepycoach User 🕐 Aktualisiert 2024-05-19 📅 Erstellt 2021-05-02
231
fferrin/free-medium

Eine Erweiterung, um Medium-Beiträge kostenlos zu lesen

fferrin
⭐ 1,008 JavaScript 👤 fferrin User 🕐 Aktualisiert 2025-11-02 📅 Erstellt 2024-02-13
232
WittmannF/sort-google-scholar

Ranking von Google Scholar-Suchergebnissen basierend auf der Anzahl der Zitationen

WittmannF
⭐ 999 Python 👤 WittmannF User 🕐 Aktualisiert 2026-10-30 📅 Erstellt 2016-04-30
233
maldevel/EmailHarvester

E-Mail-Adressen-Harvester

maldevel
⭐ 999 Python 👤 maldevel User 🕐 Aktualisiert 2026-06-07 📅 Erstellt 2016-04-16
234
runesleo/x-reader

Universeller Content-Reader-MCP-Server für 10+ Plattformen

runesleo
⭐ 992 Python 👤 runesleo User 🕐 Aktualisiert 2026-11-11 📅 Erstellt 2026-02-22
235
borisbabic/browser_cookie3

Dies ist eine Fork von browser_cookie

borisbabic
⭐ 989 Python 👤 borisbabic User 🕐 Aktualisiert 2024-12-20 📅 Erstellt 2015-04-26
236
MinorJerry/WebVoyager

Code für "WebVoyager: WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models"

MinorJerry
⭐ 986 Python 👤 MinorJerry User 🕐 Aktualisiert 2024-03-04 📅 Erstellt 2024-01-24
237
YaoZeyuan/zhihuhelp

Neubeschreibung des Zhihu-Assistenten basierend auf Node & TypeScript

YaoZeyuan
⭐ 985 TypeScript 👤 YaoZeyuan User 🕐 Aktualisiert 2026-10-24 📅 Erstellt 2019-02-04
238
nicoxiang/geektime-downloader

Geektime Kursdownloader, unterstützt den Download von Geektime-Blogs/Videokursen/Täglichen Lektionen/Big Factory Practicals/Bootcamp-Videos

nicoxiang
⭐ 982 Go 👤 nicoxiang User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2022-03-12
239
romansky/dom-to-semantic-markdown

DOM zu Semantic-Markdown für die Verwendung mit LLMs

romansky
⭐ 976 TypeScript 👤 romansky User 🕐 Aktualisiert 2025-05-21 📅 Erstellt 2024-07-22
241
cutetailbud/ff-ruyijs

Dies ist ein schlanker, speziell für KI-Agenten (wie Codex oder Claude Code) entwickelter Headless-Browser zur Automatisierung von Browseraufgaben. Er ist darauf ausgelegt, verschiedene Webschutzsysteme, Anmeldeprozesse und Reverse-Engineering-Szenarien zu bewältigen.

cutetailbud
⭐ 968 C++ 👤 cutetailbud User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2026-10-28
242
treetrum/amazon-kindle-bulk-downloader

Ermöglicht den Massendownload aller Ihrer Kindle-eBooks auf eine automatisiertere Weise. Dieses Tool ermöglicht es Ihnen, Sicherungskopien der Bücher zu erstellen, die Sie bereits gekauft haben.

treetrum
⭐ 968 TypeScript 👤 treetrum User 🕐 Aktualisiert 2025-02-27 📅 Erstellt 2023-04-07
244
HtmlUnit/htmlunit

HtmlUnit ist ein „GUI-loser Browser für Java-Programme“.

HtmlUnit
⭐ 951 JavaScript 👤 HtmlUnit Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2018-09-02
245
JUk1-GH/gpt-promo-scanner

Automatisches Scan-Tool für ChatGPT Team (Business) Aktionscodes — Batch-Erkennung/Validierung/Preiserfassung, unterstützt 34 Codes in 17 Ländern, bis zu 71 % Rabatt | ChatGPT Business promo code scanner — batch discovery, validation, price collection, 34 codes across 17 countries, up to 71% off

JUk1-GH
⭐ 948 Python 👤 JUk1-GH User 🕐 Aktualisiert 2026-05-15 📅 Erstellt 2026-05-11
246
SickleSec/SnowEyes

Eine Chrome-Erweiterung für die Erkennung sensibler Web-Informationen und Fingerprinting.

SickleSec
⭐ 946 JavaScript 👤 SickleSec User 🕐 Aktualisiert 2026-08-10 📅 Erstellt 2024-12-27
247
BullsEye0/dorks-eye

Dorks Eye Google Hacking Dork Scraping und Suchskript. Dorks Eye ist ein Skript, das ich in Python 3 erstellt habe. Mit diesem Tool können Sie leicht Google Dorks finden. Dork Eye sammelt potenziell anfällige Webseiten und Anwendungen im Internet oder andere großartige Informationen, die von Googles Suchbots erfasst werden. Autor: Jolanda de Koff

BullsEye0
⭐ 940 Python 👤 BullsEye0 User 🕐 Aktualisiert 2026-10-01 📅 Erstellt 2020-04-30
248
caseychu/spotify-backup

Ein Python-Skript, das alle Ihre Spotify-Playlists exportiert.

caseychu
⭐ 937 Python 👤 caseychu User 🕐 Aktualisiert 2024-09-22 📅 Erstellt 2014-12-24
249
facundoolano/feedi

Ein persönlicher Feed-Reader

facundoolano
⭐ 933 Python 👤 facundoolano User 🕐 Aktualisiert 2026-09-19 📅 Erstellt 2023-07-15
250
browser-use/awesome-prompts

Tabelle der großartigen Browser-Nutzungsaufforderungen

browser-use
⭐ 926 👤 browser-use Organization 🕐 Aktualisiert 2025-03-26 📅 Erstellt 2025-03-26