Git Stars Git Stars

#web-scraping Repositories

381
Gesamtzahl der Repositories
2.1M
Gesamtanzahl der Sterne
5,636
Durchschnittliche Sterne/Repo

Insgesamt 382 Repositories

251
aws/nova-act

Amazon Nova Act ist ein AWS-Dienst zum Erstellen und Bereitstellen hochzuverlässiger KI-Agenten, die UI-basierte Workflows im großen Maßstab automatisieren.

aws
⭐ 920 Python 👤 aws Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2025-03-10
252
goose3/goose3

Eine Python 3 kompatible Version von goose http://goose3.readthedocs.io/en/latest/index.html

goose3
⭐ 916 HTML 👤 goose3 Organization 🕐 Aktualisiert 2026-07-23 📅 Erstellt 2016-12-11
253
MobinX/awesome-mcp-list

Eine prägnante Liste für MCP-Server

MobinX
⭐ 915 👤 MobinX User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2025-03-24
254
Borber/seam

Live-Streams von mehreren Live-Plattformen abrufen

Borber
⭐ 909 Rust 👤 Borber User 🕐 Aktualisiert 2024-01-22 📅 Erstellt 2020-03-24
255
Rishikant181/Rettiwt-API

Ein CLI-Tool und eine API zum kostenlosen Abrufen von Daten von Twitter!

Rishikant181
⭐ 904 TypeScript 👤 Rishikant181 User 🕐 Aktualisiert 2026-11-10 📅 Erstellt 2022-01-24
256
Cl0udG0d/Fofa-hack

Nicht zahlendes Mitglied, FOFA-Datenerfassungswerkzeug

Cl0udG0d
⭐ 882 Python 👤 Cl0udG0d User 🕐 Aktualisiert 2025-10-28 📅 Erstellt 2022-09-15
257
KartikTalwar/Duolingo

Unoffizielle Duolingo-API, geschrieben in Python

KartikTalwar
⭐ 881 Python 👤 KartikTalwar User 🕐 Aktualisiert 2024-04-12 📅 Erstellt 2013-07-03
258
coddingtonbear/python-myfitnesspal

Greifen Sie programmgesteuert auf Ihre in MyFitnessPal gespeicherten Mahlzeiten-Tracking-Daten zu

coddingtonbear
⭐ 875 Python 👤 coddingtonbear User 🕐 Aktualisiert 2025-09-28 📅 Erstellt 2013-07-16
259
oss-invisible/playwright_mcp

Invisible Playwright MCP: Ein Playwright-MCP-Server, der von Anti-Bot-Systemen und CAPTCHAs nicht erkannt wird: Ein KI-Agent surft mit einem getarnten, Anti-Erkennungs-Firefox, Python, unerkannter Browserautomatisierung, Web-Scraping und Computersteuerung im Internet.

oss-invisible
⭐ 869 Python 👤 oss-invisible Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2026-09-29
260
oxylabs/agent-skills

Offizielle Agent-Funktionen für Oxylabs-Produkte

oxylabs
⭐ 869 JavaScript 👤 oxylabs Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2026-02-17
261
844704781/ximalaya_downloader

⭐️ Ein süßer und eigensinniger Himalaya-Album-Audio-Downloader ohne Einschränkungen O(∩_∩)O

844704781
⭐ 868 JavaScript 👤 844704781 User 🕐 Aktualisiert 2026-09-20 📅 Erstellt 2024-05-17
262
ttlns/Selenium-Driverless

ein unauffälliges Browser-Automatisierungs-Framework

ttlns
⭐ 860 Python 👤 ttlns User 🕐 Aktualisiert 2026-10-20 📅 Erstellt 2023-07-21
263
akkuman/rotateproxy

Ein Tool zum Umschalten des Proxy-Pools durch Suche nach offenen SOCKS5-Proxys mit Fofa

akkuman
⭐ 859 Go 👤 akkuman User 🕐 Aktualisiert 2025-05-20 📅 Erstellt 2021-10-18
264
Hong-Kong-Emergency-Coordination-Hub/Hong-Kong-Fire-Documentary

Hongkong-Brand (Tai Po, 26.11.): Ein Großbrand fegte durch den Wang Fuk Court

Hong-Kong-Emergency-Coordination-Hub
⭐ 854 HTML 👤 Hong-Kong-Emergency-Coordination-Hub Organization 🕐 Aktualisiert 2025-12-05 📅 Erstellt 2025-11-28
265
AtuboDad
⭐ 851 Python 👤 AtuboDad User 🕐 Aktualisiert 2024-07-29 📅 Erstellt 2020-12-22
266
zgq354/weibo-rss

🍰 Lieblings-Weibo in RSS-Feed umwandeln

zgq354
⭐ 847 TypeScript 👤 zgq354 User 🕐 Aktualisiert 2026-10-20 📅 Erstellt 2017-09-30
267
kiliman/tailwindui-crawler

tailwindui-crawler lädt die HTML-Komponentendateien lokal herunter

kiliman
⭐ 840 JavaScript 👤 kiliman User 🕐 Aktualisiert 2025-11-05 📅 Erstellt 2020-03-06
268
postmodern/spidr

Eine vielseitige Ruby-Web-Spidering-Bibliothek, die eine Site, mehrere Domains, bestimmte Links oder unendlich spidern kann. Spidr ist für Schnelligkeit und Benutzerfreundlichkeit konzipiert.

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 Aktualisiert 2026-01-12 📅 Erstellt 2009-03-08
269
OriX6/liveRecordAuto

Multiplattform-Aufnahmesoftware für Livestreams basierend auf Electron, unterstützt Douyin/Kuaishou in Form von mehreren Links

OriX6
⭐ 828 👤 OriX6 User 🕐 Aktualisiert 2024-03-07 📅 Erstellt 2023-08-27
270
hcjohn463/JableTVDownload

jable Helfer herunterladen

hcjohn463
⭐ 823 Python 👤 hcjohn463 User 🕐 Aktualisiert 2026-08-13 📅 Erstellt 2021-01-10
271
hollingsworthd/jBrowserDriver

Ein programmierbarer, einbettbarer Webbrowser-Treiber, kompatibel mit der Selenium WebDriver-Spezifikation -- Headless, auf WebKit basierend, reines Java

hollingsworthd
⭐ 818 Java 👤 hollingsworthd User 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2015-01-15
272
tiliondev/fortress

Stealth-Chromium-Engine, das verhindert, dass Scraper und Browser-Agenten blockiert werden – mit nur einer Änderung in einer Codezeile.

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 Aktualisiert 2026-11-03 📅 Erstellt 2026-07-02
273
Kaliiiiiiiiii-Vinyzu/patchright-nodejs

Nicht erkannte NodeJS-Version der Playwright Test- und Automatisierungsbibliothek.

Kaliiiiiiiiii-Vinyzu
⭐ 813 TypeScript 👤 Kaliiiiiiiiii-Vinyzu Organization 🕐 Aktualisiert 2026-11-10 📅 Erstellt 2024-11-02
274
zhaotoday/fingerprint-browser

Leitfaden zur Auswahl von Fingerprint-Browsern (Browser zur Vermeidung von Verknüpfungen / Anti-Detect-Browser / Antidetect Browser) und Residential-Proxy-IPs sowie eine Übersicht über Open-Source-Ressourcen: Tarifpreise von 27 führenden Fingerprint-Browsern und 28 Proxy-IP-Anbietern, einschließlich Chromium-Fingerprint-Anpassung, Camoufox, Patchright, Anti-Detect-Automatisierung und Fingerprint-Erkennungstools.

zhaotoday
⭐ 813 👤 zhaotoday User 🕐 Aktualisiert 2026-11-15 📅 Erstellt 2023-11-05
275
zqzess/MyWebStorage

Konsolidiert bestehende Xiangse Guguan-Quellen im Internet, Webcrawler aktualisiert die Buchquellen wöchentlich automatisch

zqzess
⭐ 813 HTML 👤 zqzess User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2021-05-18
276
feder-cr/invisible_selenium

Selenium, das Anti-Bot-Systeme nicht erkennen können – also keine CAPTCHAs: dieselbe API, unauffälliges Headless-Firefox mit Anti-Erkennung, nicht erkennbare Browser-Fingerprints, Umgehung der Bot-Erkennung sowie Web-Scraping und Browser-Automatisierung mit Python.

feder-cr
⭐ 808 Python 👤 feder-cr User 🕐 Aktualisiert 2026-10-19 📅 Erstellt 2024-08-16
277
justjavac/weibo-trending-hot-search

Die Weibo-Trendliste zeichnet beliebte Suchanfragen auf Weibo seit dem 24. November 2020 auf. Daten werden stündlich erfasst und täglich archiviert.

justjavac
⭐ 804 TypeScript 👤 justjavac User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2020-11-24
278
longxiaofei/spider-BaiduIndex

Daten-SDK für Baidu Index

longxiaofei
⭐ 800 Python 👤 longxiaofei User 🕐 Aktualisiert 2025-11-24 📅 Erstellt 2018-09-27
279
MrTurvey/flareprox

Verwenden Sie Cloudflare, um HTTP-Passthrough-Proxys für die eindeutige IP-Rotation zu erstellen, ähnlich wie fireprox

MrTurvey
⭐ 799 Python 👤 MrTurvey User 🕐 Aktualisiert 2025-11-11 📅 Erstellt 2025-09-26
280
chinoogawa/instaBrute

Instagram Brute-Force-Exploit-Modul

chinoogawa
⭐ 798 Python 👤 chinoogawa User 🕐 Aktualisiert 2024-03-29 📅 Erstellt 2015-08-04
281
hyperbrowserai/mcp

Eine MCP-Serverimplementierung für Hyperbrowser

hyperbrowserai
⭐ 795 TypeScript 👤 hyperbrowserai Organization 🕐 Aktualisiert 2025-11-20 📅 Erstellt 2025-02-25
282
discourse/onebox

(VERALTET) Ein Gem zum Umwandeln von URLs in Website-Vorschauen

discourse
⭐ 792 Ruby 👤 discourse Organization 🕐 Aktualisiert 2024-02-01 📅 Erstellt 2013-07-09
283
figranium/figranium

Stapeln Sie Blöcke visuell, um komplexe Browser-Workflows zu erstellen und sie über die API auszuführen

figranium
⭐ 791 JavaScript 👤 figranium Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2025-12-25
284
DoctorD1501/JAVMovieScraper

Extrahieren Sie Metadaten von XBMC- und Kodi-Filmen und benennen Sie Dateien für japanische Erotikvideos (JAV), amerikanische Erotik-DVDs und amerikanische Erotik-Webinhalte automatisch um.

DoctorD1501
⭐ 789 Java 👤 DoctorD1501 User 🕐 Aktualisiert 2024-03-14 📅 Erstellt 2014-07-27
286
checkToke/yangtai

Qinglong-Panel, mitmachen, Banu Hot Pot, FAW-Volkswagen, Haidilao, Watsons, Bawang Tea Master, Huazhu Club, Dongcheng Club, Wanda Hotels, Yihetang Automatischer Check-in. Überwachung des Lagerbestands und der Preisänderungen im DJI Store

checkToke
⭐ 782 JavaScript 👤 checkToke User 🕐 Aktualisiert 2025-10-23 📅 Erstellt 2024-06-24
287
lonnyzhang423/douyin-hot-hub

Erfasst die TikTok-Trendliste, Star-Liste, Live-Stream-Liste, Musik-Liste und Marken-Liste, stündliche Aktualisierung, tägliche Archivierung.

lonnyzhang423
⭐ 782 Python 👤 lonnyzhang423 User 🕐 Aktualisiert 2026-10-22 📅 Erstellt 2021-01-09
288
quantumproxies/quantumproxies.io

Residential-, Rechenzentrums-, ISP- und Mobile-Proxys mit über 90 Millionen IPs in mehr als 200 Ländern – plus Scraper- und SERP-APIs. Codebeispiele in Python, Node.js, PHP, Go, Java, C#, Ruby und curl.

quantumproxies
⭐ 780 Java 👤 quantumproxies User 🕐 Aktualisiert 2026-09-06 📅 Erstellt 2025-11-17
289
letr007/CCTVVideoDownloader

Ein Tool zur Analyse und Verarbeitung von Netzwerk-Videostreams für CCTV.com

letr007
⭐ 774 C++ 👤 letr007 User 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2023-12-29
290
mattsse/voyager

Webseiten in Rust crawlen und scrapen

mattsse
⭐ 767 Rust 👤 mattsse User 🕐 Aktualisiert 2024-12-14 📅 Erstellt 2020-12-22
291
pbeenigg/LittleCrawler

LittleCrawler (小爬虫) unterstützt das Auslesen öffentlicher Daten auf den Plattformen Xiaohongshu (xhs), Zhihu und XianYu.

pbeenigg
⭐ 764 Python 👤 pbeenigg User 🕐 Aktualisiert 2026-08-09 📅 Erstellt 2026-01-07
292
serpapi/google-search-results-python

Google Suchergebnisse über SERP API pip Python-Paket

serpapi
⭐ 762 Python 👤 serpapi Organization 🕐 Aktualisiert 2026-08-18 📅 Erstellt 2018-01-10
293
python-mechanize/mechanize

Der offizielle Quellcode für das python-mechanize-Projekt

python-mechanize
⭐ 760 Python 👤 python-mechanize Organization 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2017-03-08
294
andybalholm/cascadia

CSS-Selektor-Bibliothek in Go

andybalholm
⭐ 760 Go 👤 andybalholm User 🕐 Aktualisiert 2026-11-12 📅 Erstellt 2015-03-28
295
oxylabs/web-scraping-google-sheets

Leitfaden zur Verwendung von Google Sheets für grundlegendes Web Scraping

oxylabs
⭐ 757 👤 oxylabs Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2022-11-14
296
1broseidon/ketch

Schnelle, zustandslose CLI für die Websuche und das Scraping. Für KI-Agenten entwickelt.

1broseidon
⭐ 756 Go 👤 1broseidon User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2026-03-25
297
4ier/neo

Wandeln Sie jede Web-App in eine API um. Chrome-Erweiterung erfasst Browser-Verkehr, generiert Schemata automatisch und lässt KI APIs direkt wiedergeben. Keine offizielle API erforderlich.

4ier
⭐ 756 JavaScript 👤 4ier User 🕐 Aktualisiert 2026-04-28 📅 Erstellt 2025-11-03
298
developersdigest/llm-api-engine

Erstellen und stellen Sie in Sekundenschnelle KI-gestützte APIs bereit

developersdigest
⭐ 755 TypeScript 👤 developersdigest User 🕐 Aktualisiert 2025-02-03 📅 Erstellt 2025-01-24
299
jshemas/openGraphScraper

Node.js-Scraper-Dienst für Open Graph-Infos und mehr!

jshemas
⭐ 754 TypeScript 👤 jshemas User 🕐 Aktualisiert 2026-10-30 📅 Erstellt 2013-09-01
300
FreshRSS/Extensions

Ein Repository, das alle offiziellen FreshRSS-Erweiterungen enthält

FreshRSS
⭐ 751 PHP 👤 FreshRSS Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2015-01-08