Git Stars Git Stars

#web-scraping Repositories

381
Gesamtzahl der Repositories
2.1M
Gesamtanzahl der Sterne
5,636
Durchschnittliche Sterne/Repo

Insgesamt 382 Repositories

151
Nutlope/turboseek

Eine KI-Suchmaschine, die von Perplexity inspiriert ist

Nutlope
⭐ 1,660 TypeScript 👤 Nutlope User 🕐 Aktualisiert 2026-10-23 📅 Erstellt 2024-05-26
152
oxylabs/ai-map-py

AI Map ist ein KI-gestütztes Website-Mapping-Tool von Oxylabs AI Studio, das natürliche Sprachprompts verwendet, um relevante URLs von jeder Website intelligent zu erkennen und zu extrahieren.

oxylabs
⭐ 1,651 👤 oxylabs Organization 🕐 Aktualisiert 2026-04-02 📅 Erstellt 2025-10-29
153
orangecoding/fredy

❤️ Fredy – [F]ind [R]eal [E]state [D]amn Eas[y] – Fredy sucht fortlaufend auf Plattformen wie ImmoScout24, Immowelt und eBay Kleinanzeigen nach neuen Wohnungen, Häusern und Immobilien in Europa und liefert dir die Ergebnisse sofort über Slack, Telegram, E-Mail, Discord oder ntfy, damit du dich auf die wichtigeren Dinge im Leben konzentrieren kannst ;)

orangecoding
⭐ 1,648 JavaScript 👤 orangecoding User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2018-01-15
154
Xetera/ghost-cursor

🖱️ Generiere menschliche Mausbewegungen mit Puppeteer oder auf jeder 2D-Ebene

Xetera
⭐ 1,634 TypeScript 👤 Xetera User 🕐 Aktualisiert 2026-11-04 📅 Erstellt 2019-10-15
155
justmarkham/DAT8

General Assembly's 2015 Data-Science-Kurs in Washington, DC

justmarkham
⭐ 1,622 Jupyter Notebook 👤 justmarkham User 🕐 Aktualisiert 2024-06-05 📅 Erstellt 2015-08-07
156
karust/openserp

Selbst gehostete Websuche für KI-Agenten und SEO. Google, Bing, Yandex, Baidu, DuckDuckGo und Ecosia, dargestellt in einem echten Browser: sortierte Ergebnisse und sauberes Markdown der Seiten. API, CLI, MCP 🎉

karust
⭐ 1,605 Go 👤 karust User 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2023-06-23
157
Kaliiiiiiiiii-Vinyzu/patchright-python

Nicht erkannte Python-Version der Playwright-Test- und Automatisierungsbibliothek.

Kaliiiiiiiiii-Vinyzu
⭐ 1,603 Python 👤 Kaliiiiiiiiii-Vinyzu Organization 🕐 Aktualisiert 2026-11-10 📅 Erstellt 2024-11-02
158
ulixee/hero

Der für das Scraping entwickelte Webbrowser

ulixee
⭐ 1,557 TypeScript 👤 ulixee Organization 🕐 Aktualisiert 2026-05-16 📅 Erstellt 2021-07-28
159
dteviot/WebToEpub

Eine einfache Chrome- (und Firefox-)Erweiterung, die Web-Romane (und andere Webseiten) in ein EPUB umwandelt.

dteviot
⭐ 1,544 JavaScript 👤 dteviot User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2015-11-23
160
headzoo/surf

Zustandsorientiertes programmatisches Web-Browsing in Go.

headzoo
⭐ 1,533 Go 👤 headzoo User 🕐 Aktualisiert 2024-01-24 📅 Erstellt 2014-08-25
161
0x676e67/wreq-python

Ein ergonomischer, datenschutzbewusster Python-HTTP-Client

0x676e67
⭐ 1,526 Python 👤 0x676e67 User 🕐 Aktualisiert 2026-11-15 📅 Erstellt 2025-02-10
162
tidyverse/rvest

Einfaches Web-Scraping für R

tidyverse
⭐ 1,524 R 👤 tidyverse Organization 🕐 Aktualisiert 2026-10-27 📅 Erstellt 2014-07-23
163
tinyfish-io/agentql

AgentQL ist eine Suite von Tools, um Ihre KI mit dem Web zu verbinden. Mit einer Abfragesprache und Playwright-Integrationen für die schnelle, präzise und skalierbare Interaktion mit Elementen und die Extraktion von Daten. Enthält REST API, Python- und JavaScript-SDKs sowie einen Browser-Debugger.

tinyfish-io
⭐ 1,510 Python 👤 tinyfish-io Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2024-02-20
164
liguobao/HouseSearch

Mietwohnungen auf der Karte suchen: Müde davon, die ganze Stadt nach einer Wohnung abzusuchen? Probieren Sie eine andere Methode aus und suchen Sie direkt auf der Karte nach Mietwohnungen! [Offizieller WeChat-Account und Mini-Programm: 人生删除指南]

liguobao
⭐ 1,495 JavaScript 👤 liguobao User 🕐 Aktualisiert 2026-11-14 📅 Erstellt 2016-08-07
165
antonmedv/finder

CSS-Selektor-Generator 🗺

antonmedv
⭐ 1,491 HTML 👤 antonmedv User 🕐 Aktualisiert 2025-11-20 📅 Erstellt 2018-02-20
166
rebrowser/rebrowser-patches

Sammlung von Patches für Puppeteer und Playwright, um Automatisierungserkennung und Lecks zu vermeiden. Hilft, Cloudflare- und DataDome-CAPTCHA-Seiten zu umgehen. Einfach zu patchen/unpatchen, kann nach Bedarf aktiviert/deaktiviert werden.

rebrowser
⭐ 1,468 JavaScript 👤 rebrowser Organization 🕐 Aktualisiert 2026-11-02 📅 Erstellt 2024-08-06
167
ScrapingBee/chatgpt-scraper-api

Sammeln Sie strukturierte Antworten von einem ChatGPT-Scraper, indem Sie eine Eingabeaufforderung mit gültigen ChatGPT-Scraping-API-Anmeldeinformationen senden. Aktivieren Sie die Live-Suche, injizieren Sie HTML-Kontext und automatisieren Sie intelligente Scraper-ChatGPT-Workflows mit nur wenigen Parametern.

ScrapingBee
⭐ 1,465 👤 ScrapingBee Organization 🕐 Aktualisiert 2026-07-15 📅 Erstellt 2026-03-12
168
Surfer-Org/Protocol

Open-Source-Framework zum Exportieren Ihrer persönlichen Daten.

Surfer-Org
⭐ 1,462 TypeScript 👤 Surfer-Org Organization 🕐 Aktualisiert 2024-12-25 📅 Erstellt 2024-08-09
169
austin-weeks/miasma

Fange AI-Web-Scraper in einer endlosen Giftgrube.

austin-weeks
⭐ 1,459 Rust 👤 austin-weeks User 🕐 Aktualisiert 2026-11-05 📅 Erstellt 2026-03-18
170
roach-php/core

Das komplette Web-Scraping-Toolkit für PHP.

roach-php
⭐ 1,456 PHP 👤 roach-php Organization 🕐 Aktualisiert 2025-10-27 📅 Erstellt 2021-08-17
171
wordware-ai/twitter

KI-Agent zur Analyse der Twitter-Persönlichkeit

wordware-ai
⭐ 1,446 TypeScript 👤 wordware-ai Organization 🕐 Aktualisiert 2026-08-02 📅 Erstellt 2024-06-03
172
mattsse/chromiumoxide

Chrome Devtools Protocol Rust API

mattsse
⭐ 1,437 Rust 👤 mattsse User 🕐 Aktualisiert 2026-04-03 📅 Erstellt 2020-11-28
173
Miserlou/SoundScrape

SoundCloud (und Bandcamp und Mixcloud) Downloader in Python.

Miserlou
⭐ 1,436 Python 👤 Miserlou User 🕐 Aktualisiert 2024-06-23 📅 Erstellt 2013-12-29
174
foxhui/WebAI2API

WebAI2API: Tool zur Umwandlung von Web-AI in API basierend auf Camoufox, unterstützt LMArena/Gemini u.a., Multi-Fenster-Konkurrenz & Konto-Isolierung. | Web AI to OpenAI API via Camoufox. Supports LMArena/Gemini and more, multi-window concurrency & account isolation.

foxhui
⭐ 1,429 JavaScript 👤 foxhui User 🕐 Aktualisiert 2026-07-10 📅 Erstellt 2025-11-23
175
oxylabs/how-to-scrape-google-finance

Verwenden Sie die Web Scraper API, um Daten von Google Finanzen zu extrahieren, einschließlich Aktientitel, Preisgestaltung und Preisänderungen in Prozent.

oxylabs
⭐ 1,403 Python 👤 oxylabs Organization 🕐 Aktualisiert 2025-09-23 📅 Erstellt 2024-09-25
176
feder-cr/invisible_puppeteer

Puppeteer für Python, das Anti-Bot-Systeme nicht erkennen können – ganz ohne Captchas: dieselbe API, ein unsichtbarer, Anti-Detection-fähiger Headless-Firefox, ein nicht erkennbarer Fingerabdruck, Umgehung der Bot-Erkennung, Web-Scraping und Browser-Automatisierung.

feder-cr
⭐ 1,403 Python 👤 feder-cr User 🕐 Aktualisiert 2026-10-19 📅 Erstellt 2024-09-01
177
mckaywrigley/clarity-ai

Ein Perplexity-Klon.

mckaywrigley
⭐ 1,401 TypeScript 👤 mckaywrigley User 🕐 Aktualisiert 2024-03-28 📅 Erstellt 2023-02-19
178
facundoolano/app-store-scraper

Daten aus dem iTunes App Store scrapen

facundoolano
⭐ 1,396 JavaScript 👤 facundoolano User 🕐 Aktualisiert 2025-07-27 📅 Erstellt 2016-05-31
179
regenrek/deepwiki-mcp

📖 MCP-Server zum Abrufen von deepwiki.com und Erhalten des neuesten Wissens in Cursor und anderen Code-Editoren

regenrek
⭐ 1,393 TypeScript 👤 regenrek User 🕐 Aktualisiert 2026-03-20 📅 Erstellt 2025-04-28
180
sardanioss/httpcloak

Go HTTP Client mit browseridentischem TLS/HTTP2-Fingerprinting. Umgeht Bot-Erkennung, indem Chrome, Firefox und Safari auf kryptografischer Ebene (JA3/JA4, Akamai-Fingerabdruck, Header-Reihenfolge) perfekt nachgeahmt werden. Unterstützt HTTP/1.1, HTTP/2, HTTP/3, Sessions, Cookies und Proxies.

sardanioss
⭐ 1,387 Go 👤 sardanioss User 🕐 Aktualisiert 2026-11-14 📅 Erstellt 2025-12-28
181
MiniGlome/Archive.org-Downloader

Python3-Skript zum Herunterladen von archive.org-Büchern im PDF-Format

MiniGlome
⭐ 1,385 Python 👤 MiniGlome User 🕐 Aktualisiert 2026-09-27 📅 Erstellt 2021-02-17
182
fugary/calibre-douban

Calibre neues Metadatenquellen-Plugin für Douban. Douban stellt keine Buch-APIs mehr öffentlich zur Verfügung, daher kann es nur Web-Crawling verwenden, um Daten zu erhalten. Dies ist ein Calibre-Douban-Plugin, das auf Web-Crawling basiert.

fugary
⭐ 1,382 Python 👤 fugary User 🕐 Aktualisiert 2025-11-08 📅 Erstellt 2021-12-12
183
firecrawl/open-scouts

🔥 KI‑gestützte Web‑Monitoring‑Plattform. Erstellen Sie automatisierte Scouts, die das Web durchsuchen und E‑Mail‑Benachrichtigungen senden, wenn sie finden, wonach Sie suchen.

firecrawl
⭐ 1,372 TypeScript 👤 firecrawl Organization 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2025-11-28
184
sourcegraph/webloop

WebLoop: Skriptfähiges, Headless-WebKit mit einer Go-API. Wie PhantomJS, aber für Go.

sourcegraph
⭐ 1,366 Go 👤 sourcegraph Organization 🕐 Aktualisiert 2024-04-01 📅 Erstellt 2013-10-27
185
philippta/flyscrape

Flyscrape ist ein Kommandozeilen-Web-Scraping-Tool, das sich an Personen ohne fortgeschrittene Programmierkenntnisse richtet.

philippta
⭐ 1,347 Go 👤 philippta User 🕐 Aktualisiert 2025-11-24 📅 Erstellt 2023-08-28
186
Sniper970119/dianping_spider

Dianping-Crawler (ganze Website durchsuchbar, löst dynamische Schrifterverschlüsselung, kein OCR). Kontinuierliche Aktualisierung

Sniper970119
⭐ 1,329 Python 👤 Sniper970119 User 🕐 Aktualisiert 2026-11-03 📅 Erstellt 2021-01-22
187
firecrawl/fire-enrich

KI-gestütztes Data-Enrichment-Tool, das E-Mails mit Firecrawl und Multi-Agent-KI in reichhaltige Datensätze mit Unternehmensprofilen, Finanzierungsdaten, Technologie-Stacks und mehr umwandelt

firecrawl
⭐ 1,308 TypeScript 👤 firecrawl Organization 🕐 Aktualisiert 2026-10-26 📅 Erstellt 2025-06-06
188
AI4Finance-Foundation/FinNLP

Demokratisierung von Finanzdaten im Internetmaßstab.

AI4Finance-Foundation
⭐ 1,292 Jupyter Notebook 👤 AI4Finance-Foundation Organization 🕐 Aktualisiert 2024-07-01 📅 Erstellt 2023-02-07
189
kkangert/kspider

Kspider ist eine Crawler-Plattform, die es ermöglicht, Crawler-Workflows grafisch zu definieren, wodurch Crawler-Workflows ohne Code implementiert werden können. Kspider beschränkt sich nicht nur auf Web-Crawling, sondern kann auch für die WEB-Automatisierung getestet werden. Weitere Funktionen warten darauf, von Ihnen entdeckt zu werden.

kkangert
⭐ 1,285 Java 👤 kkangert User 🕐 Aktualisiert 2024-08-19 📅 Erstellt 2024-07-07
190
fastcrw/crw

Schnelle, leichtgewichtige Firecrawl/Tavily-Alternative in Rust. Web-Scraper, Crawler & Such-API mit MCP-Server für KI-Agenten. Drop-in Firecrawl-kompatible API (/scrape, /crawl, /search). 2,3x schneller als Tavily, 1,5x schneller als Firecrawl bei 1K-URL-Benchmarks. 6 MB RAM, einzelne Binärdatei. Selbst-Hosting oder Managed Cloud.

fastcrw
⭐ 1,284 Rust 👤 fastcrw Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-03-02
191
techwithtim/Price-Tracking-Web-Scraper

Ein automatisierter Preisverfolger, der Bright Data, Playwright, React und Flask verwendet.

techwithtim
⭐ 1,284 Python 👤 techwithtim User 🕐 Aktualisiert 2024-10-17 📅 Erstellt 2023-06-23
192
ovobrowsersupport/ovobrowser

Chromium-Fingerprinting-Engine auf Quellcodeebene, von Erkennungsseiten wie ein gewöhnliches Chrome bewertet. Ein Chromium-Fingerprinting-Kernel auf Quellcodeebene, der Bot-Erkennungstests besteht. Keine JS-Injektion – C++-Patches, die in die Binärdatei kompiliert werden.

ovobrowsersupport
⭐ 1,277 👤 ovobrowsersupport User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2026-08-23
193
raawaa/jav-scrapy

Der Sklavenarbeiter für das Batch-Greifen von AV-Magnet-Links oder Covern

raawaa
⭐ 1,275 JavaScript 👤 raawaa User 🕐 Aktualisiert 2026-10-17 📅 Erstellt 2015-10-31
194
TaxyAI/browser-extension

Automatisieren Sie Ihren Browser mit GPT-4

TaxyAI
⭐ 1,269 TypeScript 👤 TaxyAI Organization 🕐 Aktualisiert 2025-01-15 📅 Erstellt 2023-03-27
195
chromedp/examples

chromedp Code-Beispiele.

chromedp
⭐ 1,265 Go 👤 chromedp Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2017-12-26
196
Decodo/Decodo

HTTP(S)/SOCKS5 rotierende Residential-Proxys - Code-Beispiele & allgemeine Informationen.

Decodo
⭐ 1,264 Java 👤 Decodo Organization 🕐 Aktualisiert 2026-11-11 📅 Erstellt 2019-01-07
197
MarioVilas/googlesearch

Google-Suche aus Python (inoffiziell).

MarioVilas
⭐ 1,249 Python 👤 MarioVilas User 🕐 Aktualisiert 2025-11-11 📅 Erstellt 2012-10-22
198
kairi003/Get-cookies.txt-LOCALLY

Holen Sie sich cookies.txt, senden Sie NIEMALS Informationen nach außen.

kairi003
⭐ 1,230 JavaScript 👤 kairi003 User 🕐 Aktualisiert 2025-10-07 📅 Erstellt 2023-03-01
199
mika-cn/maoxian-web-clipper

Eine Web-Erweiterung zum Ausschneiden von Informationen aus Webseiten. Speichern Sie sie auf Ihrem lokalen Gerät, um die Ungültigkeit von Informationen zu vermeiden. Keine langweilige Registrierung, keine Gebühren.

mika-cn
⭐ 1,230 JavaScript 👤 mika-cn User 🕐 Aktualisiert 2026-08-23 📅 Erstellt 2018-08-09
200
eooce/Auto-login-netlib

Automatische Anmeldung auf der Website netlib.re zur Domain-Aktivitätserhaltung

eooce
⭐ 1,220 JavaScript 👤 eooce User 🕐 Aktualisiert 2025-11-08 📅 Erstellt 2025-11-06