Git Stars Git Stars

#web-scraping Repositories

381
Gesamtzahl der Repositories
2.1M
Gesamtanzahl der Sterne
5,636
Durchschnittliche Sterne/Repo

Insgesamt 382 Repositories

301
z0m31en7/Uscrapper

Uscrapper Vanta: Tauchen Sie mit diesem leistungsstarken Open-Source-Tool tiefer ins Web ein. Extrahieren Sie mühelos und effizient wertvolle Erkenntnisse sowohl aus Surface- als auch aus Deep-Web-Quellen. Stärken Sie Ihr Data Mining und Ihre Analyse mit Vantas erweiterten Funktionen. Schnell, zuverlässig und benutzerfreundlich ist Uscrapper Vanta die ultimative Wahl für Forscher und Analysten.

z0m31en7
⭐ 740 Python 👤 z0m31en7 User 🕐 Aktualisiert 2024-11-24 📅 Erstellt 2023-05-31
302
djadmin/medium-cli

Medium for Hackers - :computer: Ein CLI für Medium Stories.

djadmin
⭐ 735 JavaScript 👤 djadmin User 🕐 Aktualisiert 2026-02-13 📅 Erstellt 2016-01-21
303
drawrowfly/amazon-product-api

Amazon Scraper. Produkte aus den Amazon-Suchergebnissen oder Bewertungen von einem bestimmten Produkt scrapen

drawrowfly
⭐ 734 JavaScript 👤 drawrowfly User 🕐 Aktualisiert 2024-07-05 📅 Erstellt 2019-10-06
304
ScrapeGraphAI/scrapecraft

KI-gestützter Web-Scraping-Editor mit visuellem Workflow-Builder. Erstellen, testen und stellen Sie Web-Scraper mithilfe natürlicher Sprache bereit. Powered by ScrapeGraphAI & LangGraph.

ScrapeGraphAI
⭐ 731 Python 👤 ScrapeGraphAI Organization 🕐 Aktualisiert 2025-12-26 📅 Erstellt 2025-07-01
305
rubycdp/vessel

Schnelles Framework für das Web-Crawling auf hohem Niveau in Ruby

rubycdp
⭐ 725 Ruby 👤 rubycdp Organization 🕐 Aktualisiert 2026-11-03 📅 Erstellt 2019-09-17
306
MorganZhang100/zhihu-spider

Ein Web-Spider für zhihu.com

MorganZhang100
⭐ 725 Python 👤 MorganZhang100 User 🕐 Aktualisiert 2024-01-17 📅 Erstellt 2015-02-22
307
lzjun567/python_scripts

Einige Python-bezogene Democode

lzjun567
⭐ 715 HTML 👤 lzjun567 User 🕐 Aktualisiert 2024-07-21 📅 Erstellt 2017-02-07
308
lhccong/fish-island-backend

Moyu Island 🎣 Backend Basierend auf Web Scraping ➕ Netty ➕ SpringBoot ➕Redis➕ MySQL Open Source 🌟 All-in-One Moyu Website

lhccong
⭐ 710 Java 👤 lhccong User 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2025-02-20
309
kovidgoyal/html5-parser

Schnelles, C-basiertes HTML-5-Parsing für Python

kovidgoyal
⭐ 710 C 👤 kovidgoyal User 🕐 Aktualisiert 2026-09-20 📅 Erstellt 2017-06-03
310
lumpinif/deepcrawl

100% kostenlos und vollständig open-source Alternative zu Firecrawl edge mit besserer Link-Extraktion für Agents - die du selbst auf Cloudflare oder Vercel deployen kannst.

lumpinif
⭐ 704 TypeScript 👤 lumpinif User 🕐 Aktualisiert 2026-08-24 📅 Erstellt 2025-05-22
311
maaaaz/webscreenshot

Ein einfaches Skript, um Screenshots von einer Liste von Websites zu erstellen

maaaaz
⭐ 696 Python 👤 maaaaz User 🕐 Aktualisiert 2025-10-19 📅 Erstellt 2014-01-12
312
only-cli/oc

Verwandle jede Website in eine kompakte, auf KI-Agenten zugeschnittene CLI. Durchsuche das Web mit Hunderten statt Zehntausenden von Tokens.

only-cli
⭐ 694 JavaScript 👤 only-cli User 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2026-08-18
313
firecrawl/cli

Firecrawl-CLI und Agent-Funktionen: Durchsuche und scrape das Web und interagiere damit über dein Terminal oder einen beliebigen Coding-Agenten. Außerdem kannst du Inhalte parsen, Websites crawlen und Karten erstellen sowie Agent und Monitor nutzen. Firecrawl ist die Context-API für KI-Agenten.

firecrawl
⭐ 694 TypeScript 👤 firecrawl Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2026-01-07
314
karpathy/hn-time-capsule

Retrospektive Analyse von Hacker News-Diskussionen von vor einem Jahrzehnt mithilfe von LLMs

karpathy
⭐ 693 Python 👤 karpathy User 🕐 Aktualisiert 2025-12-10 📅 Erstellt 2025-12-10
315
xiaosimao/IP_POOL

Kostenloser IP-Proxy-Pool

xiaosimao
⭐ 686 Python 👤 xiaosimao User 🕐 Aktualisiert 2025-09-15 📅 Erstellt 2017-09-22
316
perkeep/gphotos-cdp

Dieses Programm verwendet das Chrome DevTools Protocol, um eine Chrome-Sitzung zu steuern, die Ihre in Google Photos gespeicherten Fotos herunterlädt.

perkeep
⭐ 683 Go 👤 perkeep Organization 🕐 Aktualisiert 2024-06-30 📅 Erstellt 2019-08-08
317
yixiu001/Free-SS-NODES

Kostenlose SS-Knoten erhalten

yixiu001
⭐ 681 👤 yixiu001 User 🕐 Aktualisiert 2024-11-11 📅 Erstellt 2024-11-11
318
everyinfra/everyinfra-agent-plugins

EveryInfra-MCP-Server und Agenten-Plugin: Scraper-API für TikTok, Instagram, Amazon, YouTube, Xiaohongshu und Douyin. 612 Daten-APIs auf 106 Plattformen, ab 0,56 $ pro 1.000 Aufrufe. Für Claude Code, Cursor und Codex.

everyinfra
⭐ 672 Python 👤 everyinfra Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-09-01
319
firecrawl/open-researcher

🔥 Visueller KI-Forschungsassistent, der Echtzeitdenken anzeigt, Split-View-Analyse bietet und automatische Zitate mit Claude und Firecrawl erstellt

firecrawl
⭐ 667 TypeScript 👤 firecrawl Organization 🕐 Aktualisiert 2025-07-02 📅 Erstellt 2025-06-27
320
wimglenn/advent-of-code-data

Holen Sie Ihre Advent of Code-Daten mit einer einzigen Import-Anweisung

wimglenn
⭐ 666 Python 👤 wimglenn User 🕐 Aktualisiert 2026-08-01 📅 Erstellt 2016-12-03
321
oxylabs/Agent-browser

Führen Sie komplexe Automatisierungsskripte über Remote-Cloud-Sitzungen aus, mit integrierten Residential Proxies, automatischer CAPTCHA-Lösung und nativem JavaScript-Rendering für die anspruchsvollsten dynamischen Websites.

oxylabs
⭐ 663 👤 oxylabs Organization 🕐 Aktualisiert 2026-11-18 📅 Erstellt 2026-04-17
322
adamschwartz/web.scraper.workers.dev

Webseiten nach Text mit CSS-Selektor scrapen.

adamschwartz
⭐ 658 JavaScript 👤 adamschwartz User 🕐 Aktualisiert 2024-02-14 📅 Erstellt 2019-10-10
323
asmcos/requests

Eine Golang-HTTP-Client-Bibliothek. Gruß an python requests.

asmcos
⭐ 656 Go 👤 asmcos User 🕐 Aktualisiert 2026-10-09 📅 Erstellt 2018-08-27
324
yanzhou/CnkiSpider

China National Knowledge Infrastructure Crawler

yanzhou
⭐ 653 Python 👤 yanzhou User 🕐 Aktualisiert 2025-03-08 📅 Erstellt 2014-11-05
325
11firefly11/fir-proxy

Ein grafisches Proxy-Pool-Programm mit rotierenden Proxys

11firefly11
⭐ 650 Python 👤 11firefly11 User 🕐 Aktualisiert 2025-12-04 📅 Erstellt 2025-07-22
326
KNKPA/KNKPAnime

KNKPAnime: Eine Anime-App, die mehrere Episodenquellen und Untertitel unterstützt.

KNKPA
⭐ 648 Dart 👤 KNKPA Organization 🕐 Aktualisiert 2025-02-01 📅 Erstellt 2024-04-20
327
Threezh1/SiteCopy

sitecopy ist ein Tool, das das Backup persönlicher Websites und die Sammlung von Netzwerkdaten erleichtert

Threezh1
⭐ 647 Python 👤 Threezh1 User 🕐 Aktualisiert 2024-01-21 📅 Erstellt 2019-12-12
328
ScrapingBee/google-hotels-api

Automatisieren Sie das Scraping von Hotel Daten einschließlich Preisen, Verfügbarkeit, Bewertungen und Buchungsanbietern mit einer Google Hotels API-Integration.

ScrapingBee
⭐ 645 👤 ScrapingBee Organization 🕐 Aktualisiert 2026-04-08 📅 Erstellt 2026-04-08
⭐ 640 CSS 👤 dreamsofcode-io Organization 🕐 Aktualisiert 2024-08-04 📅 Erstellt 2024-07-26
330
cfinke/EpsteOut

Sehen Sie, welche Ihrer LinkedIn-Verbindungen in den Epstein-Dateien erscheinen.

cfinke
⭐ 638 Python 👤 cfinke User 🕐 Aktualisiert 2026-10-17 📅 Erstellt 2026-02-04
331
lzjqsdd/NewsSpider

News von Toutiao, NetEase, Tencent usw. scrapen und eine einfache Suchmaschine erstellen

lzjqsdd
⭐ 638 Python 👤 lzjqsdd User 🕐 Aktualisiert 2024-05-14 📅 Erstellt 2016-04-19
332
scrapfly/Antibot-Detector

Echtzeiterkennung von Anti-Bot-Systemen, Captchas und Fingerprinting-Techniken. Erkennt Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security und mehr – mit Vertrauenswerten und erweiterten Erfassungstools.

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2025-09-03
333
ohyicong/Google-Image-Scraper

Eine Bibliothek zum Scrapen von Google-Bildern

ohyicong
⭐ 636 Python 👤 ohyicong User 🕐 Aktualisiert 2025-02-16 📅 Erstellt 2020-07-18
335
deedy5/primp

HTTP-Client, der Webbrowser nachahmen kann

deedy5
⭐ 634 Rust 👤 deedy5 User 🕐 Aktualisiert 2026-09-13 📅 Erstellt 2024-04-12
336
achuthasubhash/Complete-Life-Cycle-of-a-Data-Science-Project

Vollständiger Lebenszyklus eines Data-Science-Projekts

achuthasubhash
⭐ 631 👤 achuthasubhash User 🕐 Aktualisiert 2024-06-07 📅 Erstellt 2020-09-02
337
eliemichel/LilySurfaceScraper

Shaders und Umgebungen in Blender von einer einzigen URL importieren

eliemichel
⭐ 625 Cython 👤 eliemichel User 🕐 Aktualisiert 2026-06-19 📅 Erstellt 2019-04-28
338
super-l/superl-url

Ein Programm, das Inhalte von URLs in Suchmaschinenergebnissen basierend auf Schlüsselwörtern sammelt. Es kann automatisch echte Adressen und Titel von verwandten Websites aus mehreren Suchmaschinen sammeln, diese in Dateien speichern und doppelte URLs automatisch entfernen. Zusätzlich lassen sich mehrere Domänen benutzerdefiniert ignorieren.

super-l
⭐ 621 Python 👤 super-l User 🕐 Aktualisiert 2025-04-12 📅 Erstellt 2017-08-03
339
Lofter1/anyflip-downloader

Laden Sie anyflip Bücher als PDF herunter

Lofter1
⭐ 619 Go 👤 Lofter1 User 🕐 Aktualisiert 2026-11-16 📅 Erstellt 2023-02-05
340
chenluda/zhihu-download

Zhihu-Spaltenartikel in Markdown-Dateien umwandeln und lokal speichern

chenluda
⭐ 613 Python 👤 chenluda User 🕐 Aktualisiert 2025-03-21 📅 Erstellt 2023-05-12
341
liuda30201/AI-Coding

Übersicht zu Vorteilen beim KI-gestützten Programmieren: ein Verzeichnis von Relay-Diensten und gemeinnützigen Angeboten für Claude Code, Codex und Cursor. Es bündelt kostenlose Kontingente, Registrierungsboni, Check-in-Aktionen und Erfahrungsberichte und bietet ein visuelles Dashboard sowie Python-Tools zur Datenerfassung.

liuda30201
⭐ 611 HTML 👤 liuda30201 User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2026-10-15
342
alchaincyf/huashu-chrome

Lass jeden KI-Agenten dein eigenes Chrome steuern – mit all deinen angemeldeten Konten. MCP + Chrome-Erweiterung, kompatibel mit Claude Code / Codex / Cursor / Gemini CLI.

alchaincyf
⭐ 609 JavaScript 👤 alchaincyf User 🕐 Aktualisiert 2026-11-15 📅 Erstellt 2026-08-26
343
testusyd/douyin_downloader

Douyin Glückstüten-Gacha-Maschine, Douyin Glückstüten-Schnappwerkzeug, von mir in meiner Freizeit in VC++ geschrieben, mit einigen anderen kleinen Funktionen, Douyin-Video-Downloader ohne Wasserzeichen, Douyin-Live-Stream-Aufzeichnungs-Downloader, Douyin-Massen-Entfolge-Werkzeug

testusyd
⭐ 605 👤 testusyd User 🕐 Aktualisiert 2026-03-08 📅 Erstellt 2025-05-22
344
ThinkerWen/TicketMonitoring

Gerste, Katzeauge, Fenwan-Insel, Ticket Planet, Konzert Ticketing Überwachung

ThinkerWen
⭐ 605 Python 👤 ThinkerWen User 🕐 Aktualisiert 2025-01-24 📅 Erstellt 2023-10-22
345
lunnar211/HackFacebokpass

Facebook-Hacking mit Termux. Dieses Tool wurde von TecnicalDipesh codiert. Sie können jede Facebook-ID und -Passwort dumpen.

lunnar211
⭐ 603 Python 👤 lunnar211 User 🕐 Aktualisiert 2026-03-26 📅 Erstellt 2019-11-11
346
web-agent-master/google-search

Ein Playwright-basiertes Node.js-Tool, das Anti-Scraping-Mechanismen von Suchmaschinen umgeht, um Google-Suchen durchzuführen. Lokale Alternative zu SERP-APIs mit MCP-Serverintegration.

web-agent-master
⭐ 598 TypeScript 👤 web-agent-master Organization 🕐 Aktualisiert 2025-04-06 📅 Erstellt 2025-03-04
347
jiuzhi-1/meituan-shenquan

Meituan Tägliche Götter-Gutscheine Regionalwettbewerb Automatisierungsskript

jiuzhi-1
⭐ 595 Python 👤 jiuzhi-1 User 🕐 Aktualisiert 2024-05-08 📅 Erstellt 2021-10-15
348
ytdl-org/ytdl-nightly

Nächtliche Builds für youtube-dl.

ytdl-org
⭐ 593 Python 👤 ytdl-org Organization 🕐 Aktualisiert 2026-11-06 📅 Erstellt 2023-07-02
349
shaikhsajid1111/social-media-profile-scrapers

Benutzerdaten über soziale Medien abrufen

shaikhsajid1111
⭐ 588 Python 👤 shaikhsajid1111 User 🕐 Aktualisiert 2026-09-15 📅 Erstellt 2020-04-26
350
spekulatius/PHPScraper

Ein universelles Web-Util für PHP.

spekulatius
⭐ 588 PHP 👤 spekulatius User 🕐 Aktualisiert 2026-09-08 📅 Erstellt 2020-04-21