Git Stars Git Stars

#crawler Repositories

162
Gesamtzahl der Repositories
1.1M
Gesamtanzahl der Sterne
6,863
Durchschnittliche Sterne/Repo

Insgesamt 162 Repositories

101
Zeal-L/BiliBili-Manga-Downloader

Ein benutzerfreundlicher Bilibili Comic Downloader mit grafischer Benutzeroberfläche, unterstützt die Suche nach Comics nach Schlüsselwörtern und Login per QR-Code, mit 'Black Technology' zum Herunterladen nicht freigeschalteter Kapitel, Multi-Thread-Download, diversen Speicherformaten, lokaler Comicverwaltung und Ein-Klick-Update-Prüfung!

Zeal-L
⭐ 1,244 Python 👤 Zeal-L User 🕐 Aktualisiert 2025-07-23 📅 Erstellt 2023-01-15
102
InstaPy/instagram-profilecrawl

📝 Informationen (z. B. Follower, Tags usw.) eines Instagram-Profils schnell crawlen.

InstaPy
⭐ 1,244 Python 👤 InstaPy Organization 🕐 Aktualisiert 2024-03-19 📅 Erstellt 2017-02-15
103
seveniruby/AppCrawler

Appium-basierendes Tool zur automatischen App-Traversierung

seveniruby
⭐ 1,244 Scala 👤 seveniruby User 🕐 Aktualisiert 2026-04-20 📅 Erstellt 2016-02-16
104
webrecorder/browsertrix-crawler

Führen Sie einen browserbasierten Webcrawler mit hoher Wiedergabetreue in einem einzigen Docker-Container aus

webrecorder
⭐ 1,199 TypeScript 👤 webrecorder Organization 🕐 Aktualisiert 2026-11-19 📅 Erstellt 2020-11-02
105
AndyTheFactory/newspaper4k

📰 Newspaper4k, eine Abspaltung des beliebten Newspaper3k. Extrahieren von Artikeln, Titeln und Metadaten von Nachrichtenseiten.

AndyTheFactory
⭐ 1,170 Python 👤 AndyTheFactory User 🕐 Aktualisiert 2026-11-01 📅 Erstellt 2023-10-22
106
dixudx/tumblr-crawler

Laden Sie mühelos alle Fotos/Videos aus Tumblr-Blogs herunter. Laden Sie Bilder und Videos aus angegebenen Tumblr-Blogs herunter

dixudx
⭐ 1,160 Python 👤 dixudx User 🕐 Aktualisiert 2025-12-26 📅 Erstellt 2016-04-15
107
codelibs/fess

Open-Source, selbstgehosteter Enterprise- & Website-Suchserver auf Basis von OpenSearch. Durchsucht Web-, Datei-, Datenbank- und Cloud-Quellen, unterstützt über 20 Sprachen, REST-API sowie KI/RAG- und semantische Suche. Apache-2.0-Lizenz.

codelibs
⭐ 1,152 Java 👤 codelibs Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2013-09-13
108
scrapfly/scrapfly-scrapers

Skalierbare Python-Web-Scraping-Skripte für über 80 beliebte Domains

scrapfly
⭐ 1,133 Python 👤 scrapfly Organization 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2023-05-22
109
BaiduSpider/BaiduSpider

BaiduSpider, ein Crawler zum Abrufen von Baidu-Suchergebnissen, unterstützt derzeit Baidu-Websuche, Baidu-Bildersuche, Baidu-Wissenssuche, Baidu-Videosuche, Baidu-Nachrichtensuche, Baidu-Wenkensuche, Baidu-Erfahrungssuche und Baidu-Enzyklopädie-Suche.

BaiduSpider
⭐ 1,130 Python 👤 BaiduSpider Organization 🕐 Aktualisiert 2024-06-14 📅 Erstellt 2020-10-03
110
elixir-crawly/crawly

Crawly, ein Framework auf hohem Niveau für Web-Crawling und Scraping für Elixir.

elixir-crawly
⭐ 1,129 Elixir 👤 elixir-crawly Organization 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2019-03-09
111
0x676e67/wreq

Ein ergonomischer, datenschutzbewusster Rust-HTTP-Client

0x676e67
⭐ 1,118 Rust 👤 0x676e67 User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2024-09-19
112
wujunwei928/parse-video

Golang Wasserzeichenentfernung für Kurzvideos: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipixia Gaoqiao, Xigua Video, Huya, Li Video, AcFun, Haokan Video...

wujunwei928
⭐ 1,104 Go 👤 wujunwei928 User 🕐 Aktualisiert 2026-11-08 📅 Erstellt 2022-07-12
113
vifreefly/kimuraframework

Schreiben Sie Web‑Scraper in Ruby mit einer sauberen, KI‑gestützten DSL. Kimurai nutzt KI, um herauszufinden, wo die Daten liegen, speichert dann die Selektoren im Cache und scrapt ausschließlich mit reinem Ruby. Profitieren Sie von der Intelligenz eines LLM ohne die Latenz pro Anfrage oder Token‑Kosten.

vifreefly
⭐ 1,102 Ruby 👤 vifreefly User 🕐 Aktualisiert 2026-01-27 📅 Erstellt 2018-08-23
114
antibrow/antibrow

Kernelbasierter Anti-Erkennungsbrowser mit der Playwright-API, die Sie bereits verwenden. Python- und Node-SDKs, MCP-fähig, unbegrenzt viele lokale Profile. Linux x64 + arm64, macOS Intel + Apple Silicon, Windows x64.

antibrow
⭐ 1,068 TypeScript 👤 antibrow User 🕐 Aktualisiert 2026-09-28 📅 Erstellt 2026-07-29
115
darbra/awesome-ai-reverse

KI-Reverse-Engineering in einem Rutsch

darbra
⭐ 1,026 👤 darbra User 🕐 Aktualisiert 2026-09-29 📅 Erstellt 2026-04-14
116
janreges/siteone-crawler

SiteOne Crawler ist ein plattformübergreifender Website-Crawler und -Analysator für SEO, Sicherheit, Zugänglichkeit und Leistungsoptimierung – ideal für Entwickler, DevOps, QA-Ingenieure und Berater. Unterstützt Windows, macOS und Linux (x64 und arm64).

janreges
⭐ 1,019 Rust 👤 janreges User 🕐 Aktualisiert 2026-09-27 📅 Erstellt 2023-10-04
117
apache/stormcrawler

Ein skalierbarer, ausgereifter und vielseitiger Web-Crawler basierend auf Apache Storm

apache
⭐ 1,014 Java 👤 apache Organization 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2013-04-12
118
pea3nut/Pxer

Ein Tool für pixiv.net. Ein für jedermann zugänglicher P-Station-Crawler

pea3nut
⭐ 1,010 JavaScript 👤 pea3nut User 🕐 Aktualisiert 2025-03-03 📅 Erstellt 2015-12-16
119
spidersuite/SpiderSuite

SpiderSuite (Web-Sicherheits-Crawler) Versionen, Wiki und Roadmap

spidersuite
⭐ 990 👤 spidersuite Organization 🕐 Aktualisiert 2026-08-13 📅 Erstellt 2023-04-05
120
fredwu/crawler

Ein leistungsstarker Webcrawler / Scraper in Elixir.

fredwu
⭐ 963 Elixir 👤 fredwu User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2016-08-08
121
ma6254/FictionDown

Roman-Download|Roman-Crawling|起点|笔趣阁|Markdown exportieren|txt exportieren|epub konvertieren|Werbefilterung|Automatische Korrektur

ma6254
⭐ 955 Go 👤 ma6254 User 🕐 Aktualisiert 2025-01-21 📅 Erstellt 2019-03-03
122
xiaoxiunique/x-kit

Reine Python-Protokollwerkzeuge und Forschungsnotizen für X.com, mit VibeLoft-Twitter-Kontodatensätzen

xiaoxiunique
⭐ 947 Python 👤 xiaoxiunique User 🕐 Aktualisiert 2026-11-04 📅 Erstellt 2024-12-16
123
0xAllenChen/spider_reverse

Reverse-Engineering-Fallstudien für Webcrawler, abgeschlossen: TLS-Fingerprint | Ruishu | Zhenkunxing | NetEase Yudun | WeChat Mini Program Decompilation & Reverse Engineering (Baida Xingxi) | Tonghuashun | RPC-Entschlüsselung | Jiasule | Jueyan Slider CAPTCHA | Julang Sanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | Industrial Policy Big Data Platform | Qizhidiao | Xueqiu.com (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Keji | mohurd | Ejoin Data | Ouke Yunlian

0xAllenChen
⭐ 946 Python 👤 0xAllenChen User 🕐 Aktualisiert 2026-11-17 📅 Erstellt 2023-06-02
124
TikHub/TikHub-API-Python-SDK

Hochleistungs-asynchroner Captcha-Löser (Verifizierungscode-Löser) für Douyin (抖音), TikTok, Xiaohongshu (小红书), Kuaishou (快手), Weibo (微博), Instagram, YouTube (油管), Twitter (X) mit Temp Mail (temporäre E-Mail)-API (Schnittstelle).

TikHub
⭐ 943 Python 👤 TikHub Organization 🕐 Aktualisiert 2026-10-03 📅 Erstellt 2022-12-17
125
hellock/icrawler

Ein Multi-Thread-Crawler-Framework mit vielen integrierten Bildcrawlern.

hellock
⭐ 936 Python 👤 hellock User 🕐 Aktualisiert 2025-12-10 📅 Erstellt 2016-03-19
126
JoMingyu/google-play-scraper

Google Play Scraper für Python, inspiriert von <facundoolano/google-play-scraper>

JoMingyu
⭐ 930 Python 👤 JoMingyu User 🕐 Aktualisiert 2024-08-05 📅 Erstellt 2019-06-04
127
SkywalkerDarren/chatWeb

ChatWeb kann Webseiten durchsuchen, PDFs, DOCX, TXT lesen und den Hauptinhalt extrahieren, um dann Ihre Fragen basierend auf dem Inhalt zu beantworten oder die wichtigsten Punkte zusammenzufassen.

SkywalkerDarren
⭐ 916 Python 👤 SkywalkerDarren User 🕐 Aktualisiert 2026-05-25 📅 Erstellt 2023-03-09
128
scrapinghub/scrapyrt

HTTP-API für Scrapy-Spinnen

scrapinghub
⭐ 884 Python 👤 scrapinghub Organization 🕐 Aktualisiert 2026-10-13 📅 Erstellt 2015-01-06
129
rndinfosecguy/Scavenger

Crawler (Bot), der auf Paste-Seiten nach geleakten Informationen sucht.

rndinfosecguy
⭐ 883 Python 👤 rndinfosecguy User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2018-03-10
130
skrapeit/skrape.it

Eine auf Kotlin basierende Bibliothek für Testing, Scraping und Parsing, die die Fähigkeit bietet, Daten aus HTML (server- und client-seitig gerendert) zu analysieren und zu extrahieren. Sie legt besonderen Wert auf Benutzerfreundlichkeit und hohe Lesbarkeit durch Bereitstellung einer intuitiven DSL. Sie zielt darauf ab, eine Testing-Bibliothek zu sein, kann aber auch auf bequeme Weise verwendet werden, um Websites zu scrapen.

skrapeit
⭐ 874 Kotlin 👤 skrapeit User 🕐 Aktualisiert 2026-10-20 📅 Erstellt 2019-01-14
131
StJudeWasHere/seonaut

Open-Source-SEO-Audit-Tool.

StJudeWasHere
⭐ 873 Go 👤 StJudeWasHere User 🕐 Aktualisiert 2026-10-08 📅 Erstellt 2022-03-02
132
setvisible/ArrowDL

ArrowDL (Arrow Downloader) ist ein Download-Manager für Windows, macOS und Linux.

setvisible
⭐ 855 C++ 👤 setvisible User 🕐 Aktualisiert 2026-05-04 📅 Erstellt 2019-07-04
133
BlessedRebuS/Krawl

Krawl ist ein anpassbarer, leichter, cloud-nativer Web-Täuschungsserver und Anti-Crawler, der gefälschte Web-Anwendungen mit niedrig hängenden Schwachstellen mithilfe realistischer, zufällig generierter Köderdaten und KI-generierter HTML-Vorlagen erstellt.

BlessedRebuS
⭐ 844 Python 👤 BlessedRebuS User 🕐 Aktualisiert 2026-11-20 📅 Erstellt 2025-12-10
134
postmodern/spidr

Eine vielseitige Ruby-Web-Spidering-Bibliothek, die eine Site, mehrere Domains, bestimmte Links oder unendlich spidern kann. Spidr ist für Schnelligkeit und Benutzerfreundlichkeit konzipiert.

postmodern
⭐ 835 Ruby 👤 postmodern User 🕐 Aktualisiert 2026-01-12 📅 Erstellt 2009-03-08
135
tiliondev/fortress

Stealth-Chromium-Engine, das verhindert, dass Scraper und Browser-Agenten blockiert werden – mit nur einer Änderung in einer Codezeile.

tiliondev
⭐ 817 Python 👤 tiliondev Organization 🕐 Aktualisiert 2026-11-03 📅 Erstellt 2026-07-02
136
MorvanZhou/easy-scraping-tutorial

Einfacher, aber nützlicher Python-Web-Scraping-Tutorial-Code.

MorvanZhou
⭐ 814 Jupyter Notebook 👤 MorvanZhou User 🕐 Aktualisiert 2024-04-07 📅 Erstellt 2017-12-29
137
fffonion/xeHentai

Doujinshi-Downloader Erotik-Manga-Download

fffonion
⭐ 808 Python 👤 fffonion User 🕐 Aktualisiert 2026-11-15 📅 Erstellt 2013-03-23
138
fanyong920/jvppeteer

Java API für Chrome und Firefox

fanyong920
⭐ 805 Java 👤 fanyong920 User 🕐 Aktualisiert 2026-10-04 📅 Erstellt 2020-03-11
139
chadi0x/TheBigBrother

The Big Brother ist eine zur Waffe umfunktionierte OSINT-Plattform mit Benutzernamen-Aufzählung (über 473 Plattformen), visueller Aufklärung mit vier Vektoren, Sky-Radar-Tracking, Analyse von Krypto-Wallets, SSL-Informationen, Rekonstruktion des digitalen Fußabdrucks, EXIF-Extraktion, erweitertem Dorking und Netzwerkaufklärung.

chadi0x
⭐ 787 Python 👤 chadi0x User 🕐 Aktualisiert 2026-11-14 📅 Erstellt 2025-12-08
140
JSREI/js-cookie-monitor-debugger-hook

JavaScript Cookie Reverse Engineering Tool: Visualisierungstool zur Überwachung von JS-Cookie-Änderungen & JS-Cookie-Hook mit bedingten Haltepunkten

JSREI
⭐ 779 TypeScript 👤 JSREI Organization 🕐 Aktualisiert 2026-01-28 📅 Erstellt 2022-07-22
141
lixi5338619/lxBook

Code-Repository für "Fortgeschrittene Praktiken im Web Scraping-Reverse-Engineering"

lixi5338619
⭐ 770 JavaScript 👤 lixi5338619 User 🕐 Aktualisiert 2026-01-26 📅 Erstellt 2021-11-16
142
xuxueli/xxl-crawler

Ein leichtgewichtiges Web-Crawler-Framework. (Java-Crawler-Framework)

xuxueli
⭐ 756 Java 👤 xuxueli User 🕐 Aktualisiert 2026-08-08 📅 Erstellt 2017-10-17
143
polyrabbit/hacker-news-digest

📰 Lass ein LLM Hacker News für dich zusammenfassen

polyrabbit
⭐ 754 Python 👤 polyrabbit User 🕐 Aktualisiert 2026-11-21 📅 Erstellt 2014-09-17
144
TumblThreeApp/TumblThree

Eine Tumblr- und Twitter-Blog-Backup-Anwendung

TumblThreeApp
⭐ 744 C# 👤 TumblThreeApp Organization 🕐 Aktualisiert 2026-11-14 📅 Erstellt 2018-12-29
145
PyPtt/PyPtt

Die beste PTT-Bibliothek

PyPtt
⭐ 733 Python 👤 PyPtt Organization 🕐 Aktualisiert 2026-11-13 📅 Erstellt 2017-05-28
146
josephlimtech/linkedin-profile-scraper-api

🕵️‍♂️ LinkedIn-Profil-Scraper, der strukturierte Profildaten im JSON-Format zurückgibt.

josephlimtech
⭐ 725 TypeScript 👤 josephlimtech User 🕐 Aktualisiert 2024-04-05 📅 Erstellt 2018-12-21
147
chushuai/wscan

Wscan ist ein Web-Sicherheits-Scanner, der sich auf Websicherheit konzentriert und sich der Aufgabe widmet, Websicherheit für alle zugänglich zu machen.

chushuai
⭐ 717 Go 👤 chushuai User 🕐 Aktualisiert 2026-09-21 📅 Erstellt 2022-05-06
148
tasos-py/Search-Engines-Scraper

Suche Google, Bing, Yahoo und andere Suchmaschinen mit Python

tasos-py
⭐ 672 Python 👤 tasos-py User 🕐 Aktualisiert 2025-04-02 📅 Erstellt 2018-01-08
149
C0D3D3V/Moodle-DL

Moodle-DL lädt Kursinhalte schnell von Moodle herunter (z. B. Vorlesungs-PDFs)

C0D3D3V
⭐ 668 Python 👤 C0D3D3V User 🕐 Aktualisiert 2026-10-22 📅 Erstellt 2019-12-19
150
cxcscmu/Craw4LLM

Offizielle Repository für "Craw4LLM: Effizientes Web-Crawling für LLM-Pretraining"

cxcscmu
⭐ 654 Python 👤 cxcscmu Organization 🕐 Aktualisiert 2025-02-24 📅 Erstellt 2025-02-17