#crawler Repositories
Entdecke 162 aktive Open-Source-GitHub-Repositories, die mit #crawler getaggt sind und insgesamt 1,111,814 Sterne gesammelt haben (durchschnittlich 6,863 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist firecrawl/firecrawl mit 205,758 Sternen.
Insgesamt 162 Repositories
Wissensinfrastruktur, die Ihre Agenten intelligenter macht. Durchsuchen, extrahieren und greifen Sie über eine einzige API auf mehr als 550 Datenanbieter zu.
🕷️ Das BESTE Web-Scraping-Framework – für alles von einer einzelnen Anfrage bis hin zu einem umfangreichen Crawl! Nur keine Scheu: Tritt hier bei: https://discord.gg/EMgGbDceNQ und folge uns hier für tägliche Tipps und Tricks: https://x.com/Scrapling_dev
Offizielles Crawl4AI Cloud: eine gehostete API für Web-Scraping, Extraktion und Suche für KI-Agenten. Kostenloser API-Schlüssel, 1.000 Credits pro Monat, keine Kreditkarte erforderlich. Vollständig Open Source: Dieses Repository enthält den Apache-2.0-Crawler, der den Dienst antreibt, und kann selbst gehostet werden.
Scrapy, ein schnelles Framework auf hohem Niveau für Web-Crawling und -Scraping in Python.
Ein visueller No-Code-Web-Crawler/Spider: Eine Software zur Browserautomatisierung, Datenerfassung und zum Web-Scraping, mit der Crawling-Aufgaben grafisch und ohne Programmierung entworfen und ausgeführt werden können. Alias: ServiceWrapper, ein intelligentes Service-Kapselungssystem für Webanwendungen.
Crawlee—Eine Web-Scraping- und Browser-Automatisierungs-Bibliothek für Node.js, um zuverlässige Crawler zu erstellen. In JavaScript und TypeScript. Extrahieren von Daten für KI, LLMs, RAG oder GPTs. Herunterladen von HTML, PDF, JPG, PNG und anderen Dateien von Websites. Funktioniert mit Puppeteer, Playwright, Cheerio, JSDOM und rohem HTTP. Sowohl im headful- als auch im headless-Modus. Mit Proxy-Rotation.
🚀 Self-hosted API zur Datenerfassung von Douyin, TikTok und Bilibili sowie zum Herunterladen wasserzeichenfreier Videos. Unterstützt Aufrufe durch KI-Agenten via MCP und Offline-Spracherkennung. Docker-Bereitstellung mit einem Klick. | Self-hosted Scraper für TikTok, Douyin und Bilibili sowie Downloader für Videos ohne Wasserzeichen — asynchrone REST-API, MCP-Server für KI-Agenten, CLI und Webkonsole sowie Offline-Spracherkennung für heruntergeladene Videos. Selbstheilender Identitätspool, PostgreSQL-Archiv und Start mit einem einzigen `docker compose up`.
Verwandeln Sie jede Website in eine strukturierte API. Extrahieren, automatisieren, durchsuchen und überwachen Sie das Web.
newspaper3k ist eine Nachrichten-, Volltext- und Artikelmetadatenextraktion in Python 3. Erweiterte Dokumentation:
Einige sehr interessante Python-Crawler-Beispiele, die für Anfänger freundlich sind und hauptsächlich Websites wie Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ usw. crawlen. (Some interesting examples of python crawlers that are friendly to beginners.)
Verteilte Web-Crawler-Admin-Plattform zur Verwaltung von Spiders unabhängig von Sprachen und Frameworks. 分布式爬虫管理平台,支持任何语言和框架
Python‑Skript. Simuliere das Einloggen bei Zhihu, Web‑Crawling, Excel‑Manipulation, WeChat‑Öffentlichkeitskonto, Fernstart.
AV-Filververwaltungssystem, avmoo, javbus, javlibrary Crawler, Online-AV-Filmbibliothek, AV-Magnetlink-Datenbank, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database
Crawlee – eine Python-Bibliothek für Web Scraping und Browserautomatisierung zum Erstellen zuverlässiger Crawler. Extrahiere mit Pydantic AI und LLMs strukturierte Daten oder steuere den Browser mit Stagehand in natürlicher Sprache. Funktioniert mit BeautifulSoup, Parsel, Playwright und rohem HTTP. Lade HTML-, PDF- und Bilddateien sowie andere Dateien herunter. Proxy-Rotation ist integriert.
Liste von Bibliotheken, Tools und APIs für Web Scraping und Datenverarbeitung.
Python API für JMComic | Bietet Python-API-Zugriff auf JinManTiantang, unterstützt sowohl Web- als auch Mobilversionen | JinManTiantang GitHub Actions Downloader🚀
Ein intelligenter, automatischer, schneller und leichtgewichtiger Web-Scraper für Python
Python- und Kommandozeilen-Tool zum Sammeln von Text und Metadaten im Web: Crawling, Scraping, Extraktion, Ausgabe als CSV, JSON, HTML, MD, TXT, XML
WeChat-Öffentlicher-Account-Crawler-Schnittstelle basierend auf Sogou WeChat-Suche
Praktische 🐍 verschiedene Websites, E-Commerce-Datencrawler 🕷. Enthält 🕸: Taobao-Produkte, WeChat-Öffentliche Accounts, Dianping, Qichacha, Stellenwebsites, Xianyu, Ali-Aufgaben, Cnblogs, Weibo, Baidu Tieba, Douban-Filme, Baotu.com, Quan jing wang, Douban-Musik, Amt für Arzneimittelaufsicht einer Provinz, Sohu-Nachrichten, Maschinelles Lernen Textsammlung, fofa-Asset-Sammlung, Autohome, Nationales Statistikbüro, Baidu-Schlüsselwort-Einschlussanzahl, Spinnen-Generaldirectory, Toutiao, Douban-Filmkritiken, Ctrip, Xiaomi App Store, Anjuke, Tujia Ferienwohnung ❤️❤️❤️. WeChat-Crawler-Demoprojekt:
Analyse von Bot-Schutzsystemen mit verfügbaren Gegenmaßnahmen 🚿. Wie man Anti-Bot-Systeme 👻 besiegt und Browser-Fingerprinting-Skripte 🕵️♂️ beim Web-Scraping umgeht?
Dieses Projekt dient dazu, alle Nachrichten, Unterlagen und Rechtsvorschriften zu sammeln, die sich auf Klagen und Verstöße von Web‑Crawler‑Entwicklern in Festlandchina beziehen. Es soll Fachleuten in der Web‑Crawler‑Industrie, die in Festlandchina arbeiten, helfen, die relevanten Gesetze zu verstehen und Schwellen der Datenkonformität zu vermeiden.
Sina-Weibo-Crawler, mit Python zum Crawlen von Sina-Weibo-Daten und Download von Weibo-Bildern und -Videos
Eine Community-gesteuerte Methode, um mit KI-Bots zu lesen und zu chatten – angetrieben von chatGPT.
Comics- und Romane-Downloader:腾讯漫画 大角虫漫画 有妖气 咪咕 SF漫画 哦漫画 看漫画 漫画柜 汗汗酷漫 動漫伊甸園 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 無限動漫 動漫狂 卡推漫画 动漫之家 动漫屋 古风漫画网 36漫画网 亲亲漫画网 乙女漫画 webtoons 咚漫 ニコニコ静画 ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub.
DotnetSpider, eine .NET-Standard-Web-Crawling-Bibliothek. Es handelt sich um ein leichtes, effizientes und schnelles High-Level-Web-Crawling- und Scraping-Framework.
Intelligenter Proxy-Pool für Menschen™ zum Extrahieren von Inhalten aus dem Internet und zum Erstellen Ihrer eigenen Large Language Models in diesem neuen KI-Zeitalter
Nimm eine Liste von Domains, durchsuche URLs und scanne nach Endpunkten, Geheimnissen, API-Schlüsseln, Dateierweiterungen, Tokens und mehr.
Plattformübergreifende Inhaltsüberwachung · Sammlung · Weiterveröffentlichung. Ein Web-Dashboard zur Verwaltung von Douyin / Xiaohongshu / Kuaishou / WeChat-Kanälen / TikTok / Bilibili / Instagram / Xiaohongshu international (rednote)
🚀🚀🚀feapder ist ein einfach zu bedienendes, leistungsstarkes Crawler-Framework | feapder ist ein einfach zu bedienendes, leistungsstarkes Python-Crawler-Framework. Es verfügt über vier integrierte Spider-Typen: AirSpider, Spider, TaskSpider und BatchSpider, um den Anforderungen verschiedener Szenarien gerecht zu werden. Es unterstützt Funktionen wie unterbrechungsfreies Fortsetzen, Überwachung und Alarmierung, Browser-Rendering und die Deduplizierung großer Datenmengen. Darüber hinaus bietet das leistungsstarke Crawler-Managementsystem feaplat eine bequeme Bereitstellung und Planung.
All-in-One-Tool für Informationssammlung, Schwachstellen-Scans und Crawling. Ein Muss für alle Penetrationstester
Videodl: Ein leichter Video-Downloader, geschrieben in reinem Python. (Ein leichter Video-Downloader, der HD ohne Wasserzeichen priorisiert und Plattformen wie Douyin, Kuaishou, Xiaohongshu, Bilibili, TikTok, YouTube, FIFA+, Youku, Tencent Video, iQIYI, 1905 Movie Network, LeTV, Mango TV, Migu, PPTV, Sohu, Facebook, Twitter, Sina Weibo, Today’s Headlines, NetEase Open Classes, 全民K歌, CCTV, Kugou MV, New Film, Zhihu, Baidu Tieba, TED und andere riesige Streaming-Plattformen unterstützt.)
Häufig gestellte Fragen
Welches ist das beliebteste #crawler-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#crawler-Projekt auf GitHub ist firecrawl/firecrawl mit 205,758 Sternen. Wissensinfrastruktur, die Ihre Agenten intelligenter macht. Durchsuchen, extrahieren und greifen Sie über eine einzige API auf mehr als 550 Datenanbieter zu.
Welche Programmiersprachen werden in #crawler-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #crawler-Projekten auf GitHub sind Python, Go, TypeScript, JavaScript die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #crawler-Repositories berechnet?
Wir verfolgen 162 aktive Open-Source-Repositories, die mit #crawler getaggt sind (500+ Sterne), mit insgesamt 1,111,814 Sternen und durchschnittlich 6,863 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.