#scrapy Repositories
Entdecke 38 aktive Open-Source-GitHub-Repositories, die mit #scrapy getaggt sind und insgesamt 84,191 Sterne gesammelt haben (durchschnittlich 2,215 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist crawlab-team/crawlab mit 12,301 Sternen.
Insgesamt 38 Repositories
Verteilte Web-Crawler-Admin-Plattform zur Verwaltung von Spiders unabhängig von Sprachen und Frameworks. 分布式爬虫管理平台,支持任何语言和框架
WeChat-Öffentlicher-Account-Crawler-Schnittstelle basierend auf Sogou WeChat-Suche
Praktische 🐍 verschiedene Websites, E-Commerce-Datencrawler 🕷. Enthält 🕸: Taobao-Produkte, WeChat-Öffentliche Accounts, Dianping, Qichacha, Stellenwebsites, Xianyu, Ali-Aufgaben, Cnblogs, Weibo, Baidu Tieba, Douban-Filme, Baotu.com, Quan jing wang, Douban-Musik, Amt für Arzneimittelaufsicht einer Provinz, Sohu-Nachrichten, Maschinelles Lernen Textsammlung, fofa-Asset-Sammlung, Autohome, Nationales Statistikbüro, Baidu-Schlüsselwort-Einschlussanzahl, Spinnen-Generaldirectory, Toutiao, Douban-Filmkritiken, Ctrip, Xiaomi App Store, Anjuke, Tujia Ferienwohnung ❤️❤️❤️. WeChat-Crawler-Demoprojekt:
🚀🚀🚀feapder ist ein einfach zu bedienendes, leistungsstarkes Crawler-Framework | feapder ist ein einfach zu bedienendes, leistungsstarkes Python-Crawler-Framework. Es verfügt über vier integrierte Spider-Typen: AirSpider, Spider, TaskSpider und BatchSpider, um den Anforderungen verschiedener Szenarien gerecht zu werden. Es unterstützt Funktionen wie unterbrechungsfreies Fortsetzen, Überwachung und Alarmierung, Browser-Rendering und die Deduplizierung großer Datenmengen. Darüber hinaus bietet das leistungsstarke Crawler-Managementsystem feaplat eine bequeme Bereitstellung und Planung.
Verteiltes Crawler-Management-Framework basierend auf Scrapy, Scrapyd, Django und Vue.js
Web-App für Scrapyd-Cluster-Management, Scrapy-Log-Analyse & -Visualisierung, Auto-Packaging, Timer-Aufgaben, Monitoring & Alerting und Mobile UI. Docs Dokumentation :point_right:
Früheres Lernprojekt: Filmempfehlungen mit Spark, Web Scraping, Webanwendung und Backend. Die neue Version wird unter cinematch-recommender weiterentwickelt.
Abrufen von Weibo-Suchergebnisinformationen, wobei die Suche entweder eine Weibo-Schlüsselwortsuche oder eine Weibo-Themensuche sein kann
Bilder von Google, Bing, Baidu herunterladen. Herunterladen von Bildern aus Google, Baidu, Bing.
Python-Dokumente ins Chinesische übersetzen zur bequemen Referenz Einfach ausgedrückt, hier werden die Python-Dokumente aufbewahrt, und wir bemühen uns, sie ins Chinesische zu übersetzen ~~
Das Open-Source-Repository für Web Scraping zielt darauf ab, Wissen und Erfahrungen über Web Scraping mit Python zu teilen.
Schreiben Sie Web‑Scraper in Ruby mit einer sauberen, KI‑gestützten DSL. Kimurai nutzt KI, um herauszufinden, wo die Daten liegen, speichert dann die Selektoren im Cache und scrapt ausschließlich mit reinem Ruby. Profitieren Sie von der Intelligenz eines LLM ohne die Latenz pro Anfrage oder Token‑Kosten.
Hochleistungs-asynchroner Captcha-Löser (Verifizierungscode-Löser) für Douyin (抖音), TikTok, Xiaohongshu (小红书), Kuaishou (快手), Weibo (微博), Instagram, YouTube (油管), Twitter (X) mit Temp Mail (temporäre E-Mail)-API (Schnittstelle).
Xianyu-Scraper, entwickelt auf Basis des Xianyu-Webclients. Er bietet eine mit FastAPI erstellte Produktsuch-API, die asynchrone parallele Anfragen sowie die automatisierte Deduplizierung und Speicherung von Daten unterstützt. Die Anmeldung wird jetzt unterstützt.
Eine Sammlung von Spiders und Scrapers zum Extrahieren von Standortinformationen aus Orten, die ihren Standort im Internet posten.
Ein leistungsstarkes Python-Skript, das es Ihnen ermöglicht, Nachrichten und Medien aus Telegram-Kanälen mit der Telethon-Bibliothek zu scrapen. Zu den Funktionen gehören kontinuierliches Scrapen in Echtzeit, Herunterladen von Medien und Datenexportfunktionen.
Open-Source-Unternehmensprojekt für Meinungsnachrichten-Crawler: unterstützt den Ein-Klick-Betrieb einer beliebigen Anzahl von Crawlern, geplante Crawler-Aufgaben, Batch-Löschung von Crawlern; Ein-Klick-Bereitstellung von Crawlern; Crawler-Überwachungsvisualisierung; Konfiguration der Cluster-Crawler-Zuteilungsstrategie; 👉 Die fertige Docker-Ein-Klick-Bereitstellungsdokumentation hat die Fallstricke bereits für Sie beseitigt.
News von Toutiao, NetEase, Tencent usw. scrapen und eine einfache Suchmaschine erstellen
spider-admin-pro Ein visuelles Verwaltungstool für das Anzeigen von Scrapy- und Scrapyd-Crawler-Projekten sowie für die zeitgesteuerte Planung von Crawler-Aufgaben, die aufgerüstete Version von SpiderAdmin
Häufig gestellte Fragen
Welches ist das beliebteste #scrapy-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#scrapy-Projekt auf GitHub ist crawlab-team/crawlab mit 12,301 Sternen. Verteilte Web-Crawler-Admin-Plattform zur Verwaltung von Spiders unabhängig von Sprachen und Frameworks. 分布式爬虫管理平台,支持任何语言和框架
Welche Programmiersprachen werden in #scrapy-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #scrapy-Projekten auf GitHub sind Python, Go, Java, Shell die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #scrapy-Repositories berechnet?
Wir verfolgen 38 aktive Open-Source-Repositories, die mit #scrapy getaggt sind (500+ Sterne), mit insgesamt 84,191 Sternen und durchschnittlich 2,215 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.