#spider Repositories
Entdecke 92 aktive Open-Source-GitHub-Repositories, die mit #spider getaggt sind und insgesamt 325,814 Sterne gesammelt haben (durchschnittlich 3,541 Sterne pro Projekt). Spitzenreiter in diesem Themenbereich ist NaiboWang/EasySpider mit 44,801 Sternen.
Insgesamt 92 Repositories
Ein visueller No-Code-Web-Crawler/Spider: Eine Software zur Browserautomatisierung, Datenerfassung und zum Web-Scraping, mit der Crawling-Aufgaben grafisch und ohne Programmierung entworfen und ausgeführt werden können. Alias: ServiceWrapper, ein intelligentes Service-Kapselungssystem für Webanwendungen.
Einige sehr interessante Python-Crawler-Beispiele, die für Anfänger freundlich sind und hauptsächlich Websites wie Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ usw. crawlen. (Some interesting examples of python crawlers that are friendly to beginners.)
Verteilte Web-Crawler-Admin-Plattform zur Verwaltung von Spiders unabhängig von Sprachen und Frameworks. 分布式爬虫管理平台,支持任何语言和框架
Eine Live-Aufzeichnungssoftware mit zyklisch austauschbarem Dienst und Mehrspieleraufnahme, die Live-Aufzeichnungen von über 40 Plattformen wie Douyin, TikTok, Youtube, Kuaishou, Huya, Douyu, Bilibili, Xiaohongshu, pandatv, sooplive, flextv, popkontv, twitcasting, winktv, Baidu, Weibo, Kugou, 17Live, Twitch, Acfun, CHZZK, Shopee usw. unterstützt.
AV-Filververwaltungssystem, avmoo, javbus, javlibrary Crawler, Online-AV-Filmbibliothek, AV-Magnetlink-Datenbank, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database
INFO-SPIDER ist eine Crawler-Toolbox🧰, die zahlreiche Datenquellen integriert und darauf abzielt, Benutzern sicher und schnell zu helfen, ihre Daten zurückzubekommen. Der Quellcode des Tools ist Open Source und der Prozess ist transparent. Unterstützte Datenquellen sind GitHub, QQ Mail, Netease Mail, Ali Mail, Sina Mail, Hotmail, Outlook, JD, Taobao, Alipay, China Mobile, China Unicom, China Telecom, Zhihu, Bilibili, Netease Cloud Music, QQ Friends, QQ Groups, Generierung von WeChat Moments Alben, Browserverlauf, 12306, CSDN Blog, OSCHINA Blog, JianShu.
Liste von Bibliotheken, Tools und APIs für Web Scraping und Datenverarbeitung.
Pholcus ist eine verteilte High-Concurrency-Crawler-Software, geschrieben in reinem Golang
Ein-Klick-Synchronisation von Artikeln auf mehreren Content-Plattformen, unterstützt Toutiao, WordPress, Zhihu, JianShu, Juejin, CSDN, Typecho und andere große Plattformen. Einmal veröffentlichen, auf mehreren Plattformen gleichzeitig. Befreit die persönliche Produktivität.
novel-plus ist ein funktionsreiches, plattformübergreifendes Roman-CMS für PC, WAP, Apps und Mini-Programme. Es bietet unter anderem Romanempfehlungen, Suchfunktionen und Ranglisten, Lesefunktionen, Bücherregale, Rezensionen und Leselisten, das automatische Auslesen von Romanen aus dem Web, einen Mitgliederbereich, einen Autorenbereich, Aufladungen und Abonnements sowie die Veröffentlichung von Nachrichten.
Häufig verwendete API-Aufrufe für Bilibili. Unterstützt Funktionen wie Videos, Animes, Benutzer, Kanäle, Audio usw. Ursprüngliche Repository-Adresse: https://github.com/MoyuScript/bilibili-api
🚀🚀🚀feapder ist ein einfach zu bedienendes, leistungsstarkes Crawler-Framework | feapder ist ein einfach zu bedienendes, leistungsstarkes Python-Crawler-Framework. Es verfügt über vier integrierte Spider-Typen: AirSpider, Spider, TaskSpider und BatchSpider, um den Anforderungen verschiedener Szenarien gerecht zu werden. Es unterstützt Funktionen wie unterbrechungsfreies Fortsetzen, Überwachung und Alarmierung, Browser-Rendering und die Deduplizierung großer Datenmengen. Darüber hinaus bietet das leistungsstarke Crawler-Managementsystem feaplat eine bequeme Bereitstellung und Planung.
Verteiltes Crawler-Management-Framework basierend auf Scrapy, Scrapyd, Django und Vue.js
Web-App für Scrapyd-Cluster-Management, Scrapy-Log-Analyse & -Visualisierung, Auto-Packaging, Timer-Aufgaben, Monitoring & Alerting und Mobile UI. Docs Dokumentation :point_right:
Kurzvideo-Wasserzeichenentferner: Douyin, Pipixia, Huoshan, Weishi, Weibo, Oasis, Zuiyou, Qingshipin, Kuaishou, Quanmin Xiaoshipin, Barcelona Film, Momo, Before Bifeng, Kaiyan, Vue Vlog Xiaokuxiu, Pipixia Funny, Quanmin K Ge, Xigua Video, Doupai, Huya, 6 Rooms, Li Video, Xinpianchang, acfun, Meipai...
DecryptLogin: APIs zum Einloggen auf einige Websites unter Verwendung von requests.
Geziyor, ultraschnelles Web-Crawling- & Scraping-Framework für Go. Unterstützt JS-Rendering.
Go-Sprachbeispiel-Tutorial von Einsteiger bis Fortgeschritten, einschließlich Grundbibliotheksnutzung, Designmuster, gängige Interviewfehler, Hilfsklassen, Integration Dritter usw.
:spider: Das progressive PHP-Crawler-Framework! Elegantes progressives PHP-Sammel-Framework.
🕷 CrawlerDetect ist eine PHP-Klasse zur Erkennung von Bots/Crawlern/Spiders über den User-Agent
Bilder von Google, Bing, Baidu herunterladen. Herunterladen von Bildern aus Google, Baidu, Bing.
Ein plattformübergreifendes C#-Web-Crawler-Framework, das auf Geschwindigkeit und Flexibilität ausgelegt ist. Bitte geben Sie diesem Projekt einen Stern! +1.
Blue Sky Collector ist ein quelloffenes und kostenloses Crawler-System, das nur die Auswahl und Bearbeitung von Regeln zur Datenerfassung benötigt. Es kann lokal, auf einem virtuellen Host oder auf einem Cloud-Server ausgeführt werden und kann fast alle Arten von Webseiten erfassen. Es lässt sich nahtlos an verschiedene CMS-Website-Erstellungsprogramme anbinden, veröffentlicht Daten in Echtzeit und ohne Anmeldung, vollautomatisch und ohne menschliches Eingreifen! Es ist ein vollständig plattformübergreifendes Cloud-Crawler-System für die Web-Big-Data-Erfassungssoftware.
QQ-Space-Exportassistent zum Sichern von Beiträgen, Tagebüchern, privaten Tagebüchern, Alben, Videos, Pinnwandeinträgen, QQ-Freunden, Favoriten, geteilten Inhalten und letzten Besuchern aus QQ Space als Dateien, um die Migration und Aufbewahrung zu erleichtern.
Ein Python-basierter Web-Anwendungsscanner, um OSINT zu sammeln und für OWASP-Schwachstellen auf einer Zielwebsite zu fuzzeln.
BOSS Zhipin Scraper / BOSS Zhipin Job-Daten-Crawler, basierend auf dem Chrome CDP-Protokoll zur Wiederverwendung echter Anmeldesitzungen, Umgehung von Schriftarten-Anti-Scraping und Ausgabe von Klartext-Gehalts-JSON/CSV + Gehalts- und Kompetenzanalyse.
Douyin-Crawler – Erfassung öffentlicher Daten wie Profilseite des Kontos, Likes, Sammlungen, Musik-Originaltöne, Hashtags, Suche, Sammlungen, Werke, Follower, Fans usw.
Der Web-Crawler des Archivars: WARC-Ausgabe, Dashboard für alle Crawls, dynamische Ignoriermuster
Python-Crawler, Aktueller Bestand: NetEase Cloud Music Song-Crawling, Bilibili Video-Crawling, Zhihu Q&A-Crawling, Wallpaper-Crawling, xvideos Video-Crawling, Hörbuch-Crawling, Weibo-Crawler, Anjuke-Informationen-Crawling + Datenvisualisierung, Bilibili Video-Cover-Extraktor, IP-Proxy-Pool-Verpackung, Zhihu Millionen-Nutzer-Crawler + Datenanalyse, GitHub-Nutzer-Crawler
Eine Zusammenfassung interessanter Artikel über Reverse Engineering, die einen Blick wert ist
📰 Brasilianische Amtsblätter für alle zugänglich | 📰 Brasilianische Regierungsgazetten, zugänglich für alle.
K-Bruder Web-Scraping-Code-Sharing, JS-Reverse-Engineering, Advanced Web-Scraping. Folgen Sie dem öffentlichen WeChat-Konto von K-Bruder Web-Scraping.
Das Prime Cross Site Request Forgery (CSRF) Audit- und Exploitation-Toolkit.
Häufig gestellte Fragen
Welches ist das beliebteste #spider-Repository auf GitHub?
Das am höchsten eingestufte Open-Source-#spider-Projekt auf GitHub ist NaiboWang/EasySpider mit 44,801 Sternen. Ein visueller No-Code-Web-Crawler/Spider: Eine Software zur Browserautomatisierung, Datenerfassung und zum Web-Scraping, mit der Crawling-Aufgaben grafisch und ohne Programmierung entworfen und ausgeführt werden können. Alias: ServiceWrapper, ein intelligentes Service-Kapselungssystem für Webanwendungen.
Welche Programmiersprachen werden in #spider-Repositories am häufigsten verwendet?
Unter den am höchsten eingestuften #spider-Projekten auf GitHub sind Python, Go, PHP, TypeScript die am häufigsten verwendeten Programmiersprachen.
Wie wird das Ranking der #spider-Repositories berechnet?
Wir verfolgen 92 aktive Open-Source-Repositories, die mit #spider getaggt sind (500+ Sterne), mit insgesamt 325,814 Sternen und durchschnittlich 3,541 Sternen pro Repository. Die Rankings werden täglich über die GitHub-API aktualisiert.