#spider Dépôts
Découvrez 92 dépôts GitHub open source actifs associés à #spider, cumulant 325,814 étoiles au total (soit une moyenne de 3,541 étoiles par projet). Le projet en tête de ce thème est NaiboWang/EasySpider, avec 44,801 étoiles.
92 dépôts au total
Un crawler/spider web visuel sans code : un logiciel d'automatisation de navigateur, de collecte de données et de web scraping visuel qui permet de concevoir et d'exécuter des tâches de crawling sans écrire de code. Alias : ServiceWrapper, un système intelligent d'encapsulation de services pour applications Web.
Quelques exemples très intéressants de crawlers Python, conviviaux pour les débutants, principalement pour crawler des sites comme Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ, etc. (Some interesting examples of python crawlers that are friendly to beginners.)
Plateforme d'administration distribuée pour les crawlers web afin de gérer les spiders indépendamment des langages et frameworks. 分布式爬虫管理平台,支持任何语言和框架
Un logiciel d'enregistrement en direct avec service cyclique et enregistrement multijoueur, prenant en charge l'enregistrement de flux en direct de plus de 40 plateformes telles que Douyin, TikTok, Youtube, Kuaishou, Huya, Douyu, Bilibili, Xiaohongshu, pandatv, sooplive, flextv, popkontv, twitcasting, winktv, Baidu, Weibo, Kugou, 17Live, Twitch, Acfun, CHZZK, Shopee, etc.
Système de gestion de films AV, avmoo, javbus, javlibrary Crawler, Bibliothèque de films AV en ligne, Base de données de liens magnétiques AV, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database
INFO-SPIDER est une boîte à outils crawler🧰 qui intègre de nombreuses sources de données, conçue pour aider les utilisateurs à récupérer leurs données de manière sûre et rapide. Le code de l'outil est open source et le processus est transparent. Les sources de données prises en charge comprennent GitHub, QQ Mail, Netease Mail, Ali Mail, Sina Mail, Hotmail, Outlook, JD, Taobao, Alipay, China Mobile, China Unicom, China Telecom, Zhihu, Bilibili, Netease Cloud Music, QQ Friends, QQ Groups, Génération d'albums WeChat Moments, Historique de navigation du navigateur, 12306, CSDN Blog, OSCHINA Blog, JianShu.
Liste des bibliothèques, outils et API pour le web scraping et le traitement des données.
Pholcus est un logiciel de crawler distribué à haute concurrence écrit en pur golang
Une collection de superbes web crawlers et spiders en différentes langues
Synchronisation d'articles en un clic sur plusieurs plateformes de contenu, prend en charge Toutiao, WordPress, Zhihu, JianShu, Juejin, CSDN, Typecho et autres grandes plateformes, une publication, publication synchrone sur plusieurs plateformes. Libère la productivité personnelle.
novel-plus est un CMS de romans complet et multiplateforme (PC, WAP, application et mini-programme). Il propose notamment des recommandations, une recherche et des classements de romans, la lecture, des bibliothèques, des critiques et des listes de lecture, la collecte automatique de romans sur le Web, un espace membres, un espace auteurs, des recharges et des abonnements, ainsi que la publication d’actualités.
Appels API courants de Bilibili. Prend en charge les fonctionnalités telles que les vidéos, les animes, les utilisateurs, les chaînes, l'audio, etc. Adresse du dépôt d'origine : https://github.com/MoyuScript/bilibili-api
🚀🚀🚀feapder est un framework de crawler facile à utiliser et puissant | feapder est un framework de crawler Python simple à utiliser et puissant. Il intègre quatre types de crawlers : AirSpider, Spider, TaskSpider et BatchSpider pour répondre aux besoins de différents scénarios. Il prend en charge des fonctionnalités telles que la reprise sur point d'arrêt, la surveillance et les alertes, le rendu du navigateur et la déduplication de grandes quantités de données. De plus, le puissant système de gestion des crawlers feaplat offre un déploiement et une planification pratiques.
Framework de Gestion de Crawlers Distribué Basé sur Scrapy, Scrapyd, Django et Vue.js
Application web pour la gestion de cluster Scrapyd, analyse et visualisation des logs Scrapy, emballage automatique, tâches planifiées, surveillance et alertes, et UI mobile. Docs documentation :point_right:
Suppression de filigrane de vidéos courtes : Douyin, Pipixia, Huoshan, Weishi, Weibo, Oasis, Zuiyou, Qingshipin, Kuaishou, Quanmin Xiaoshipin, Film de Barcelone, Momo, Avant Bifeng, Kaiyan, Vue Vlog Xiaokuxiu, Pipixia Drôle, Quanmin K Ge, Vidéo Xigua, Doupai, Huya, 6 Chambres, Vidéo Li, Xinpianchang, acfun, Meipai...
DecryptLogin : API pour se connecter à certains sites web en utilisant requests.
Geziyor, framework de web crawling et scraping ultra-rapide pour Go. Prend en charge le rendu JS.
Tutoriel d'exemples en Go du débutant à l'avancé, incluant l'utilisation des bibliothèques de base, les patrons de conception, les pièges courants en entretien, les classes utilitaires, l'intégration de services tiers, etc.
:spider: Le framework de crawler PHP progressif ! Framework de collecte PHP progressif élégant.
🕷 CrawlerDetect est une classe PHP pour détecter les robots/robots d'indexation/spiders via l'agent utilisateur
Télécharger des images de Google, Bing, Baidu. Téléchargement d'images depuis Google, Baidu, Bing.
Framework de crawler web C# multiplateforme conçu pour la vitesse et la flexibilité. Veuillez mettre une étoile à ce projet ! +1.
Blue Sky Collector est un système de scraping open source et gratuit qui ne nécessite que la sélection et la modification des règles pour collecter des données. Il peut fonctionner localement, sur un hébergement virtuel ou sur un serveur cloud, et peut collecter presque tous les types de pages Web. Il s'intègre parfaitement à divers programmes de création de sites Web CMS, publie des données en temps réel sans connexion et sans intervention humaine ! C'est un système de scraping cloud entièrement multiplateforme dans le logiciel de collecte de données massives sur le Web.
Assistant d’exportation de QQ Space, utilisé pour sauvegarder sous forme de fichiers les publications, journaux, journaux privés, albums, vidéos, tableaux de messages, amis QQ, favoris, partages et visiteurs récents de QQ Space, afin de faciliter leur migration et leur conservation.
Un scanner d'applications web basé sur Python pour collecter des OSINT et effectuer du fuzzing pour les vulnérabilités OWASP sur un site web cible.
Scraper BOSS Zhipin / Outil de scraping de données d'emploi BOSS Zhipin, basé sur le protocole Chrome CDP pour réutiliser les sessions de connexion réelles, contourner l'anti-scraping des polices et générer des JSON/CSV de salaires en texte clair + analyse des compétences salariales.
Crawler Douyin - Collecte de données publiques telles que la page de profil du compte, les likes, les collections, les sons musicaux originaux, les sujets, la recherche, les collections, les œuvres, les suivis, les abonnés, etc.
Le robot d'exploration Web de l'archiviste : sortie WARC, tableau de bord pour tous les crawls, modèles d'ignorance dynamiques
Rampants Python, inventaire actuel : Extraction de chansons NetEase Cloud Music, Extraction de vidéos Bilibili, Extraction de Q&R Zhihu, Extraction de fonds d'écran, Extraction de vidéos xvideos, Extraction de livres audio, Rampant Weibo, Extraction d'informations Anjuke + visualisation de données, Extracteur de couvertures de vidéos Bilibili, Encapsulation de pool de proxies IP, Rampant d'utilisateurs Zhihu de niveau million + analyse de données, Rampant d'utilisateurs GitHub
📰 Journaux officiels brésiliens accessibles à tous | 📰 Gazettes gouvernementales brésiliennes, accessibles à tous.
Partage de code de web scraping de frère K, rétro-ingénierie JS, web scraping avancé. Suivez le compte public WeChat : frère K Web-Scraping
Un outil de téléchargement pour extraire les livres électroniques d'Internet.
Foire aux questions
Quel est le dépôt #spider le plus populaire sur GitHub ?
Le projet #spider open source le mieux classé sur GitHub est NaiboWang/EasySpider, avec 44,801 étoiles. Un crawler/spider web visuel sans code : un logiciel d'automatisation de navigateur, de collecte de données et de web scraping visuel qui permet de concevoir et d'exécuter des tâches de crawling sans écrire de code. Alias : ServiceWrapper, un système intelligent d'encapsulation de services pour applications Web.
Quels langages de programmation sont les plus utilisés dans les dépôts #spider ?
Parmi les projets #spider les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Go, PHP, TypeScript.
Comment le classement des dépôts #spider est-il calculé ?
Nous suivons 92 dépôts open source actifs associés à #spider (500+ étoiles), totalisant 325,814 étoiles, avec une moyenne de 3,541 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.