#crawler Dépôts
Découvrez 162 dépôts GitHub open source actifs associés à #crawler, cumulant 1,111,814 étoiles au total (soit une moyenne de 6,863 étoiles par projet). Le projet en tête de ce thème est firecrawl/firecrawl, avec 205,758 étoiles.
162 dépôts au total
Une infrastructure de connaissances pour rendre vos agents plus intelligents. Recherchez, récupérez et accédez aux données de plus de 550 fournisseurs via une seule API.
🕷️ Le MEILLEUR framework de scraping web, capable de tout gérer, d’une simple requête à une exploration à grande échelle ! N’hésitez pas, rejoignez-nous ici : https://discord.gg/EMgGbDceNQ et suivez-nous ici pour découvrir chaque jour des conseils et astuces : https://x.com/Scrapling_dev
Crawl4AI Cloud officiel : une API hébergée de scraping web, d’extraction et de recherche pour les agents d’IA. Clé API gratuite, 1 000 crédits par mois, sans carte bancaire. Entièrement open source : ce dépôt contient le robot d’exploration sous licence Apache-2.0 qui l’alimente, et vous pouvez l’héberger vous-même.
Scrapy, un framework rapide de haut niveau pour le crawling et le scraping web en Python.
Un crawler/spider web visuel sans code : un logiciel d'automatisation de navigateur, de collecte de données et de web scraping visuel qui permet de concevoir et d'exécuter des tâches de crawling sans écrire de code. Alias : ServiceWrapper, un système intelligent d'encapsulation de services pour applications Web.
Crawlee—Une bibliothèque de web scraping et d'automatisation de navigateur pour Node.js afin de créer des crawlers fiables. En JavaScript et TypeScript. Extraction de données pour l'IA, LLMs, RAG ou GPTs. Téléchargement de HTML, PDF, JPG, PNG et autres fichiers depuis les sites web. Fonctionne avec Puppeteer, Playwright, Cheerio, JSDOM et HTTP brut. Modes headful et headless. Avec rotation de proxies.
🚀 API auto-hébergée de collecte de données et de téléchargement de vidéos sans filigrane pour Douyin, TikTok et Bilibili. Prise en charge des appels par des agents IA via MCP et de la transcription vocale hors ligne. Déploiement Docker en un clic. | Extracteur auto-hébergé pour TikTok, Douyin et Bilibili et téléchargeur de vidéos sans filigrane — API REST asynchrone, serveur MCP pour les agents IA, CLI et console Web, ainsi que transcription vocale hors ligne des vidéos téléchargées. Pool d’identités autoréparateur, archivage PostgreSQL et lancement en une commande avec `docker compose up`.
Transformez n’importe quel site web en une API structurée. Extrayez, automatisez, recherchez et surveillez le web.
newspaper3k est une extraction de nouvelles, de texte intégral et de métadonnées d'articles en Python 3. Documentation avancée :
Quelques exemples très intéressants de crawlers Python, conviviaux pour les débutants, principalement pour crawler des sites comme Taobao, Tmall, WeChat, WeChat Reading, Douban, QQ, etc. (Some interesting examples of python crawlers that are friendly to beginners.)
Plateforme d'administration distribuée pour les crawlers web afin de gérer les spiders indépendamment des langages et frameworks. 分布式爬虫管理平台,支持任何语言和框架
Script Python. Simuler la connexion à Zhihu, crawler, manipuler Excel, compte public WeChat, démarrage à distance.
Système de gestion de films AV, avmoo, javbus, javlibrary Crawler, Bibliothèque de films AV en ligne, Base de données de liens magnétiques AV, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database
Crawlee — une bibliothèque Python de scraping web et d’automatisation de navigateur pour créer des robots d’exploration fiables. Extrayez des données structurées avec des LLM via Pydantic AI, ou pilotez le navigateur en langage naturel avec Stagehand. Compatible avec BeautifulSoup, Parsel, Playwright et HTTP brut. Téléchargez des fichiers HTML, PDF, des images et d’autres fichiers. La rotation des proxies est incluse.
Agent d'acquisition de clients sur les réseaux sociaux conçu sur mesure pour les OPC et les PME
Liste des bibliothèques, outils et API pour le web scraping et le traitement des données.
API Python pour JMComic | Fournit un accès via API Python à JinManTiantang, prend en charge les versions Web et mobiles | Téléchargeur GitHub Actions de JinManTiantang🚀
Un récupérateur Web intelligent, automatique, rapide et léger pour Python
Outil Python et en ligne de commande pour collecter du texte et des métadonnées sur le Web : Crawling, scraping, extraction, sortie au format CSV, JSON, HTML, MD, TXT, XML
Une collection de superbes web crawlers et spiders en différentes langues
Interface de crawler des comptes publics WeChat basée sur la recherche WeChat de Sogou
Pratique 🐍 de multiples sites web, crawlers de données e-commerce 🕷. Inclut 🕸 : Produits Taobao, comptes publics WeChat, Dianping, Qichacha, sites d'emploi, Xianyu, tâches Ali, Cnblogs, Weibo, Baidu Tieba, films Douban, Baotu.com, Quan jing wang, musique Douban, bureau de supervision des médicaments d'une province, actualités Sohu, collecte de texte d'apprentissage automatique, collecte d'actifs fofa, Autohome, Bureau national des statistiques, nombre d'inclusions de mots-clés Baidu, répertoire général des araignées, Toutiao, critiques de films Douban, Ctrip, magasin d'applications Xiaomi, Anjuke, hébergement Tujia ❤️❤️❤️. Projet de démonstration de crawler WeChat :
Analyse des systèmes de protection contre les bots avec les contre-mesures disponibles 🚿. Comment vaincre les systèmes anti-bots 👻 et contourner les scripts d'empreintes digitales de navigateur 🕵️♂️ lors du scraping web ?
Ce projet vise à compiler toute l'actualité, les documents et les réglementations juridiques relatives aux affaires judiciaires et aux violations impliquant les développeurs de crawlers en Chine continentale. Il s'efforce d'aider les professionnels du secteur des crawlers travaillant en Chine continentale à comprendre les lois pertinentes et à éviter d'atteindre les limites de conformité des données.
Gratteur Sina Weibo, utilisant Python pour extraire les données Sina Weibo et télécharger les images et vidéos Weibo
Une façon communautaire de lire et de discuter avec des robots IA, alimentée par chatGPT.
Outil de téléchargement de bandes dessinées et romans:腾讯漫画 大角虫漫画 有妖气 咪咕 SF漫画 哦漫画 看漫画 漫画柜 汗汗酷漫 動漫伊甸園 快看漫画 微博动漫 733动漫网 大古漫画网 漫画DB 無限動漫 動漫狂 卡推漫画 动漫之家 动漫屋 古风漫画网 36漫画网 亲亲漫画网 乙女漫画 webtoons 咚漫 ニコニコ静画 ComicWalker ヤングエースUP モアイ pixivコミック サイコミ;アルファポリス カクヨム ハーメルン 小説家になろう 起点中文网 八一中文网 顶点小说 落霞小说网 努努书坊 笔趣阁→epub.
DotnetSpider, une bibliothèque de crawling web standard .NET. C'est un framework de crawling et scraping web de haut niveau, léger, efficace et rapide.
Proxy [Finder | Vérificateur | Serveur]. HTTP(S) & SOCKS :performing_arts:
Pool de proxies intelligent pour les Humains™ pour extraire du contenu d'internet et construire vos propres Modèles de Langage Large dans cette nouvelle ère de l'IA
Prenez une liste de domaines, explorez les URL et recherchez des points d'accès, des secrets, des clés d'API, des extensions de fichiers, des jetons et plus encore.
Surveillance · collecte · republication de contenu multiplateforme. Un seul tableau de bord web pour gérer Douyin / Xiaohongshu / Kuaishou / les chaînes WeChat / TikTok / Bilibili / Instagram / Xiaohongshu à l’international (rednote)
🚀🚀🚀feapder est un framework de crawler facile à utiliser et puissant | feapder est un framework de crawler Python simple à utiliser et puissant. Il intègre quatre types de crawlers : AirSpider, Spider, TaskSpider et BatchSpider pour répondre aux besoins de différents scénarios. Il prend en charge des fonctionnalités telles que la reprise sur point d'arrêt, la surveillance et les alertes, le rendu du navigateur et la déduplication de grandes quantités de données. De plus, le puissant système de gestion des crawlers feaplat offre un déploiement et une planification pratiques.
Outil tout-en-un pour la collecte d'informations, le scan de vulnérabilités et le crawling. Un outil indispensable pour tous les testeurs de pénétration
Videodl : Un téléchargeur vidéo léger écrit en Python pur. (Un téléchargeur vidéo léger qui privilégie la haute définition sans filigrane et prend en charge des plateformes telles que Douyin, Kuaishou, Xiaohongshu, Bilibili, TikTok, YouTube, FIFA+, Youku, Tencent Video, iQIYI, 1905 Movie Network, LeTV, Mango TV, Migu, PPTV, Sohu, Facebook, Twitter, Sina Weibo, Today’s Headlines, NetEase Open Classes, 全民K歌, CCTV, Kugou MV, New Film, Zhihu, Baidu Tieba, TED et d’autres vastes plateformes de streaming.)
Foire aux questions
Quel est le dépôt #crawler le plus populaire sur GitHub ?
Le projet #crawler open source le mieux classé sur GitHub est firecrawl/firecrawl, avec 205,758 étoiles. Une infrastructure de connaissances pour rendre vos agents plus intelligents. Recherchez, récupérez et accédez aux données de plus de 550 fournisseurs via une seule API.
Quels langages de programmation sont les plus utilisés dans les dépôts #crawler ?
Parmi les projets #crawler les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, Go, TypeScript, JavaScript.
Comment le classement des dépôts #crawler est-il calculé ?
Nous suivons 162 dépôts open source actifs associés à #crawler (500+ étoiles), totalisant 1,111,814 étoiles, avec une moyenne de 6,863 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.