#crawling Dépôts
Découvrez 39 dépôts GitHub open source actifs associés à #crawling, cumulant 335,438 étoiles au total (soit une moyenne de 8,600 étoiles par projet). Le projet en tête de ce thème est D4Vinci/Scrapling, avec 104,760 étoiles.
39 dépôts au total
🕷️ Le MEILLEUR framework de scraping web, capable de tout gérer, d’une simple requête à une exploration à grande échelle ! N’hésitez pas, rejoignez-nous ici : https://discord.gg/EMgGbDceNQ et suivez-nous ici pour découvrir chaque jour des conseils et astuces : https://x.com/Scrapling_dev
Scrapy, un framework rapide de haut niveau pour le crawling et le scraping web en Python.
Crawlee—Une bibliothèque de web scraping et d'automatisation de navigateur pour Node.js afin de créer des crawlers fiables. En JavaScript et TypeScript. Extraction de données pour l'IA, LLMs, RAG ou GPTs. Téléchargement de HTML, PDF, JPG, PNG et autres fichiers depuis les sites web. Fonctionne avec Puppeteer, Playwright, Cheerio, JSDOM et HTTP brut. Modes headful et headless. Avec rotation de proxies.
Transformez n’importe quel site web en une API structurée. Extrayez, automatisez, recherchez et surveillez le web.
newspaper3k est une extraction de nouvelles, de texte intégral et de métadonnées d'articles en Python 3. Documentation avancée :
Crawlee — une bibliothèque Python de scraping web et d’automatisation de navigateur pour créer des robots d’exploration fiables. Extrayez des données structurées avec des LLM via Pydantic AI, ou pilotez le navigateur en langage naturel avec Stagehand. Compatible avec BeautifulSoup, Parsel, Playwright et HTTP brut. Téléchargez des fichiers HTML, PDF, des images et d’autres fichiers. La rotation des proxies est incluse.
Liste des bibliothèques, outils et API pour le web scraping et le traitement des données.
Simple et rapide web crawler conçu pour une découverte facile et rapide des points de terminaison et des actifs au sein d'une application web
Prenez une liste de domaines, explorez les URL et recherchez des points d'accès, des secrets, des clés d'API, des extensions de fichiers, des jetons et plus encore.
Une liste sélectionnée de ressources Puppeteer formidables.
📅🇨🇳 Données sur les jours fériés légaux en Chine Récupérées automatiquement quotidiennement à partir des annonces du Conseil d'État
Blue Sky Collector est un système de scraping open source et gratuit qui ne nécessite que la sélection et la modification des règles pour collecter des données. Il peut fonctionner localement, sur un hébergement virtuel ou sur un serveur cloud, et peut collecter presque tous les types de pages Web. Il s'intègre parfaitement à divers programmes de création de sites Web CMS, publie des données en temps réel sans connexion et sans intervention humaine ! C'est un système de scraping cloud entièrement multiplateforme dans le logiciel de collecte de données massives sur le Web.
Collection de correctifs pour puppeteer et playwright afin d'éviter la détection d'automatisation et les fuites. Aide à éviter les pages CAPTCHA de Cloudflare et DataDome. Facile à patcher/dépatcher, peut être activé/désactivé à la demande.
🤖 Scrapez des données de sites Web HTML automatiquement en fournissant simplement des exemples
Exécutez un programme d'exploration d'archivage Web basé sur un navigateur haute fidélité dans un seul conteneur Docker
Ceci est un code d'exemple de <6개월 치 업무를 하루 만에 끝내는 업무 자동화(생능출판사, 2020)>. Il s'agit d'un exemple destiné aux personnes qui n'ont jamais appris Python, et il offre des exemples dans divers domaines liés à l'automatisation des tâches, allant d'Excel au design, en passant par les macros et le crawling.
Extraction, recherche et exploration web pour agents IA. Conçu de zéro en Rust. Sans clés, sans comptes. AGPL v3.
Scripts Python évolutifs de scraping web pour plus de 80 domaines populaires
Crawly, un framework de haut niveau pour le web crawling et scraping pour Elixir.
SiteOne Crawler est un outil d'exploration et d'analyse de sites Web multiplateforme pour l'optimisation du référencement, de la sécurité, de l'accessibilité et des performances, idéal pour les développeurs, les ingénieurs DevOps, les ingénieurs QA et les consultants. Prend en charge Windows, macOS et Linux (x64 et arm64).
Middleware Scrapy pour gérer les pages JavaScript en utilisant Selenium
Code de tutoriel simple mais utile pour le web scraping en Python.
🕵️♂️ Scraper de profils LinkedIn renvoyant des données de profil structurées en JSON.
100 % gratuit et alternative open-source complète à Firecrawl edge avec une extraction de liens meilleure pour les agents - que vous pouvez déployer vous-même sur Cloudflare ou Vercel.
Script Python 3 pour décharger/extraire/extraire les employés d'une entreprise de l'API LinkedIn
Un framework fiable de haut niveau pour le web crawling et scraping pour Node.js.
Foire aux questions
Quel est le dépôt #crawling le plus populaire sur GitHub ?
Le projet #crawling open source le mieux classé sur GitHub est D4Vinci/Scrapling, avec 104,760 étoiles. 🕷️ Le MEILLEUR framework de scraping web, capable de tout gérer, d’une simple requête à une exploration à grande échelle ! N’hésitez pas, rejoignez-nous ici : https://discord.gg/EMgGbDceNQ et suivez-nous ici pour découvrir chaque jour des conseils et astuces : https://x.com/Scrapling_dev
Quels langages de programmation sont les plus utilisés dans les dépôts #crawling ?
Parmi les projets #crawling les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, TypeScript, Go, JavaScript.
Comment le classement des dépôts #crawling est-il calculé ?
Nous suivons 39 dépôts open source actifs associés à #crawling (500+ étoiles), totalisant 335,438 étoiles, avec une moyenne de 8,600 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.