#webscraping Dépôts
Découvrez 50 dépôts GitHub open source actifs associés à #webscraping, cumulant 581,593 étoiles au total (soit une moyenne de 11,631 étoiles par projet). Le projet en tête de ce thème est firecrawl/firecrawl, avec 205,758 étoiles.
50 dépôts au total
Une infrastructure de connaissances pour rendre vos agents plus intelligents. Recherchez, récupérez et accédez aux données de plus de 550 fournisseurs via une seule API.
🕷️ Le MEILLEUR framework de scraping web, capable de tout gérer, d’une simple requête à une exploration à grande échelle ! N’hésitez pas, rejoignez-nous ici : https://discord.gg/EMgGbDceNQ et suivez-nous ici pour découvrir chaque jour des conseils et astuces : https://x.com/Scrapling_dev
Chromium furtif qui réussit tous les tests de détection des bots. Remplacement direct de Playwright avec des correctifs d’empreinte numérique au niveau du code source. Plus de 50 tests réussis.
Un agent autonome qui effectue des recherches approfondies sur n'importe quelles données en utilisant n'importe quels fournisseurs de LLM
Transformez n’importe quel site web en une API structurée. Extrayez, automatisez, recherchez et surveillez le web.
Liste des bibliothèques, outils et API pour le web scraping et le traitement des données.
Un récupérateur Web intelligent, automatique, rapide et léger pour Python
Version non détectée de la bibliothèque de test et d'automatisation Playwright.
Analyse des systèmes de protection contre les bots avec les contre-mesures disponibles 🚿. Comment vaincre les systèmes anti-bots 👻 et contourner les scripts d'empreintes digitales de navigateur 🕵️♂️ lors du scraping web ?
Un puissant outil de web scraping alimenté par LLM | OpenAI, Gemini et Ollama
Facilitez votre recherche d'emploi en automatisant votre processus de candidature avec cet Auto Applier.
Playwright invisible : un Playwright que les systèmes antibots ne peuvent pas détecter, donc pas de CAPTCHA : la même API, Firefox headless furtif et anti-détection, empreinte numérique indétectable, contourne la détection des bots, scraping web et automatisation du navigateur en Python.
Lanceur de navigateur anti-détection, gratuit et open source, pour le scraping web et la gestion de plusieurs comptes. Par l’équipe ShardX (anciennement ProxyShard). Usurpation d’empreinte au niveau du moteur dans Chromium 158 (WebGL / WebGPU / Client Hints / polices / TLS), plus de 220 profils d’appareils inclus, et QUIC + WebRTC stables via SOCKS5.
Le dépôt de projet open source de web scraping vise à partager les connaissances et les expériences en matière de web scraping avec Python.
Ce code est utilisé pour effectuer du web scraping et l'extraction de données depuis Google Maps. Il est particulièrement conçu pour obtenir des informations sur les entreprises, y compris leur nom, adresse, site web, numéro de téléphone, avis, et plus encore.
Version Python non détectée de la bibliothèque de test et d'automatisation Playwright.
Un framework de webscraping/automatisation web ultra-rapide, asynchrone et indétectable basé sur ultrafunkamsterdam/nodriver. Désormais avec prise en charge de Docker !
Outil d'énumération LinkedIn pour extraire des noms d'employés valides d'une organisation via le scraping de moteurs de recherche
👻 Bibliothèque expérimentale pour le scraping de sites Web à l'aide de l'API GPT d'OpenAI.
Puppeteer pour Python indétectable par les systèmes anti-bots, sans CAPTCHA : la même API, Firefox headless furtif et anti-détection, une empreinte numérique indétectable, contournement de la détection des bots, scraping web et automatisation du navigateur.
Moteur d’empreinte numérique Chromium au niveau du code source, évalué comme un Chrome ordinaire par les sites de détection. Moteur d’empreinte numérique Chromium au niveau du code source qui passe les tests de détection des bots. Il ne s’agit pas d’une injection JavaScript, mais de correctifs C++ compilés dans le binaire.
Scripts Python évolutifs de scraping web pour plus de 80 domaines populaires
Invisible Playwright MCP : serveur Playwright MCP indétectable par les systèmes antibots et les CAPTCHA : un agent d’IA navigue sur le Web avec Firefox furtif et anti-détection, Python, l’automatisation de navigateur indétectable, le scraping et l’utilisation de l’ordinateur.
Un kit modulaire et basé sur le terminal pour l'OSINT, la reconnaissance et le scraping - développé en Python, fonctionne sous Linux et Windows.
Un bot Python pour postuler automatiquement à tous les emplois "Easy Apply" sur Linkedin, Glassdoor, etc. en fonction de vos préférences. Connexion automatique, remplissage automatique des questions supplémentaires, candidature automatique !
Outil en ligne de commande pour télécharger et extraire des données à partir de pages HTML/XML ou d'API JSON, en utilisant CSS, XPath 3.0, XQuery 3.0, JSONiq ou correspondance de motifs. Il peut également créer de nouveaux documents XML/HTML/JSON ou transformés.
Moteur Chromium furtif qui empêche les scrapers et les agents de navigateur d’être bloqués grâce à une seule modification de ligne de code.
Version NodeJS non détectée de la bibliothèque de tests et d'automatisation Playwright.
Un Selenium invisible aux systèmes anti-bots, donc sans CAPTCHA : même API, Firefox headless furtif et anti-détection, empreinte numérique indétectable, contournement de la détection des bots, scraping web et automatisation du navigateur en Python.
Uscrapper Vanta : Plongez plus profondément dans le web avec cet outil open-source puissant. Extrayez des informations précieuses avec facilité et efficacité, à partir de sources du web de surface et du deep web. Renforcez votre exploration et votre analyse de données grâce aux capacités avancées de Vanta. Rapide, fiable et convivial, Uscrapper Vanta est le choix ultime pour les chercheurs et les analystes.
Éditeur de web scraping optimisé par l'IA avec constructeur de flux de travail visuel. Créez, testez et déployez des scrapers Web en utilisant le langage naturel. Propulsé par ScrapeGraphAI et LangGraph.
Détection en temps réel des systèmes anti-bots, des captchas et des techniques de fingerprinting. Identifie Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security et bien d’autres, avec un score de confiance et des outils de capture avancés.
Plongez dans le web scraping et créez un tracker de prix e-commerce Next.js 13 en une seule vidéo qui vous apprend le web scraping de données, les cron jobs, l'envoi d'e-mails, le déploiement, et plus encore.
Foire aux questions
Quel est le dépôt #webscraping le plus populaire sur GitHub ?
Le projet #webscraping open source le mieux classé sur GitHub est firecrawl/firecrawl, avec 205,758 étoiles. Une infrastructure de connaissances pour rendre vos agents plus intelligents. Recherchez, récupérez et accédez aux données de plus de 550 fournisseurs via une seule API.
Quels langages de programmation sont les plus utilisés dans les dépôts #webscraping ?
Parmi les projets #webscraping les mieux classés sur GitHub, les langages de programmation les plus courants sont Python, TypeScript, JavaScript, Ruby.
Comment le classement des dépôts #webscraping est-il calculé ?
Nous suivons 50 dépôts open source actifs associés à #webscraping (500+ étoiles), totalisant 581,593 étoiles, avec une moyenne de 11,631 étoiles par dépôt. Les classements sont mis à jour quotidiennement à partir de l’API GitHub.