#scraping Dépôts
109 dépôts au total
AgentQL est une suite d'outils pour connecter votre IA au web. Doté d'un langage de requête et d'intégrations Playwright pour interagir avec les éléments et extraire des données rapidement, avec précision et à grande échelle. Comprend une API REST, des SDK Python et JavaScript, un débogueur de navigateur.
Collection de correctifs pour puppeteer et playwright afin d'éviter la détection d'automatisation et les fuites. Aide à éviter les pages CAPTCHA de Cloudflare et DataDome. Facile à patcher/dépatcher, peut être activé/désactivé à la demande.
Collectez des réponses structurées à partir d'un scraper ChatGPT en envoyant une invite avec des identifiants API de scraping ChatGPT valides. Activez la recherche en direct, injectez le contexte HTML et automatisez des flux de travail intelligents de scraper ChatGPT en quelques paramètres seulement.
📰 Journaux officiels brésiliens accessibles à tous | 📰 Gazettes gouvernementales brésiliennes, accessibles à tous.
Puppeteer pour Python indétectable par les systèmes anti-bots, sans CAPTCHA : la même API, Firefox headless furtif et anti-détection, une empreinte numérique indétectable, contournement de la détection des bots, scraping web et automatisation du navigateur.
🤖 Scrapez des données de sites Web HTML automatiquement en fournissant simplement des exemples
Parsel vous permet d'extraire des données de documents XML/HTML à l'aide de sélecteurs XPath ou CSS
Proxies résidentiels rotatifs HTTP(S)/SOCKS5 - exemples de code et informations générales.
:rocket: Une alternative open source à searx qui fournit un moteur de méta-recherche à l'aspect moderne :sparkles:, ultra-rapide :zap:, respectueux de la vie privée :disguised_face:, sécurisé :lock:
Un fork entièrement remanié et repensé, avec prise en charge d’OnlyFans et de Fansly, réinventé de zéro à partir du onlyfans-scraper original.
Moteur de scraping auto-hébergé — contourne tout défi JS et captcha : Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Alternative à FlareSolverr et Byparr, remplacement direct pour votre pile *arr.
📰 Newspaper4k, un fork du bien-aimé Newspaper3k. Extraction d'articles, de titres et de métadonnées à partir de sites d'information.
Archiver automatiquement les liens vers des vidéos, des images et du contenu de médias sociaux à partir de Google Sheets (et plus encore).
⛏️ Le moteur d'extraction derrière Maigret : transformez n'importe quelle URL de profil en un enregistrement OSINT structuré sur plus de 150 sites
Bot de Création Automatique de Gmail en Gros Open Source avec Selenium & Seleniumwire (Python). N'hésitez pas à me contacter pour Django/Flask, ML, IA, GPT, Automatisation, Scraping.
Scripts Python évolutifs de scraping web pour plus de 80 domaines populaires
Crawly, un framework de haut niveau pour le web crawling et scraping pour Elixir.
Outils pour divers juges en ligne. Téléchargement de cas d'exemple, génération de cas de test supplémentaires, test de votre code et soumission.
Un ensemble d'outils CLI pour générer automatiquement des tables des matières pour les fichiers PDF.
📄 Outil Python pour transformer les pages Notion.so en sites web statiques légers et personnalisables
Moteur Chromium furtif qui empêche les scrapers et les agents de navigateur d’être bloqués grâce à une seule modification de ligne de code.
Code de tutoriel simple mais utile pour le web scraping en Python.
Lookyloo est une interface web qui permet aux utilisateurs de capturer une page de site web et d'afficher ensuite un arbre de domaines qui s'appellent les uns les autres.
Un moteur de rotation de proxy haute performance avec gestion automatisée des IP et surveillance en temps réel de l'état de santé
Résultats de recherche Google via SERP API pip Package Python
CLI rapide et sans état pour effectuer des recherches et extraire du contenu sur le Web. Conçu pour les agents d’IA.
🕵️♂️ Scraper de profils LinkedIn renvoyant des données de profil structurées en JSON.
😈📚 Une bibliothèque organisée de documents de recherche et de présentations pour les amateurs de contre-détection et de confidentialité du web.
Kemono pawchive Downloader est une application rapide basée sur PyQt5 pour archiver du contenu provenant d'un large éventail de sites, notamment Kemono, Coomer, Bunkr, Erome, Saint2.su, nhentai et Discord. Elle dispose d'un navigateur de créateurs, d'un vérificateur de mises à jour et prend en charge les téléchargements multi-thread et multi-parties. Les sessions peuvent être mises en pause, reprises ou récupérer des filtres.
Bibliothèque de scraping/collecte de données sur les réseaux sociaux pour les API de Facebook, Twitter, Reddit, YouTube, Pinterest et Tumblr
Comic-dl est un outil en ligne de commande pour télécharger des mangas et des comics à partir de divers sites de comics et de mangas. Sites pris en charge : readcomiconline.to, mangafox.me, comic naver et bien d'autres.
Une API pour extraire des métadonnées des sites web des tribunaux américains.
Cette application Python est un outil d'OSINT (Open Source Intelligence) appelé "Ominis OSINT - Web Hunter". Elle effectue une collecte d'informations en ligne en interrogeant Google pour obtenir des résultats de recherche liés à une requête saisie par l'utilisateur. L'outil extrait les informations pertinentes telles que les titres, les URL et les mentions potentielles de la requête dans les résultats.
Client Python asynchrone pour collecter les données publiques de X (Twitter) : recherches, profils, fils de discussion, réponses et médias. Il intègre la rotation des comptes, une limitation adaptative du débit et l’exportation vers JSON/CSV/SQLite.
:card_index: Extrayez les profils des réseaux sociaux et plus encore avec des expressions régulières
Détection en temps réel des systèmes anti-bots, des captchas et des techniques de fingerprinting. Identifie Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security et bien d’autres, avec un score de confiance et des outils de capture avancés.
Script Python 3 pour décharger/extraire/extraire les employés d'une entreprise de l'API LinkedIn
Universal Reddit Scraper - Fonctionne sur n'importe quel Subreddit ou utilisateur
La démo la plus simple d'automatisation de Chrome par Python et Selenium dans AWS Lambda
Un outil qui vous permet d'extraire des médias de n'importe quel compte Onlyfans et plus encore