#web-scraping Dépôts
382 dépôts au total
Moteur de scraping auto-hébergé — contourne tout défi JS et captcha : Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Alternative à FlareSolverr et Byparr, remplacement direct pour votre pile *arr.
Une bibliothèque JavaScript pour générer des agents utilisateur aléatoires avec des données mises à jour quotidiennement.
Une API auto-hébergée qui prend une URL et renvoie un fichier avec des captures d'écran du navigateur.
Fournir des scrapers pour toutes les principales banques israéliennes et sociétés de cartes de crédit
Un outil pour scraper LinkedIn sans restrictions API pour la reconnaissance de données
Scripts Python évolutifs de scraping web pour plus de 80 domaines populaires
Dans ce dépôt, vous trouverez des fichiers de code d'exemple pour chaque jour du cours "Python pour OSINT. Un cours de 21 jours pour débutants".
Calcul pur Xiaohongshu xs, rétro-ingénierie du calcul pur pour des champs tels que Xiaohongshu x-s, x-s-common, xsc, etc.
Créez des scrapeurs web en Ruby avec un DSL propre et assisté par IA. Kimurai utilise l'IA pour déterminer où se trouvent les données, puis met en cache les sélecteurs et scrape avec du Ruby pur. Bénéficiez de l'intelligence d'un LLM sans la latence par requête ni les coûts de tokens.
Tribu Stable. Sauvegarde et exportation professionnelle des enregistrements Weibo, stable !
Plus de 660 modèles de médias génératifs hébergés par muapi, ainsi que des outils d’API tiers proposés par la communauté (SEO, enrichissement, réseaux sociaux, scraping) — un fichier YAML par entrée, consultable par capacité.
Navigateur furtif au niveau du noyau avec l’API Playwright que vous utilisez déjà. SDK Python et Node, compatible MCP, profils locaux illimités. Linux x64 + arm64, macOS Intel + Apple Silicon, Windows x64.
Le dernier temps de modification de ce poste est visible en un coup d'œil : le vert indique moins de 2 semaines, l'orange foncé moins de 1,5 mois et le rouge plus de 1,5 mois
Un projet d'analyse de sentiment basé sur les données de Weibo, comprenant un crawler Weibo, une analyse thématique LDA et une analyse de sentiment.
Un proxy furtif HTTP de nouvelle génération qui masque parfaitement les requêtes comme le navigateur Chrome sur toutes les couches de la pile.
SiteOne Crawler est un outil d'exploration et d'analyse de sites Web multiplateforme pour l'optimisation du référencement, de la sécurité, de l'accessibilité et des performances, idéal pour les développeurs, les ingénieurs DevOps, les ingénieurs QA et les consultants. Prend en charge Windows, macOS et Linux (x64 et arm64).
Une bibliothèque Rust pour extraire des données utiles des documents HTML, adaptée au web scraping.
Classement des résultats de recherche Google Scholar basé sur le nombre de citations
Code pour "WebVoyager: WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models"
Téléchargeur de cours Geektime, prend en charge le téléchargement de colonnes Geektime/cours vidéo/leçons quotidiennes/pratiques de grandes entreprises/vidéos de bootcamp
Il s’agit d’un navigateur headless léger, conçu spécialement pour permettre aux agents d’IA (tels que Codex ou Claude Code) d’effectuer des tâches d’automatisation du navigateur. Il est conçu pour naviguer parmi divers systèmes de protection Web, processus de connexion et scénarios de rétro-ingénierie.
Vous permet de télécharger en masse tous vos eBooks Kindle de manière plus automatisée. Cet outil vous permet de créer des copies de sauvegarde des livres que vous avez déjà achetés.
HtmlUnit est un «navigateur sans interface graphique pour les programmes Java».
Outil d'analyse automatique des codes promotionnels ChatGPT Team (Business) — découverte par lots/validation/collecte de prix, prend en charge 34 codes dans 17 pays, jusqu'à 71 % de réduction | ChatGPT Business promo code scanner — batch discovery, validation, price collection, 34 codes across 17 countries, up to 71% off
Une extension Chrome pour la détection d'informations sensibles sur le Web et l'identification par empreinte digitale.
Dorks Eye Google Hacking Dork Scraping and Searching Script. Dorks Eye est un script que j'ai créé en python 3. Avec cet outil, vous pouvez facilement trouver des Google Dorks. Dork Eye collecte des pages Web et des applications potentiellement vulnérables sur Internet ou d'autres informations intéressantes récupérées par les robots de recherche de Google. Auteur : Jolanda de Koff