#web-scraping Dépôts
382 dépôts au total
Playwright Model Context Protocol Server - Outil pour automatiser les navigateurs et les API dans Claude Desktop, Cline, Cursor IDE et plus 🔌
Le web de référence pour votre agent de codage IA — recherche locale, récupération, exploration et recherche via MCP. Pas de clés API, pas de cloud, 0 $/requête. Bêta publique.
Version non détectée de la bibliothèque de test et d'automatisation Playwright.
Extrayez le système de design complet de n'importe quel site web avec une seule commande. Jetons DTCG, sémantique+primitif+composé, serveur MCP pour Claude Code/Cursor/Windsurf, émetteurs multiplateformes (iOS SwiftUI, Android Compose, Flutter, WordPress), Tailwind v4, variables Figma, shadcn/ui, audit de santé CSS, remédiation WCAG, extension Chrome. MIT, Playwright, Node 20+.
Successeur d'Undetected-Chromedriver. Fournit un framework ultra-rapide pour l'automatisation web, le web scraping, les bots et toute autre idée créative normalement entravée par des systèmes anti-bots gênants comme Captcha / CloudFlare / Imperva / hCaptcha.
Introduction au web scraping, Perfectionnement au web scraping, Web scraping avancé
Le client de requête HTTP simplifié 'request' avec prise en charge des promesses. Alimenté par Bluebird.
Exemples de code du livre Web Scraping with Python http://shop.oreilly.com/product/0636920034391.do
Un extracteur agentique pour les plateformes de messagerie. Noria reçoit des messages et des URL par chat, collecte des données sur le Web afin d’évaluer le contenu selon des grilles de notation personnalisées (par exemple, pour des offres d’emploi ou des bourses), puis envoie directement au numéro de messagerie attribué un résumé structuré assorti d’un score de correspondance calculé.
rechercher et télécharger de la musique De NetEase Cloud Music, QQ Music, KuGou Music, Baidu Music, Xiami Music, MiGu Music, etc. rechercher et télécharger des chansons
(non officiel) Googletrans : API de traduction Google gratuite et illimitée pour Python. Traduit totalement gratuitement.
Le meilleur endroit pour découvrir des applications open source et épurées. OrionStore donne instantanément accès à YouTube Morphe, YT Music Morphe et aux outils open source indispensables, sans encombrement. Pas de serveurs, pas de suivi : juste une passerelle élégante et moderne vers les applications que vous aimez.
Faites de l’ingénierie inverse sur n’importe quel site web pour le transformer en client API typé. Compatible avec Claude Code, Codex, Cursor et OpenCode.
Restez au courant des sujets tendance sur les réseaux sociaux et sur le web grâce à l'IA
Superstar Learning Cloud / Super Star Er Ya / Pan Ya Super Star Achèvement de tâches ininterrompu entièrement automatique
Prenez une liste de domaines, explorez les URL et recherchez des points d'accès, des secrets, des clés d'API, des extensions de fichiers, des jetons et plus encore.
Surveillance · collecte · republication de contenu multiplateforme. Un seul tableau de bord web pour gérer Douyin / Xiaohongshu / Kuaishou / les chaînes WeChat / TikTok / Bilibili / Instagram / Xiaohongshu à l’international (rednote)
API de web scraping open-source. Transformez n'importe quel site web en Markdown propre ou en JSON structuré. Navigateur anti-détection, sélection automatique de proxy, auto-hébergé. Une seule commande : make up
Ingénierie inverse de TikTok, crawler TikTok, toutes les API TikTok, messages privés, surveillance des salles de diffusion en direct
API Scraper Amazon d'essai gratuit pour extraire les données de recherche, de produits, de listes d'offres, d'avis, de questions et réponses, de best-sellers et de vendeurs.
Collecte de données structurées à partir de n'importe quel site web à l'aide d'un scraper, d'un crawler et d'une automatisation de navigateur optimisés par l'IA. Scraping et crawling avec des invites en langage naturel. Équipez vos agents LLM de données fraîches. SDK Python AI Studio pour la collecte intelligente de données web.
Automatisation furtive du navigateur pour les agents d’IA via MCP et le protocole Chrome DevTools : navigation, hooks réseau, extraction du DOM et clonage d’interfaces utilisateur au pixel près.
PHP Curl Class facilite l'envoi de requêtes HTTP et l'intégration avec les API web.
Navigateur anti-empreintes digitales gratuit, navigateur d'empreintes digitales, navigateur de confidentialité, navigateur anti-reconnaissance, navigateur anti-identification, navigateur anti-association, navigateur gratuit spécifique pour les airdrops Web3 par empreintes digitales https://virtualbrowser.cc/?src=github
Un étiqueteur de médias personnel de style booru qui peut importer des fichiers et des étiquettes depuis votre disque dur et des sites web populaires. Le contenu peut être partagé avec d'autres utilisateurs via des serveurs gérés par les utilisateurs.
Le processus d'extraction de données de produits d'Amazon à l'aide de Python, y compris les titres, les évaluations, les prix, les images et les descriptions.
Ce sont des commandes que j'utilise avec des agents, principalement Claude.
📲 Un agent pour l'approvisionnement, la curation et la planification de publications sur les réseaux sociaux avec une supervision humaine.
Un programme Python qui transforme un LLM, fonctionnant sur Ollama, en un chercheur automatisé, qui, avec une seule requête, déterminera les domaines de concentration à étudier, effectuera des recherches sur le web et extraira le contenu de divers sites web pertinents et fera des recherches pour vous en toute autonomie ! Et plus encore, sans s'y limiter, mais y compris la sauvegarde des résultats pour vous !
Bibliothèque Python et CLI pour le scraping de X/Twitter avec rotation multi-comptes et gestion intégrée des limites de débit.
Une API de haut niveau pour contrôler Chrome ou Chromium sans tête via le protocole DevTools. C'est l'équivalent Rust de Puppeteer, une bibliothèque Node maintenue par l'équipe Chrome DevTools.
Apprenez étape par étape à scraper les données de Google Trends et à effectuer une comparaison des résultats à l'aide de Python et de l'API SERP d'Oxylabs. Extrayez les mots-clés, leur popularité, la répartition par région, les requêtes associées, et bien plus encore.
Huya, Douyu, Douyin, BiliBili, TikTok, Twitch🔥Populaire🔥Robot IA intelligent pour le montage et la publication de vidéos live, Automatisation🤖, Entièrement intelligent⚙(génération automatique de clips, titres, miniatures, descriptions), Visualisation👓, Surveillance des plateformes populaires🌡, Plugins riches extensibles à volonté🕹, Déploiement rapide⚡, Publication automatique de comptes vidéo🌟, Support DIY🎮
Un serveur puissant Model Context Protocol (MCP) qui fournit une solution tout-en-un pour l'accès au Web public.