#web-scraping Dépôts
382 dépôts au total
Juste un fork de la bibliothèque Simple HTML DOM. (http://simplehtmldom.sourceforge.net/)
Infrastructure web open source pour l'IA. Scrapez, explorez et automatisez le web, nettoyez le markdown, les sessions de navigateur, prêt pour vos agents.
Transformez un référentiel GitHub entier en un seul fichier .txt organisé à utiliser avec les LLM (ChatGPT, Claude, Gemini, etc.)
🔥 Créez instantanément des chatbots IA pour n'importe quel site Web avec la recherche alimentée par RAG, les réponses en flux continu et les points de terminaison d'API compatibles avec OpenAI
knowledge-grab est une application de bureau construite sur Tauri et Vue 3, conçue pour permettre aux utilisateurs de télécharger facilement diverses ressources éducatives depuis la Plateforme Nationale d'Éducation Intelligente pour les Écoles Primaires et Secondaires (basic.smartedu.cn).
Le framework/SDK qui vous permet de créer des agents de contrôle de navigateur en 3 lignes de code. Rejoignez le chat sur https://discord.gg/umgnyQU2K8
Liste de Proxys Gratuits ✅🚀 HTTP, HTTPS, SOCKS4 et SOCKS5 | Mise à jour toutes les 5 minutes | SSL strict, zéro MITM, multi-pays
Une compétence pour les agents IA : recherchez sur le Web avec SearXNG, naviguez avec Camofox, contournez les protections avec CloakBrowser. Anti-hallucination par conception. Auto-hébergé, gratuit, illimité.
Facepager a été conçu pour récupérer des données publiques disponibles sur YouTube, Twitter et d'autres sites web sur la base d'API et de web scraping.
Service auto-hébergé de conversion d’URL et de fichiers en Markdown, destiné aux humains et aux agents d’IA : pages Web, documents, images, audio et YouTube. PWA + REST + MCP + compétence Claude Code, compatible avec Reddit, avec des liens de partage actualisables.
Script de redirection de moteur de recherche, permettant de basculer facilement entre plusieurs moteurs
un plugin de barre latérale de navigateur gratuit et open source qui offre une alternative gratuite aux produits tels que Sider, Monica et Merlin.
La rétro-ingénierie des signatures web de TikTok permet de générer des signatures TikTok valides pour les requêtes API.
Agent Skills pour tester l’empreinte du navigateur : exécutez liarjs depuis Claude Code, Codex, Cursor ou Copilot afin d’évaluer un navigateur par rapport à lui-même — 40 contrôles de cohérence sur Canvas, WebGL, WebGPU, l’audio, les polices et WebRTC, recoupés avec la couche TLS/HTTP. Assurance qualité des harnais Playwright et Puppeteer, garde-fous de régression en CI et triage de la détection des navigateurs headless.
Guides de démarrage rapide Python pour tirer le meilleur parti de l'essai gratuit de l'API Web Scraper d'Oxylabs.
Un framework pour la création d'extracteurs de contenu web semi-automatiques
API de scraping web tout-en-un pour l’extraction de données en temps réel à grande échelle : proxys, gestion des CAPTCHA, rendu JavaScript et analyse en une seule requête, avec des résultats au format HTML ou JSON structuré.
🎯 Logiciel d'analyse de visualisation des données des commentaires de Bilibili -- les créateurs peuvent l'utiliser pour guider leur choix de sujets et comprendre leur base de fans.