#web-scraping Dépôts
382 dépôts au total
Taobao, Tmall, achats à moitié prix, téléviseurs à saisir, Maotai à saisir, maudits revendeurs
Le dépôt d'hébergement des règles de Kazumi, les contributions sont les bienvenues ^•ﻌ•^
AIMedia est un logiciel intégré qui capture automatiquement les tendances, crée des articles par IA et les publie automatiquement. Prend en charge Toutiao, Xiaohongshu, les comptes officiels WeChat, etc.
Playwright invisible : un Playwright que les systèmes antibots ne peuvent pas détecter, donc pas de CAPTCHA : la même API, Firefox headless furtif et anti-détection, empreinte numérique indétectable, contourne la détection des bots, scraping web et automatisation du navigateur en Python.
Scraper Google Maps gratuit et open source pour la génération de prospects (Python, sans clé API ni Docker). Exporte au format CSV le nom, le téléphone, l’adresse e-mail, le site web, la note et les liens Instagram/Facebook/LinkedIn/TikTok/YouTube/X. 100 lieux avec adresse e-mail en 44 s ; --grid dépasse la limite de 120 imposée par Google. Vérification des enregistrements MX des e-mails et détection des pixels publicitaires. Compétence pour Claude Code, Codex et Cursor.
Extraction rapide de contenu web local-first pour les LLMs. Grattage, crawling, extraction de données structurées — tout depuis Rust. CLI, REST API et serveur MCP.
Un analyseur HTML DOM. Il vous permet de manipuler le HTML. Trouvez des balises sur une page HTML avec des sélecteurs, tout comme jQuery.
Exporter des livres de WeChat Reading aux formats epub, pdf, mobi, etc.
La plateforme d'automatisation de navigateur auto-hébergée indétectable. Alimentée par Camoufox (Firefox) pour un taux de détection de 0 %. Conçue pour la rapidité, la confidentialité et l'évolutivité.
Appel de méthodes de navigateur RPC (Remote Procedure Call), évitant la création manuelle de code et la configuration d'environnements
Apprenez Python pendant les 30 (ou environ) prochains jours.
Tmall TaoBao iMaotai iMatoTai JD Jingdong achat éclair, Jingdong Maotai achat éclair version Windows, prêt à l'emploi sans configuration d'environnement. Développement imminent (protocole open source sous Apache License)
Alternative open source à Gemini Deep Research. Générez des rapports avec l'IA basés sur les résultats de recherche.
Un guide pour extraire les titres, auteurs et citations de Google Scholar en utilisant Python et l'API Oxylabs SERP Scraper.
Un code pour extraire les articles les plus vendus, les résultats de recherche et les offres actuellement disponibles d'Amazon en utilisant Python et l'API Oxylabs E-Commerce Scraper.
Sources TV IPV4 d'hôtel de diffusion en direct collectées automatiquement, vitesse de lecture testée automatiquement, mises à jour automatiques quotidiennes. Inclut les chaînes CCTV nationales et certains canaux locaux, lecture fluide. Peut également être exécuté sur OpenWrt ou Docker de Synology.
Un outil rapide pour convertir n'importe quel site Web en données markdown prêtes pour LLM. Construit par https://supermemory.ai
Cours de Python à partir de zéro et pour tous les publics avec des exercices
Un framework de crawler Java simple, agile et distribué prenant en charge Spring Boot ; Un framework de crawler agile et distribué.
Analyseur intelligent pour le catalogue « Chitai-Gorod ». Collecte et structuration de données à haute vitesse basée sur tous les paramètres spécifiés : de l’ISBN à la dynamique des remises.
Client net/http similaire à HTTP Client avec des options pour sélectionner des empreintes digitales TLS client spécifiques à utiliser pour les requêtes.
Capture des données de commentaires de la version Web de Douyin en direct (dernière version 2025)
CE DÉPÔT N'EST QU'UN MIROIR ! Le dépôt de développement principal est https://codeberg.org/Freedium-cfd/web
SURF - Client HTTP Go avancé avec impersonification de navigateur Chrome/Firefox, HTTP/3 avec empreinte QUIC, émulation TLS JA3/JA4 et contournement anti-bot pour l'automatisation et le scraping Web.
Le pilote headless Chrome/Chromium sur Puppeteer. Prenez des captures d'écran, générez des PDF, extrayez du texte et du HTML via une API prête pour la production.
qstock est développé par le compte public "Python Financial Quant", dans le but de créer un package personnel d'analyse quantitative pour la recherche sur les investissements, comprenant actuellement les modules d'acquisition de données (data), de visualisation (plot), de sélection d'actions (stock) et de backtesting quantitatif (strategy backtest). qstock fournira aux utilisateurs une interface de données concise et des données de marché financier normalisées. Le module de visualisation offrira aux utilisateurs une interface simple pour des graphiques interactifs basés sur le web ; le module de sélection d'actions fournira des données de sélection d'actions de Tonghuashun et une sélection d'actions personnalisée, y compris RPS, tendance MM, indicateurs financiers, modèle de flux de trésorerie, etc. ; le module de backtesting fournira à tous une structure et un modèle fondamentaux vectorisés (basés sur pandas) et pilotés par événements. Suivez le compte public WeChat "Python Financial Quant" pour plus d'informations sur les applications.
Suivez des blogs, des wikis, des chaînes YouTube, ainsi que des comptes sur Twitter, Instagram, etc. depuis une seule page.
Apprenez à créer votre propre scraper Google Jobs qui extrait simultanément les offres d'emploi de Google pour plusieurs requêtes de recherche et emplacements géographiques avec Python et l'API Google Jobs Scraper d'Oxylabs. https://oxylabs.io/blog/how-to-scrape-google-jobs
Lanceur de navigateur anti-détection, gratuit et open source, pour le scraping web et la gestion de plusieurs comptes. Par l’équipe ShardX (anciennement ProxyShard). Usurpation d’empreinte au niveau du moteur dans Chromium 158 (WebGL / WebGPU / Client Hints / polices / TLS), plus de 220 profils d’appareils inclus, et QUIC + WebRTC stables via SOCKS5.
Récupérer un site entier et l'enregistrer sous forme de fichier texte (à utiliser avec les modèles d'IA).
Partage de ressources cinématographiques et télévisuelles sur Baidu Netdisk, Quark Netdisk et Aliyun Drive. Publication quotidienne des dernières séries télévisées, émissions de variétés et ressources cinématographiques.
Obtenir une adresse de connexion directe unique pour Chengtong Cloud Drive
Dans ce tutoriel, nous montrons comment récupérer les données publiques de Google avec Python et l'API Oxylabs.
Liaison Python aux moteurs Modest et Lexbor. Analyseur HTML5 rapide avec sélecteurs CSS pour Python.
Outil CLI pour enregistrer une copie fidèle d'une page Web complète dans un seul fichier HTML (basé sur SingleFile)
Mise en œuvre de la sélection de texte, de la sélection de caractères, de la sélection et de la reconnaissance de captcha par toucher, entraînée sur PyTorch
Scraper Twitter et X pour Python : récupérez des tweets, des profils, des abonnés, des comptes suivis et les tendances sans l’API officielle. Une bibliothèque de scraping Twitter avec gestion de plusieurs comptes, prise en charge des proxys et fonctions asynchrones, ou une version hébergée sur Apify.