#web-scraping Repository
382 repository in totale
Playwright Model Context Protocol Server - Strumento per automatizzare Browser e API in Claude Desktop, Cline, Cursor IDE e altro 🔌
Il web di riferimento per il tuo agente di codifica AI — ricerca locale, recupero, crawling e ricerca tramite MCP. Nessuna chiave API, nessun cloud, $0/query. Beta pubblica.
Versione non rilevata della libreria di test e automazione Playwright.
Estrai il sistema di design completo di qualsiasi sito web con un solo comando. Token DTCG, semantico+primitivo+composito, server MCP per Claude Code/Cursor/Windsurf, emettitori multi-piattaforma (iOS SwiftUI, Android Compose, Flutter, WordPress), Tailwind v4, variabili Figma, shadcn/ui, audit di salute CSS, rimediazione WCAG, estensione Chrome. MIT, Playwright, Node 20+.
Successore di Undetected-Chromedriver. Fornisce un framework velocissimo per l'automazione del web, il web scraping, i bot e qualsiasi altra idea creativa che normalmente è ostacolata da fastidiosi sistemi anti-bot come Captcha / CloudFlare / Imperva / hCaptcha.
Introduzione allo scraping, Avanzamento nello scraping, Scraping avanzato
Il client di richiesta HTTP semplificato 'request' con supporto Promise. Basato su Bluebird.
Esempi di codice dal libro Web Scraping with Python http://shop.oreilly.com/product/0636920034391.do
Un estrattore agentico per piattaforme di messaggistica. Noria riceve messaggi e URL via chat, raccoglie dati dal web per valutare i contenuti in base a matrici di punteggio personalizzate (ad es. offerte di lavoro e borse di studio) e invia direttamente al numero di messaggistica assegnato un riepilogo strutturato con un punteggio di corrispondenza calcolato.
cerca e scarica musica Da NetEase Cloud Music, QQ Music, KuGou Music, Baidu Music, Xiami Music, MiGu Music, ecc. cerca e scarica canzoni
(non ufficiale) Googletrans: API gratuita e illimitata di Google Translate per Python. Traduce completamente gratis.
La casa ideale per le app open source e ripulite. OrionStore offre accesso immediato a YouTube Morphe, YT Music Morphe e agli strumenti open source essenziali, senza inutili fronzoli. Niente server, niente tracciamento: solo un gateway moderno ed elegante per le app che ami.
Esegui il reverse engineering di qualsiasi sito web per trasformarlo in un client API tipizzato. Compatibile con Claude Code, Codex, Cursor e OpenCode.
Tieniti aggiornato sugli argomenti di tendenza sui social media e sul web con l'IA
Superstar Learning Cloud / Super Star Er Ya / Pan Ya Super Star Completamento automatico completamente automatico dei punti attività incustoditi
Esegui una scansione di URL da un elenco di domini e cerca endpoint, segreti, chiavi API, estensioni di file, token e altro.
Monitoraggio · raccolta · ripubblicazione dei contenuti su più piattaforme. Un’unica dashboard web per gestire Douyin / Xiaohongshu / Kuaishou / Canali WeChat / TikTok / Bilibili / Instagram / Xiaohongshu internazionale (rednote)
API di web scraping open source. Trasforma qualsiasi sito web in Markdown pulito o JSON strutturato. Browser anti-rilevamento, selezione automatica dei proxy, self-hosted. Un solo comando: make up
Ingegneria inversa di TikTok, crawler di TikTok, tutte le API di TikTok, messaggi privati, monitoraggio sale live
API scraper Amazon di prova gratuita per estrarre dati da ricerche, prodotti, elenchi di offerte, recensioni, domande e risposte, bestseller e venditori.
Raccolta di dati strutturati da qualsiasi sito web utilizzando scraper, crawler e automazione del browser basati sull'IA. Scraping e crawling con prompt in linguaggio naturale. Fornite ai vostri agenti LLM dati aggiornati. SDK Python AI Studio per la raccolta intelligente di dati web.
Automazione stealth del browser per agenti IA tramite MCP e il protocollo Chrome DevTools: navigazione, hook di rete, estrazione del DOM e clonazione dell’interfaccia utente con precisione al pixel.
PHP Curl Class rende facile l'invio di richieste HTTP e l'integrazione con le API web.
Browser anti-impronta digitale gratuito, browser per impronte digitali, browser per la privacy, browser anti-riconoscimento, browser anti-identificazione, browser anti-associazione, browser gratuito specifico per airdrop Web3 tramite impronta digitale https://virtualbrowser.cc/?src=github
Un tagger di media personale in stile booru che può importare file e tag dal tuo disco rigido e da siti web popolari. Il contenuto può essere condiviso con altri utenti tramite server gestiti dagli utenti.
Il processo di estrazione dei dati dei prodotti da Amazon tramite Python, inclusi titoli, valutazioni, prezzi, immagini e descrizioni.
📲 Un agente per l'approvvigionamento, la curatela e la pianificazione di post sui social media con intervento umano.
Un programma Python che trasforma un LLM, in esecuzione su Ollama, in un ricercatore automatizzato, che con una singola query determinerà le aree di interesse da indagare, effettuerà ricerche sul web e raccoglierà contenuti da vari siti web pertinenti e farà ricerche per te da solo! E non solo, ma include anche il salvataggio dei risultati per te!
Libreria Python e CLI per lo scraping di X/Twitter con rotazione multi-account e gestione integrata dei limiti di velocità.
Un'API di alto livello per controllare Chrome o Chromium headless tramite il protocollo DevTools. È l'equivalente Rust di Puppeteer, una libreria Node mantenuta dal team di Chrome DevTools.
Impara passo dopo passo come fare scraping dei dati di Google Trends e confrontare i risultati utilizzando Python e l'API SERP di Oxylabs. Estrai parole chiave, la loro popolarità, la suddivisione per regione, le query correlate e altro ancora.
Huya, Douyu, Douyin, BiliBili, TikTok, Twitch🔥Popolare🔥Robot AI intelligente per il montaggio e la pubblicazione di video live, Automazione🤖, Completamente intelligente⚙(generazione automatica di clip, titoli, miniature, descrizioni), Visualizzazione👓, Monitoraggio piattaforme popolari🌡, Plugin ricchi estendibili a piacimento🕹, Distribuzione rapida⚡, Pubblicazione automatica per account video🌟, Supporto DIY🎮
Un potente server Model Context Protocol (MCP) che fornisce una soluzione all-in-one per l'accesso al web pubblico.