#webscraping Repository
Scopri 50 repository GitHub open source attivi contrassegnati con #webscraping, che raccolgono un totale di 581,593 stelle (con una media di 11,631 stelle per progetto). Il progetto leader di questo argomento è firecrawl/firecrawl, con 205,758 stelle.
50 repository in totale
Infrastruttura di conoscenza per rendere più intelligenti i tuoi agenti. Cerca, estrai e accedi a oltre 550 fornitori di dati tramite un’unica API.
🕷️ Il MIGLIOR framework per il web scraping, in grado di gestire tutto, da una singola richiesta a una scansione su larga scala! Non essere timido: unisciti qui https://discord.gg/EMgGbDceNQ e seguici qui per consigli e trucchi quotidiani: https://x.com/Scrapling_dev
Chromium stealth che supera tutti i test di rilevamento dei bot. Sostituto diretto di Playwright con patch per l’impronta digitale a livello di codice sorgente. Oltre 50 test superati.
Un agente autonomo che conduce ricerche approfondite su qualsiasi dato utilizzando qualsiasi fornitore di LLM
Trasforma qualsiasi sito web in un’API strutturata. Estrai, automatizza, cerca e monitora il web.
Elenco di librerie, strumenti e API per web scraping ed elaborazione dati.
Versione non rilevata della libreria di test e automazione Playwright.
Analisi dei sistemi di protezione dai bot con contromisure disponibili 🚿. Come sconfiggere i sistemi anti-bot 👻 e aggirare gli script di fingerprinting del browser 🕵️♂️ durante lo scraping del web?
Semplifica la tua ricerca di lavoro automatizzando il tuo processo di candidatura con questo Auto Applier.
Playwright invisibile: un Playwright che i sistemi anti-bot non possono rilevare, quindi niente CAPTCHA: stessa API, Firefox headless stealth con protezione anti-rilevamento, impronta digitale non rilevabile, aggira il rilevamento dei bot, scraping web e automazione del browser con Python.
Launcher gratuito e open source per browser anti-rilevamento, destinato al web scraping e alla gestione di più account. Del team ShardX (precedentemente ProxyShard). Spoofing dell’impronta digitale a livello di motore in Chromium 158 (WebGL / WebGPU / Client Hints / caratteri / TLS), oltre 220 profili dispositivo inclusi e QUIC + WebRTC stabile tramite SOCKS5.
Il repository open project per il web scraping mira a condividere conoscenze ed esperienze sullo scraping web con Python.
Questo codice viene utilizzato per eseguire web scraping ed estrazione di dati da Google Maps. È particolarmente progettato per ottenere informazioni sulle attività commerciali, inclusi nome, indirizzo, sito web, numero di telefono, recensioni e altro.
Versione Python non rilevata della libreria di test e automazione Playwright.
Un framework di webscraping/automazione web velocissimo, asincrono e non rilevabile basato su ultrafunkamsterdam/nodriver. Ora con supporto Docker!
Strumento di enumerazione LinkedIn per estrarre nomi validi di dipendenti da un'organizzazione tramite scraping di motori di ricerca
👻 Libreria sperimentale per lo scraping di siti web utilizzando l'API GPT di OpenAI.
Puppeteer per Python che i sistemi anti-bot non riescono a rilevare, così non ci sono CAPTCHA: stessa API, Firefox headless stealth anti-rilevamento, impronta digitale non rilevabile, aggiramento del rilevamento dei bot, scraping web e automazione del browser.
Motore per l’impronta digitale di Chromium a livello di codice sorgente, valutato come un normale Chrome dai siti di rilevamento. Motore per l’impronta digitale di Chromium a livello di codice sorgente che supera i test di rilevamento dei bot. Non si tratta di un’iniezione JS: sono patch C++ compilate nel binario.
Script Python scalabili per il web scraping di oltre 80 domini popolari
Invisible Playwright MCP: server Playwright MCP non rilevabile dai sistemi anti-bot e dai CAPTCHA: un agente IA naviga sul web con Firefox stealth anti-rilevamento, Python, automazione del browser non rilevabile, scraping e controllo del computer.
Un kit modulare basato su terminale per OSINT, riconoscimento e web scraping – sviluppato in Python, funziona su Linux e Windows.
Un bot Python per candidarsi automaticamente a tutti i lavori "Easy Apply" su Linkedin, Glassdoor, ecc. in base alle tue preferenze. Accesso automatico, compilazione automatica delle domande aggiuntive, candidatura automatica!
Strumento da linea di comando per scaricare ed estrarre dati da pagine HTML/XML o JSON-API, utilizzando CSS, XPath 3.0, XQuery 3.0, JSONiq o corrispondenza di pattern. Può anche creare nuovi o documenti XML/HTML/JSON trasformati.
Motore Chromium stealth che impedisce a scraper e agenti del browser di essere bloccati con una sola modifica a una riga di codice.
Versione NodeJS non rilevata della libreria di test e automazione Playwright.
Selenium invisibile ai sistemi anti-bot, quindi niente CAPTCHA: stessa API, Firefox headless furtivo e anti-rilevamento, impronta digitale non rilevabile, elusione del rilevamento dei bot, scraping web e automazione del browser con Python.
Uscrapper Vanta: Immergi più a fondo nel web con questo potente strumento open-source. Estrai informazioni preziose con facilità ed efficienza, sia da fonti del web di superficie che del deep web. Potenzia il tuo data mining e la tua analisi con le funzionalità avanzate di Vanta. Veloce, affidabile e facile da usare, Uscrapper Vanta è la scelta definitiva per ricercatori e analisti.
Editor di web scraping basato sull'IA con costruttore di flussi di lavoro visivo. Costruisci, testa e distribuisci scraper web utilizzando il linguaggio naturale. Alimentato da ScrapeGraphAI e LangGraph.
Rilevamento in tempo reale di sistemi anti-bot, captcha e tecniche di fingerprinting. Identifica Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security e altri, con punteggio di affidabilità e strumenti avanzati di acquisizione.
Tuffati nello scraping web e crea un tracker di prezzi per eCommerce con Next.js 13 in un unico video che ti insegna data scraping, cron job, invio di e-mail, deployment e altro ancora.
Domande frequenti
Qual è il repository #webscraping più popolare su GitHub?
Il progetto open source #webscraping più alto in classifica su GitHub è firecrawl/firecrawl, con 205,758 stelle. Infrastruttura di conoscenza per rendere più intelligenti i tuoi agenti. Cerca, estrai e accedi a oltre 550 fornitori di dati tramite un’unica API.
Quali linguaggi di programmazione sono più utilizzati nei repository #webscraping?
Tra i progetti #webscraping più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, TypeScript, JavaScript, Ruby.
Come viene calcolata la classifica dei repository #webscraping?
Monitoriamo 50 repository open source attivi contrassegnati con #webscraping (500+ stelle), per un totale di 581,593 stelle e una media di 11,631 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.