#scraping Repository
Scopri 109 repository GitHub open source attivi contrassegnati con #scraping, che raccolgono un totale di 768,143 stelle (con una media di 7,047 stelle per progetto). Il progetto leader di questo argomento è firecrawl/firecrawl, con 205,758 stelle.
109 repository in totale
Infrastruttura di conoscenza per rendere più intelligenti i tuoi agenti. Cerca, estrai e accedi a oltre 550 fornitori di dati tramite un’unica API.
🕷️ Il MIGLIOR framework per il web scraping, in grado di gestire tutto, da una singola richiesta a una scansione su larga scala! Non essere timido: unisciti qui https://discord.gg/EMgGbDceNQ e seguici qui per consigli e trucchi quotidiani: https://x.com/Scrapling_dev
Crawlee—Una libreria per web scraping e automazione del browser per Node.js per creare crawler affidabili. In JavaScript e TypeScript. Estrazione dati per AI, LLMs, RAG o GPTs. Download di HTML, PDF, JPG, PNG e altri file da siti web. Funziona con Puppeteer, Playwright, Cheerio, JSDOM e HTTP raw. Sia in modalità headful che headless. Con rotazione proxy.
Chromedriver Selenium personalizzato | Zero-Config | Supera TUTTI i sistemi di mitigazione dei bot (come Distil / Imperva / Datadadome / CloudFlare IUAM)
Browser headless stealth per agenti AI — bypassa Cloudflare, rilevamento bot e anti-scraping. Sostituto drop-in di Puppeteer/Playwright.
Crawlee: una libreria Python per il web scraping e l’automazione del browser, pensata per creare crawler affidabili. Estrai dati strutturati con gli LLM tramite Pydantic AI oppure controlla il browser in linguaggio naturale con Stagehand. Compatibile con BeautifulSoup, Parsel, Playwright e HTTP grezzo. Scarica HTML, PDF, immagini e altri file. Rotazione dei proxy inclusa.
Elenco di librerie, strumenti e API per web scraping ed elaborazione dati.
Tabula è uno strumento per liberare tabelle di dati intrappolate all'interno di file PDF
Strumento Python e da riga di comando per raccogliere testo e metadati sul Web: Crawling, scraping, estrazione, output come CSV, JSON, HTML, MD, TXT, XML
Pydoll è una libreria per automatizzare browser basati su Chromium senza WebDriver, offrendo interazioni realistiche.
🚀 Elenco proxy HTTP, SOCKS4 e SOCKS5 gratuiti * Aggiornato ogni 5 minuti * e API proxy rotante (oltre 100 paesi)
Twitter API Scraper | Senza chiave API | API Interna di Twitter | Gratuito | Scraper Twitter | Bot Twitter
Coltellino svizzero per il web scraping e l'estrazione di dati da asset online, fatto per hacker
Mechanize è una libreria Ruby che rende facile l'interazione web automatizzata.
Raccolta di utili argomenti di data science insieme ad articoli, video e codice
Esegui il reverse engineering di qualsiasi sito web per trasformarlo in un client API tipizzato. Compatibile con Claude Code, Codex, Cursor e OpenCode.
Falsificatore di user agent semplice e aggiornato con database del mondo reale
AnyCrawl 🚀: Un crawler Node.js/TypeScript che trasforma i siti web in dati pronti per LLM ed estrae risultati SERP strutturati da Google/Bing/Baidu/ecc. Multi-threading nativo per l'elaborazione in blocco.
Un browser open source per l'impronta digitale basato su Ungoogled Chromium. Browser per impronte digitali Browser per la privacy
Vuoi IMPARARE COSE NUOVE GRATUITAMENTE? Non preoccuparti, con la potenza del web-scraping e dell'automazione, questo script troverà i coupon Udemy necessari e ti iscriverà ai CORSI UDEMY PAGATI, ASSOLUTAMENTE GRATIS!
Libreria Python e CLI per lo scraping di X/Twitter con rotazione multi-account e gestione integrata dei limiti di velocità.
Impara passo dopo passo come fare scraping dei dati di Google Trends e confrontare i risultati utilizzando Python e l'API SERP di Oxylabs. Estrai parole chiave, la loro popolarità, la suddivisione per regione, le query correlate e altro ancora.
Geziyor, framework per web crawling e scraping ultraveloce per Go. Supporta il rendering JS.
Un potente server Model Context Protocol (MCP) che fornisce una soluzione all-in-one per l'accesso al web pubblico.
Strumenti di fingerprinting del browser per anonimizzare i tuoi scraper. Sviluppato da Apify.
Core Browser Privacy Avanzato con Difesa Unificata delle Impronte Digitali: Cloudflare, Akamai, Kasada, Shape, DataDome, PerimeterX, hCaptcha, FunCaptcha, Imperva, reCAPTCHA, ThreatMetrix, Adscore
Playwright invisibile: un Playwright che i sistemi anti-bot non possono rilevare, quindi niente CAPTCHA: stessa API, Firefox headless stealth con protezione anti-rilevamento, impronta digitale non rilevabile, aggira il rilevamento dei bot, scraping web e automazione del browser con Python.
Un'utilità da riga di comando per acquisire screenshot di siti web, registrare demo video e raschiare siti utilizzando JavaScript
Cheat sheet OSINT, elenco di strumenti OSINT, wiki, set di dati, articoli, libri, OSINT di red team per hacker e suggerimenti OSINT e ramo OSINT. Questo repository crescerà ogni volta che ci sarà ricerca, c'è ricerca, scienza e tecnologia, tutorial. Si prega di usarlo con saggezza.
Elenco di strumenti e browser anti-rilevamento e di umanizzazione, inclusi risolutori di captcha e attivazione SMS.
Nascondi l'IP del tuo scraper dietro il cloud. Fornisci server proxy su diversi provider cloud per migliorare il successo del tuo scraping.
In questo tutorial, mostriamo come estrarre dati pubblici di Google con Python e l'API di Oxylabs.
Ottieni dati puliti da documenti complessi, potenziati dai modelli vision-language ⚡
Domande frequenti
Qual è il repository #scraping più popolare su GitHub?
Il progetto open source #scraping più alto in classifica su GitHub è firecrawl/firecrawl, con 205,758 stelle. Infrastruttura di conoscenza per rendere più intelligenti i tuoi agenti. Cerca, estrai e accedi a oltre 550 fornitori di dati tramite un’unica API.
Quali linguaggi di programmazione sono più utilizzati nei repository #scraping?
Tra i progetti #scraping più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, TypeScript, Go, JavaScript.
Come viene calcolata la classifica dei repository #scraping?
Monitoriamo 109 repository open source attivi contrassegnati con #scraping (500+ stelle), per un totale di 768,143 stelle e una media di 7,047 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.