#scraper Repository
Scopri 128 repository GitHub open source attivi contrassegnati con #scraper, che raccolgono un totale di 792,441 stelle (con una media di 6,190 stelle per progetto). Il progetto leader di questo argomento è firecrawl/firecrawl, con 205,758 stelle.
128 repository in totale
Infrastruttura di conoscenza per rendere più intelligenti i tuoi agenti. Cerca, estrai e accedi a oltre 550 fornitori di dati tramite un’unica API.
Crawl4AI Cloud ufficiale: un’API ospitata per scraping web, estrazione e ricerca destinata agli agenti IA. Chiave API gratuita, 1.000 crediti al mese, senza carta di credito. Completamente open source: questo repository contiene il crawler Apache-2.0 che lo alimenta e può essere ospitato autonomamente.
Un crawler/spider web visuale no-code: un software di automazione del browser, raccolta dati e web scraping che consente di progettare ed eseguire attività di crawling in modo grafico senza scrivere codice. Alias: ServiceWrapper, un sistema intelligente di incapsulamento dei servizi per applicazioni web.
La libreria veloce, flessibile ed elegante per l'analisi e la manipolazione di HTML e XML.
Crawlee—Una libreria per web scraping e automazione del browser per Node.js per creare crawler affidabili. In JavaScript e TypeScript. Estrazione dati per AI, LLMs, RAG o GPTs. Download di HTML, PDF, JPG, PNG e altri file da siti web. Funziona con Puppeteer, Playwright, Cheerio, JSDOM e HTTP raw. Sia in modalità headful che headless. Con rotazione proxy.
🚀 API self-hosted per raccogliere dati da Douyin, TikTok e Bilibili e scaricare video senza filigrana. Supporta le chiamate degli agenti IA tramite MCP e la trascrizione vocale offline. Distribuzione Docker con un clic. | Scraper self-hosted per TikTok, Douyin e Bilibili e downloader di video senza filigrana: API REST asincrona, server MCP per agenti IA, CLI e console web, oltre alla trascrizione vocale offline dei video scaricati. Pool di identità autoriparante, archivio PostgreSQL e avvio con un solo `docker compose up`.
Trasforma qualsiasi sito web in un’API strutturata. Estrai, automatizza, cerca e monitora il web.
newspaper3k è un'estrazione di notizie, full-text e metadati di articoli in Python 3. Documentazione avanzata:
Risolutore CAPTCHA automatizzato per il tuo browser. Funziona con Selenium, Puppeteer, Playwright e altro ancora.
Sistema di gestione film AV, avmoo, javbus, javlibrary Crawler, Libreria di film AV online, Database di link magnetici AV, Japanese Adult Video Library, Adult Video Magnet Links - Japanese Adult Video Database
Crawlee: una libreria Python per il web scraping e l’automazione del browser, pensata per creare crawler affidabili. Estrai dati strutturati con gli LLM tramite Pydantic AI oppure controlla il browser in linguaggio naturale con Stagehand. Compatibile con BeautifulSoup, Parsel, Playwright e HTTP grezzo. Scarica HTML, PDF, immagini e altri file. Rotazione dei proxy inclusa.
💡 Scarica il codice sorgente completo di qualsiasi sito web (inclusi tutti gli asset). [ Javascripts, Stylesheets, Images ] usando Node.js
Analisi dei sistemi di protezione dai bot con contromisure disponibili 🚿. Come sconfiggere i sistemi anti-bot 👻 e aggirare gli script di fingerprinting del browser 🕵️♂️ durante lo scraping del web?
Twitter API Scraper | Senza chiave API | API Interna di Twitter | Gratuito | Scraper Twitter | Bot Twitter
Coltellino svizzero per il web scraping e l'estrazione di dati da asset online, fatto per hacker
Un modo guidato dalla community per leggere e chattare con i bot AI, alimentato da chatGPT.
Strumento di scraping dei dati attualmente incentrato sui contenuti per adulti (OnlyFans, ecc.) — aggiornato regolarmente
Esegui una scansione di URL da un elenco di domini e cerca endpoint, segreti, chiavi API, estensioni di file, token e altro.
API di web scraping open source. Trasforma qualsiasi sito web in Markdown pulito o JSON strutturato. Browser anti-rilevamento, selezione automatica dei proxy, self-hosted. Un solo comando: make up
Un plugin scraper per film giapponesi per Emby/Jellyfin che recupera informazioni sui film da alcuni siti web.
Vuoi IMPARARE COSE NUOVE GRATUITAMENTE? Non preoccuparti, con la potenza del web-scraping e dell'automazione, questo script troverà i coupon Udemy necessari e ti iscriverà ai CORSI UDEMY PAGATI, ASSOLUTAMENTE GRATIS!
Libreria Python e CLI per lo scraping di X/Twitter con rotazione multi-account e gestione integrata dei limiti di velocità.
Impara passo dopo passo come fare scraping dei dati di Google Trends e confrontare i risultati utilizzando Python e l'API SERP di Oxylabs. Estrai parole chiave, la loro popolarità, la suddivisione per regione, le query correlate e altro ancora.
Geziyor, framework per web crawling e scraping ultraveloce per Go. Supporta il rendering JS.
Estrai metadati da qualsiasi URL utilizzando Open Graph, JSON-LD, meta tag HTML e fallback intelligenti.
:spider: Il framework crawler PHP progressivo! Framework di raccolta PHP progressivo elegante.
API di TikTok LIVE per Node.js: una libreria non ufficiale per ricevere in tempo reale eventi delle dirette (commenti, regali, ecc.) da TikTok LIVE.
Server MCP di documentazione tecnologica completamente gratuito, privato e basato sull'interfaccia utente. Progettato pensando a programmatori e sviluppatori di software. Facile integrazione in Cursor, Windsurf, Cline, Roo Code, Claude Desktop App
Estrai siti di annunci di lavoro in un unico foglio di calcolo senza duplicati.
La libreria principale di NewPipe per l'estrazione di dati dai siti di streaming
Strumento OSINT gratuito per email, oltre 5.000 piattaforme, raggruppamento delle identità e rilevamento delle violazioni dei dati. Non sono necessarie chiavi API. pip install mailaccess
Scraper di BOSS Zhipin / Strumento di scraping dei dati di lavoro di BOSS Zhipin, basato sul protocollo Chrome CDP per riutilizzare le sessioni di accesso reali, aggirare l'anti-scraping dei font e produrre JSON/CSV di stipendi in testo semplice + analisi delle competenze salariali.
Scarica il sito web nella directory locale (inclusi tutti gli css, immagini, js, ecc.)
Scopri come creare il tuo scraper di Google Jobs che estrae contemporaneamente offerte di lavoro da Google per più query di ricerca e geolocalizzazioni con Python e l'API Google Jobs Scraper di Oxylabs. https://oxylabs.io/blog/how-to-scrape-google-jobs
Scraper di Google Play per raccogliere dettagli pubblici su applicazioni, giochi, film e programmi TV, libri e altro ancora.
Domande frequenti
Qual è il repository #scraper più popolare su GitHub?
Il progetto open source #scraper più alto in classifica su GitHub è firecrawl/firecrawl, con 205,758 stelle. Infrastruttura di conoscenza per rendere più intelligenti i tuoi agenti. Cerca, estrai e accedi a oltre 550 fornitori di dati tramite un’unica API.
Quali linguaggi di programmazione sono più utilizzati nei repository #scraper?
Tra i progetti #scraper più alti in classifica su GitHub, i linguaggi di programmazione più comuni sono Python, TypeScript, Go, JavaScript.
Come viene calcolata la classifica dei repository #scraper?
Monitoriamo 128 repository open source attivi contrassegnati con #scraper (500+ stelle), per un totale di 792,441 stelle e una media di 6,190 stelle per repository. Le classifiche vengono aggiornate quotidianamente tramite l’API di GitHub.