Git Stars Git Stars

#scraping Repository

109
Totale Repository
768,143
Totale stelle
7,047
Media Stelle/Repo
51
tinyfish-io/agentql

AgentQL รจ una suite di strumenti per connettere la tua AI al web. Dotato di un linguaggio di query e integrazioni Playwright per interagire con gli elementi ed estrarre dati in modo rapido, preciso e su larga scala. Include API REST, SDK Python e JavaScript, debugger per browser.

tinyfish-io
โญ 1,510 Python ๐Ÿ‘ค tinyfish-io Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2024-02-20
52
rebrowser/rebrowser-patches

Raccolta di patch per puppeteer e playwright per evitare il rilevamento dell'automazione e le perdite. Aiuta a evitare le pagine CAPTCHA di Cloudflare e DataDome. Facile da patchare/unpatchare, puรฒ essere abilitato/disabilitato su richiesta.

rebrowser
โญ 1,468 JavaScript ๐Ÿ‘ค rebrowser Organization ๐Ÿ• Aggiornato 2026-11-02 ๐Ÿ“… Creato 2024-08-06
53
ScrapingBee/chatgpt-scraper-api

Raccogli risposte strutturate da uno scraper ChatGPT inviando un prompt con credenziali API di scraping ChatGPT valide. Abilita la ricerca live, inietta il contesto HTML e automatizza flussi di lavoro intelligenti di scraper ChatGPT con pochi parametri.

ScrapingBee
โญ 1,465 ๐Ÿ‘ค ScrapingBee Organization ๐Ÿ• Aggiornato 2026-07-15 ๐Ÿ“… Creato 2026-03-12
54
okfn-brasil/querido-diario

๐Ÿ“ฐ Diari ufficiali brasiliani accessibili a tutti | ๐Ÿ“ฐ Gazeboe governative brasiliane, accessibili a tutti.

okfn-brasil
โญ 1,424 Python ๐Ÿ‘ค okfn-brasil Organization ๐Ÿ• Aggiornato 2026-10-12 ๐Ÿ“… Creato 2018-04-01
55
feder-cr/invisible_puppeteer

Puppeteer per Python che i sistemi anti-bot non riescono a rilevare, cosรฌ non ci sono CAPTCHA: stessa API, Firefox headless stealth anti-rilevamento, impronta digitale non rilevabile, aggiramento del rilevamento dei bot, scraping web e automazione del browser.

feder-cr
โญ 1,403 Python ๐Ÿ‘ค feder-cr User ๐Ÿ• Aggiornato 2026-10-19 ๐Ÿ“… Creato 2024-09-01
56
raznem/parsera

Libreria leggera per lo scraping di siti web con LLM

raznem
โญ 1,372 Python ๐Ÿ‘ค raznem User ๐Ÿ• Aggiornato 2025-12-17 ๐Ÿ“… Creato 2024-08-12
57
lorey/mlscraper

๐Ÿค– Esegui lo scraping dei dati dai siti web HTML automaticamente fornendo solo esempi

lorey
โญ 1,370 Python ๐Ÿ‘ค lorey User ๐Ÿ• Aggiornato 2024-03-17 ๐Ÿ“… Creato 2020-07-30
58
scrapy/parsel

Parsel ti permette di estrarre dati da documenti XML/HTML utilizzando selettori XPath o CSS

scrapy
โญ 1,368 Python ๐Ÿ‘ค scrapy Organization ๐Ÿ• Aggiornato 2026-11-12 ๐Ÿ“… Creato 2015-04-24
59
mov-cli/mov-cli

Guarda tutto dal tuo terminale.

mov-cli
โญ 1,313 Python ๐Ÿ‘ค mov-cli Organization ๐Ÿ• Aggiornato 2025-10-05 ๐Ÿ“… Creato 2022-03-11
60
daijro/browserforge

๐ŸŽญ Generatore intelligente di intestazioni e impronte digitali del browser

daijro
โญ 1,298 Python ๐Ÿ‘ค daijro User ๐Ÿ• Aggiornato 2026-10-29 ๐Ÿ“… Creato 2024-03-13
61
plabayo/rama

framework di servizi modulare per spostare e trasformare pacchetti di rete

plabayo
โญ 1,273 Rust ๐Ÿ‘ค plabayo Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2022-08-07
62
Decodo/Decodo

Proxy residenziali rotanti HTTP(S)/SOCKS5 - esempi di codice e informazioni generali.

Decodo
โญ 1,264 Java ๐Ÿ‘ค Decodo Organization ๐Ÿ• Aggiornato 2026-11-11 ๐Ÿ“… Creato 2019-01-07
63
neon-mmd/websurfx

:rocket: Un'alternativa open source a searx che fornisce un motore di meta-ricerca dall'aspetto moderno :sparkles:, velocissimo :zap:, rispettoso della privacy :disguised_face:, sicuro :lock:

neon-mmd
โญ 1,231 Rust ๐Ÿ‘ค neon-mmd User ๐Ÿ• Aggiornato 2026-11-06 ๐Ÿ“… Creato 2023-04-28
64
datawhores/OF-Scraper

Un fork completamente rinnovato e riprogettato, con supporto per OnlyFans e Fansly, ripensato da zero sulla base dellโ€™onlyfans-scraper originale.

datawhores
โญ 1,219 Python ๐Ÿ‘ค datawhores User ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2023-03-22
65
germondai/trawl

Motore di scraping self-hosted โ€” bypassa qualsiasi sfida JS e captcha: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Alternativa a FlareSolverr e Byparr e sostituto diretto per il tuo stack *arr.

germondai
โญ 1,209 TypeScript ๐Ÿ‘ค germondai User ๐Ÿ• Aggiornato 2026-11-16 ๐Ÿ“… Creato 2026-06-26
66
AndyTheFactory/newspaper4k

๐Ÿ“ฐ Newspaper4k, un fork dell'amato Newspaper3k. Estrazione di articoli, titoli e metadati da siti di notizie.

AndyTheFactory
โญ 1,170 Python ๐Ÿ‘ค AndyTheFactory User ๐Ÿ• Aggiornato 2026-11-01 ๐Ÿ“… Creato 2023-10-22
67
bellingcat/auto-archiver

Archivia automaticamente collegamenti a video, immagini e contenuti di social media da Google Sheets (e altro).

bellingcat
โญ 1,158 Python ๐Ÿ‘ค bellingcat Organization ๐Ÿ• Aggiornato 2026-11-18 ๐Ÿ“… Creato 2021-01-15
68
soxoj/socid-extractor

โ›๏ธ Il motore di estrazione dietro Maigret: trasforma qualsiasi URL di profilo in un record OSINT strutturato su oltre 150 siti

soxoj
โญ 1,143 Python ๐Ÿ‘ค soxoj User ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2019-11-17
69
ai-to-ai/Auto-Gmail-Creator

Bot per la Creazione Automatica di Gmail Bulk Open Source con Selenium & Seleniumwire (Python). Non esitate a contattarmi per Django/Flask, ML, AI, GPT, Automazione, Scraping.

ai-to-ai
โญ 1,138 Python ๐Ÿ‘ค ai-to-ai User ๐Ÿ• Aggiornato 2024-09-26 ๐Ÿ“… Creato 2023-02-20
70
scrapfly/scrapfly-scrapers

Script Python scalabili per il web scraping di oltre 80 domini popolari

scrapfly
โญ 1,133 Python ๐Ÿ‘ค scrapfly Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2023-05-22
71
elixir-crawly/crawly

Crawly, un framework di alto livello per web crawling e scraping per Elixir.

elixir-crawly
โญ 1,129 Elixir ๐Ÿ‘ค elixir-crawly Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2019-03-09
72
online-judge-tools/oj

Strumenti per vari giudici online. Scaricamento di casi di esempio, generazione di casi di test aggiuntivi, test del tuo codice e invio.

online-judge-tools
โญ 1,128 Python ๐Ÿ‘ค online-judge-tools Organization ๐Ÿ• Aggiornato 2024-05-03 ๐Ÿ“… Creato 2017-01-05
73
viu-media/viu

La tua esperienza anime dal browser dal terminale

viu-media
โญ 1,062 Python ๐Ÿ‘ค viu-media Organization ๐Ÿ• Aggiornato 2026-05-06 ๐Ÿ“… Creato 2024-05-27
74
jfilter/clean-text

๐Ÿงน Pacchetto Python per la pulizia del testo

jfilter
โญ 1,031 Python ๐Ÿ‘ค jfilter User ๐Ÿ• Aggiornato 2026-10-26 ๐Ÿ“… Creato 2018-12-06
75
daijro/hrequests

Web scraping per il Web

daijro
โญ 976 Python ๐Ÿ‘ค daijro User ๐Ÿ• Aggiornato 2024-12-01 ๐Ÿ“… Creato 2023-07-06
76
Krasjet/pdf.tocgen

Un set di strumenti CLI per generare automaticamente sommari per file PDF.

Krasjet
โญ 853 Python ๐Ÿ‘ค Krasjet User ๐Ÿ• Aggiornato 2026-05-13 ๐Ÿ“… Creato 2020-07-28
77
leoncvlt/loconotion

๐Ÿ“„ Strumento Python per trasformare le pagine di Notion.so in siti web statici leggeri e personalizzabili

leoncvlt
โญ 853 Python ๐Ÿ‘ค leoncvlt User ๐Ÿ• Aggiornato 2024-07-22 ๐Ÿ“… Creato 2020-05-16
78
tiliondev/fortress

Motore Chromium stealth che impedisce a scraper e agenti del browser di essere bloccati con una sola modifica a una riga di codice.

tiliondev
โญ 817 Python ๐Ÿ‘ค tiliondev Organization ๐Ÿ• Aggiornato 2026-11-03 ๐Ÿ“… Creato 2026-07-02
79
MorvanZhou/easy-scraping-tutorial

Codice di tutorial semplice ma utile per il web scraping in Python.

MorvanZhou
โญ 814 Jupyter Notebook ๐Ÿ‘ค MorvanZhou User ๐Ÿ• Aggiornato 2024-04-07 ๐Ÿ“… Creato 2017-12-29
80
Lookyloo/lookyloo

Lookyloo รจ un'interfaccia web che permette agli utenti di catturare una pagina di un sito web e poi visualizzare un albero di domini che si chiamano a vicenda.

Lookyloo
โญ 790 Python ๐Ÿ‘ค Lookyloo Organization ๐Ÿ• Aggiornato 2026-11-20 ๐Ÿ“… Creato 2017-07-23
81
alpkeskin/rota

Un motore di rotazione proxy ad alte prestazioni con gestione automatica degli IP e monitoraggio in tempo reale dello stato di salute

alpkeskin
โญ 775 Go ๐Ÿ‘ค alpkeskin User ๐Ÿ• Aggiornato 2026-09-25 ๐Ÿ“… Creato 2024-06-02
82
ZacharyHampton/HomeHarvest

Pacchetto Python per il scraping di dati immobiliari

ZacharyHampton
โญ 764 Python ๐Ÿ‘ค ZacharyHampton User ๐Ÿ• Aggiornato 2025-12-26 ๐Ÿ“… Creato 2023-09-15
83
serpapi/google-search-results-python

Risultati di ricerca Google tramite SERP API pip Python Package

serpapi
โญ 762 Python ๐Ÿ‘ค serpapi Organization ๐Ÿ• Aggiornato 2026-08-18 ๐Ÿ“… Creato 2018-01-10
84
1broseidon/ketch

CLI veloce e stateless per la ricerca e lโ€™estrazione di contenuti dal Web. Progettata per gli agenti di IA.

1broseidon
โญ 756 Go ๐Ÿ‘ค 1broseidon User ๐Ÿ• Aggiornato 2026-11-19 ๐Ÿ“… Creato 2026-03-25
85
josephlimtech/linkedin-profile-scraper-api

๐Ÿ•ต๏ธโ€โ™‚๏ธ Scraper di profili LinkedIn che restituisce dati di profilo strutturati in JSON.

josephlimtech
โญ 725 TypeScript ๐Ÿ‘ค josephlimtech User ๐Ÿ• Aggiornato 2024-04-05 ๐Ÿ“… Creato 2018-12-21
86
prescience-data/dark-knowledge

๐Ÿ˜ˆ๐Ÿ“š Una libreria curata di ricerche e presentazioni per gli appassionati di anti-rilevamento e privacy web.

prescience-data
โญ 715 JavaScript ๐Ÿ‘ค prescience-data User ๐Ÿ• Aggiornato 2024-02-19 ๐Ÿ“… Creato 2021-04-15
87
Yuvi9587/Kemono-Downloader

Kemono pawchive Downloader รจ un'applicazione veloce basata su PyQt5 per archiviare contenuti da una vasta gamma di siti, tra cui Kemono, Coomer, Bunkr, Erome, Saint2.su, nhentai e Discord. Dispone di un browser per i creatori, un controllo degli aggiornamenti e supporta download multi-thread e multi-parte. Le sessioni possono essere messe in pausa, riprese o recuperare filtri.

Yuvi9587
โญ 675 Python ๐Ÿ‘ค Yuvi9587 User ๐Ÿ• Aggiornato 2026-11-12 ๐Ÿ“… Creato 2025-05-05
88
ScriptSmith/socialreaper

Libreria per lo scraping e la raccolta di dati dai social media tramite le API di Facebook, Twitter, Reddit, YouTube, Pinterest e Tumblr

ScriptSmith
โญ 668 Python ๐Ÿ‘ค ScriptSmith User ๐Ÿ• Aggiornato 2026-09-29 ๐Ÿ“… Creato 2017-01-31
89
Xonshiz/comic-dl

Comic-dl รจ uno strumento da linea di comando per scaricare manga e fumetti da vari siti di fumetti e manga. Siti supportati: readcomiconline.to, mangafox.me, comic naver e molti altri.

Xonshiz
โญ 667 Python ๐Ÿ‘ค Xonshiz User ๐Ÿ• Aggiornato 2025-07-31 ๐Ÿ“… Creato 2016-11-13
90
freelawproject/juriscraper

Un'API per fare scraping di metadati dai siti web dei tribunali americani.

freelawproject
โญ 664 HTML ๐Ÿ‘ค freelawproject Organization ๐Ÿ• Aggiornato 2026-11-21 ๐Ÿ“… Creato 2014-08-08
91
AnonCatalyst/Ominis-OSINT

Questa applicazione Python รจ uno strumento OSINT (Open Source Intelligence) chiamato "Ominis OSINT - Web Hunter". Esegue la raccolta di informazioni online interrogando Google per i risultati di ricerca relativi a una query inserita dall'utente. Lo strumento estrae informazioni rilevanti come titoli, URL e potenziali menzioni della query nei risultati.

AnonCatalyst
โญ 655 Python ๐Ÿ‘ค AnonCatalyst User ๐Ÿ• Aggiornato 2026-11-17 ๐Ÿ“… Creato 2023-10-09
92
gunkonchi/xscrape

Client Python asincrono per raccogliere dati pubblici da X (Twitter): ricerche, profili, thread, risposte e contenuti multimediali. Include la rotazione degli account, la limitazione adattiva delle richieste e lโ€™esportazione in JSON/CSV/SQLite.

gunkonchi
โญ 647 Python ๐Ÿ‘ค gunkonchi User ๐Ÿ• Aggiornato 2026-10-20 ๐Ÿ“… Creato 2026-09-26
93
lorey/social-media-profiles-regexs

:card_index: Estrai profili social e altro con espressioni regolari

lorey
โญ 642 Python ๐Ÿ‘ค lorey User ๐Ÿ• Aggiornato 2024-01-11 ๐Ÿ“… Creato 2015-06-24
94
scrapfly/Antibot-Detector

Rilevamento in tempo reale di sistemi anti-bot, captcha e tecniche di fingerprinting. Identifica Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security e altri, con punteggio di affidabilitร  e strumenti avanzati di acquisizione.

scrapfly
โญ 636 JavaScript ๐Ÿ‘ค scrapfly Organization ๐Ÿ• Aggiornato 2026-11-17 ๐Ÿ“… Creato 2025-09-03
95
l4rm4nd/LinkedInDumper

Script Python 3 per scaricare/eseguire lo scraping/estrarre dipendenti aziendali dall'API di LinkedIn

l4rm4nd
โญ 624 Python ๐Ÿ‘ค l4rm4nd User ๐Ÿ• Aggiornato 2026-08-21 ๐Ÿ“… Creato 2022-10-17
96
ksanjeev284/reddit-universal-scraper

Universal Reddit Scraper - Funziona su qualsiasi Subreddit o Utente

ksanjeev284
โญ 620 Python ๐Ÿ‘ค ksanjeev284 User ๐Ÿ• Aggiornato 2026-10-22 ๐Ÿ“… Creato 2025-12-13
97
umihico/docker-selenium-lambda

La demo piรน semplice di automazione di Chrome con Python e Selenium in AWS Lambda

umihico
โญ 614 Dockerfile ๐Ÿ‘ค umihico User ๐Ÿ• Aggiornato 2026-11-12 ๐Ÿ“… Creato 2021-03-12
98
kr4ude/onlyfans-scraper

Uno strumento che ti consente di estrarre contenuti multimediali da qualsiasi account Onlyfans e altro

kr4ude
โญ 605 Python ๐Ÿ‘ค kr4ude User ๐Ÿ• Aggiornato 2025-11-25 ๐Ÿ“… Creato 2025-11-10
99
drudge/n8n-nodes-puppeteer

Nodo n8n per l'automazione del browser tramite Puppeteer

drudge
โญ 589 TypeScript ๐Ÿ‘ค drudge User ๐Ÿ• Aggiornato 2026-05-08 ๐Ÿ“… Creato 2022-05-07
100
spekulatius/PHPScraper

Un utility web universale per PHP.

spekulatius
โญ 588 PHP ๐Ÿ‘ค spekulatius User ๐Ÿ• Aggiornato 2026-09-08 ๐Ÿ“… Creato 2020-04-21