#scraping Repository
109 repository in totale
AgentQL รจ una suite di strumenti per connettere la tua AI al web. Dotato di un linguaggio di query e integrazioni Playwright per interagire con gli elementi ed estrarre dati in modo rapido, preciso e su larga scala. Include API REST, SDK Python e JavaScript, debugger per browser.
Raccolta di patch per puppeteer e playwright per evitare il rilevamento dell'automazione e le perdite. Aiuta a evitare le pagine CAPTCHA di Cloudflare e DataDome. Facile da patchare/unpatchare, puรฒ essere abilitato/disabilitato su richiesta.
Raccogli risposte strutturate da uno scraper ChatGPT inviando un prompt con credenziali API di scraping ChatGPT valide. Abilita la ricerca live, inietta il contesto HTML e automatizza flussi di lavoro intelligenti di scraper ChatGPT con pochi parametri.
๐ฐ Diari ufficiali brasiliani accessibili a tutti | ๐ฐ Gazeboe governative brasiliane, accessibili a tutti.
Puppeteer per Python che i sistemi anti-bot non riescono a rilevare, cosรฌ non ci sono CAPTCHA: stessa API, Firefox headless stealth anti-rilevamento, impronta digitale non rilevabile, aggiramento del rilevamento dei bot, scraping web e automazione del browser.
๐ค Esegui lo scraping dei dati dai siti web HTML automaticamente fornendo solo esempi
Parsel ti permette di estrarre dati da documenti XML/HTML utilizzando selettori XPath o CSS
Proxy residenziali rotanti HTTP(S)/SOCKS5 - esempi di codice e informazioni generali.
:rocket: Un'alternativa open source a searx che fornisce un motore di meta-ricerca dall'aspetto moderno :sparkles:, velocissimo :zap:, rispettoso della privacy :disguised_face:, sicuro :lock:
Un fork completamente rinnovato e riprogettato, con supporto per OnlyFans e Fansly, ripensato da zero sulla base dellโonlyfans-scraper originale.
Motore di scraping self-hosted โ bypassa qualsiasi sfida JS e captcha: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. Alternativa a FlareSolverr e Byparr e sostituto diretto per il tuo stack *arr.
๐ฐ Newspaper4k, un fork dell'amato Newspaper3k. Estrazione di articoli, titoli e metadati da siti di notizie.
Archivia automaticamente collegamenti a video, immagini e contenuti di social media da Google Sheets (e altro).
โ๏ธ Il motore di estrazione dietro Maigret: trasforma qualsiasi URL di profilo in un record OSINT strutturato su oltre 150 siti
Bot per la Creazione Automatica di Gmail Bulk Open Source con Selenium & Seleniumwire (Python). Non esitate a contattarmi per Django/Flask, ML, AI, GPT, Automazione, Scraping.
Script Python scalabili per il web scraping di oltre 80 domini popolari
Crawly, un framework di alto livello per web crawling e scraping per Elixir.
Strumenti per vari giudici online. Scaricamento di casi di esempio, generazione di casi di test aggiuntivi, test del tuo codice e invio.
๐ Strumento Python per trasformare le pagine di Notion.so in siti web statici leggeri e personalizzabili
Motore Chromium stealth che impedisce a scraper e agenti del browser di essere bloccati con una sola modifica a una riga di codice.
Codice di tutorial semplice ma utile per il web scraping in Python.
Lookyloo รจ un'interfaccia web che permette agli utenti di catturare una pagina di un sito web e poi visualizzare un albero di domini che si chiamano a vicenda.
Un motore di rotazione proxy ad alte prestazioni con gestione automatica degli IP e monitoraggio in tempo reale dello stato di salute
Risultati di ricerca Google tramite SERP API pip Python Package
CLI veloce e stateless per la ricerca e lโestrazione di contenuti dal Web. Progettata per gli agenti di IA.
๐ต๏ธโโ๏ธ Scraper di profili LinkedIn che restituisce dati di profilo strutturati in JSON.
๐๐ Una libreria curata di ricerche e presentazioni per gli appassionati di anti-rilevamento e privacy web.
Kemono pawchive Downloader รจ un'applicazione veloce basata su PyQt5 per archiviare contenuti da una vasta gamma di siti, tra cui Kemono, Coomer, Bunkr, Erome, Saint2.su, nhentai e Discord. Dispone di un browser per i creatori, un controllo degli aggiornamenti e supporta download multi-thread e multi-parte. Le sessioni possono essere messe in pausa, riprese o recuperare filtri.
Libreria per lo scraping e la raccolta di dati dai social media tramite le API di Facebook, Twitter, Reddit, YouTube, Pinterest e Tumblr
Comic-dl รจ uno strumento da linea di comando per scaricare manga e fumetti da vari siti di fumetti e manga. Siti supportati: readcomiconline.to, mangafox.me, comic naver e molti altri.
Un'API per fare scraping di metadati dai siti web dei tribunali americani.
Questa applicazione Python รจ uno strumento OSINT (Open Source Intelligence) chiamato "Ominis OSINT - Web Hunter". Esegue la raccolta di informazioni online interrogando Google per i risultati di ricerca relativi a una query inserita dall'utente. Lo strumento estrae informazioni rilevanti come titoli, URL e potenziali menzioni della query nei risultati.
Client Python asincrono per raccogliere dati pubblici da X (Twitter): ricerche, profili, thread, risposte e contenuti multimediali. Include la rotazione degli account, la limitazione adattiva delle richieste e lโesportazione in JSON/CSV/SQLite.
:card_index: Estrai profili social e altro con espressioni regolari
Rilevamento in tempo reale di sistemi anti-bot, captcha e tecniche di fingerprinting. Identifica Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security e altri, con punteggio di affidabilitร e strumenti avanzati di acquisizione.
Script Python 3 per scaricare/eseguire lo scraping/estrarre dipendenti aziendali dall'API di LinkedIn
Universal Reddit Scraper - Funziona su qualsiasi Subreddit o Utente
La demo piรน semplice di automazione di Chrome con Python e Selenium in AWS Lambda
Uno strumento che ti consente di estrarre contenuti multimediali da qualsiasi account Onlyfans e altro