Git Stars Git Stars

#crawler Repository

162
Totale Repository
1.1M
Totale stelle
6,863
Media Stelle/Repo

162 repository in totale

151
fengzhizi715/NetDiscovery

NetDiscovery è un framework/middleware di crawling per uso generale implementato basandosi su framework come Vert.x e RxJava 2.

fengzhizi715
⭐ 643 Java 👤 fengzhizi715 User 🕐 Aggiornato 2026-06-05 📅 Creato 2017-11-26
152
cv-cat/catbus

Un solo comando per usare Xiaohongshu, Douyin, TikTok, Bilibili, Kuaishou, Weibo, Xianyu, Taobao, JD.com e X: comandi unificati e output JSON per persone e agenti IA

cv-cat
⭐ 641 TypeScript 👤 cv-cat User 🕐 Aggiornato 2026-11-20 📅 Creato 2026-09-27
153
rajatomar788/pywebcopy

Salva localmente le pagine web sul tuo disco rigido con immagini, CSS, JS e link così come sono.

rajatomar788
⭐ 639 Python 👤 rajatomar788 User 🕐 Aggiornato 2025-05-13 📅 Creato 2018-07-23
154
scrapfly/Antibot-Detector

Rilevamento in tempo reale di sistemi anti-bot, captcha e tecniche di fingerprinting. Identifica Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security e altri, con punteggio di affidabilità e strumenti avanzati di acquisizione.

scrapfly
⭐ 636 JavaScript 👤 scrapfly Organization 🕐 Aggiornato 2026-11-17 📅 Creato 2025-09-03
155
yhy0/Jie

Jie si distingue come uno strumento completo di valutazione della sicurezza e di exploitation meticolosamente creato per le applicazioni web. La sua solida suite di funzionalità comprende la scansione delle vulnerabilità, la raccolta di informazioni e lo sfruttamento, elevandolo a un toolkit indispensabile sia per i professionisti della sicurezza che per i penetration tester. 挖洞辅助工具(漏洞扫描、信息收集)

yhy0
⭐ 599 Go 👤 yhy0 User 🕐 Aggiornato 2024-07-05 📅 Creato 2023-01-30
156
CharlesPikachu/freeproxy

FreeProxy: Raccolta di proxy gratuiti da internet. (Grande quantità di proxy gratuiti di alta qualità in tutto il mondo, supporto per il crawling di decine di fonti di condivisione di proxy gratuiti, filtraggio dei proxy con regole personalizzate, essenziale per il web scraping e l'analisi dei dati, aggiornato quotidianamente con una grande quantità di proxy gratuiti.)

CharlesPikachu
⭐ 594 Python 👤 CharlesPikachu User 🕐 Aggiornato 2026-11-21 📅 Creato 2018-10-29
157
vakra-dev/reader

Infrastruttura web open source per l'IA. Esegui lo scraping, il crawling e l'automazione del web, pulisci markdown, sessioni del browser, pronta per i tuoi agenti.

vakra-dev
⭐ 577 TypeScript 👤 vakra-dev Organization 🕐 Aggiornato 2026-10-06 📅 Creato 2026-01-07
158
zhuyingda/webster

Un framework affidabile di alto livello per il web crawling e scraping per Node.js.

zhuyingda
⭐ 560 JavaScript 👤 zhuyingda User 🕐 Aggiornato 2025-03-12 📅 Creato 2017-11-04
159
MikeMeliz/TorCrawl.py

Crawla ed estrai pagine web (normali o onion) tramite rete TOR

MikeMeliz
⭐ 550 Python 👤 MikeMeliz User 🕐 Aggiornato 2026-06-29 📅 Creato 2016-12-05
160
dirtyfilthy/freshonions-torscraper

Fresh Onions è uno spider TOR open source / crawler di servizi nascosti onion, ospitato su zlal32teyptf4tvi.onion

dirtyfilthy
⭐ 543 Python 👤 dirtyfilthy User 🕐 Aggiornato 2026-11-19 📅 Creato 2017-02-15
161
dengmeiluan/ticket-monitoring

✈️ Monitoraggio dei prezzi dei voli multicanale e self-hosted: raccolta dei dettagli dei voli → notifiche con testo e immagini tramite DingTalk → avvisi intensivi su quattro livelli al raggiungimento degli obiettivi. Le rotte nazionali e internazionali (destinazioni nei cinque continenti) condividono lo stesso flusso di raccolta, valutazione e notifica. I dati restano sul tuo dispositivo, tutte le impostazioni si gestiscono via web ed è open source e gratuito.

dengmeiluan
⭐ 528 Python 👤 dengmeiluan User 🕐 Aggiornato 2026-11-18 📅 Creato 2026-09-15
162
AlexMathew/scrapple

Un framework per la creazione di estrattori di contenuti web semi-automatici

AlexMathew
⭐ 506 Python 👤 AlexMathew User 🕐 Aggiornato 2026-01-16 📅 Creato 2014-12-13