#crawler 저장소
저장소 총 162개
NetDiscovery는 Vert.x, RxJava 2와 같은 프레임워크를 기반으로 구현된 범용 크롤러 프레임워크/미들웨어입니다.
하나의 명령으로 Xiaohongshu, Douyin, TikTok, Bilibili, Kuaishou, Weibo, Xianyu, Taobao, JD.com, X 사용: 사람과 AI 에이전트를 위한 통합 명령 및 JSON 출력
안티봇 시스템, 캡차 및 핑거프린팅 기술을 실시간으로 탐지합니다. Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security 등을 식별하며 신뢰도 점수와 고급 캡처 도구를 제공합니다.
Jie는 웹 애플리케이션을 위해 세심하게 제작된 포괄적인 보안 평가 및 악용 도구로 두각을 나타냅니다. 강력한 기능군은 취약점 스캔, 정보 수집 및 악용을 포함하여 보안 전문가와 침투 테스터 모두에게 필수적인 툴킷이 됩니다. 挖洞辅助工具(漏洞扫描、信息收集)
FreeProxy: 인터넷에서 무료 프록시를 수집합니다. (전 세계의 대량 고품질 무료 프록시, 수십 개의 무료 프록시 공유 소스 크롤링 지원, 사용자 정의 규칙 프록시 필터링 지원, 웹 스크래핑 및 데이터 분석에 필수, 매일 대량의 무료 프록시 업데이트.)
AI를 위한 오픈 소스 웹 인프라스트럭처. 웹을 스크랩하고, 크롤링하며, 자동화하고, 마크다운을 정리하고, 브라우저 세션을 관리하여 에이전트에 바로 사용할 수 있습니다.
Fresh Onions는 zlal32teyptf4tvi.onion에서 호스팅되는 오픈 소스 TOR 스파이더 / 히든 서비스 onion 크롤러입니다
✈️ 셀프 호스팅 방식의 멀티채널 항공권 가격 모니터링: 항공편 상세 정보 수집 → DingTalk로 텍스트·이미지 알림 전송 → 조건 달성 시 4단계 강력 알림. 국내선과 국제선(5대륙 목적지)에 동일한 수집·판정·알림 흐름을 적용합니다. 데이터는 로컬 기기에 보관되고, 모든 설정은 웹에서 할 수 있으며, 오픈 소스로 무료입니다.