#crawler 저장소
저장소 총 162개
그래픽 인터페이스를 갖춘 사용하기 쉬운 Bilibili 만화 다운로더, 키워드로 만화 검색 및 QR 코드 로그인 지원, 잠금 해제되지 않은 챕터 다운로드를 위한 블랙 테크놀로지, 멀티스레드 다운로드, 다양한 저장 형식, 로컬 만화 관리, 원클릭 업데이트 확인!
📰 Newspaper4k - 사랑받는 Newspaper3k의 포크 버전입니다. 뉴스 웹사이트에서 기사, 제목, 메타데이터를 추출합니다.
OpenSearch 기반의 오픈 소스, 자체 호스팅 엔터프라이즈 및 사이트 검색 서버입니다. 웹/파일/DB/클라우드 소스 크롤링, 20개 이상의 언어 지원, REST API, AI/RAG 및 의미론적 검색 기능을 제공합니다. Apache-2.0 라이선스.
Baidu 검색 결과를 크롤링하는 크롤러인 BaiduSpider는 현재 Baidu 웹 검색, Baidu 이미지 검색, Baidu 지식 검색, Baidu 동영상 검색, Baidu 뉴스 검색, Baidu Wenku 검색, Baidu 경험 검색 및 Baidu 백과 검색을 지원합니다.
Golang 짧은 비디오 워터마크 제거: Douyin, Pipixia, Huoshan, Weishi, Zuiyou, Kuaishou, Quanmin Xiaoshipin, Pipixia Gaoqiao, Xigua Video, Huya, Li Video, AcFun, Haokan Video...
AI 지원 정돈된 DSL을 사용하여 Ruby에서 웹 스크레이퍼를 작성하세요. Kimurai는 AI를 사용해 데이터가 어디에 있는지 파악한 뒤 선택자를 캐시하고 순수 Ruby로 스크레이핑합니다. 요청마다 지연 시간이나 토큰 비용 없이 LLM의 인텔리전스를 활용하세요.
이미 사용 중인 Playwright API를 지원하는 커널 수준 안티탐지 브라우저입니다. Python + Node SDK, MCP 지원, 로컬 프로필 무제한을 제공합니다. Linux x64 + arm64, macOS Intel + Apple Silicon, Windows x64를 지원합니다.
SiteOne Crawler는 SEO, 보안, 접근성 및 성능 최적화를 위한 크로스 플랫폼 웹사이트 크롤러 및 분석기이며 개발자, DevOps, QA 엔지니어 및 컨설턴트에게 이상적입니다. Windows, macOS 및 Linux(x64 및 arm64)를 지원합니다.
크롤러 리버스 엔지니어링 사례, 완료: TLS 지문 | Ruishu | Zhenkunxing | NetEase Yudun | WeChat 미니 프로그램 디컴파일 리버스 엔지니어링 (Baida Xingxi) | Tonghuashun | RPC 복호화 | Jiasule | Jueyan 슬라이더 캡차 | Julang Sanshu | Boss Zhipin | Qichacha | China Minmetals | QQ Music | 산업 정책 빅데이터 플랫폼 | Qizhidiao | Xueqiu.com (acw_sc__v2) | 1688 | Qimai Data | whggzy | Qiming Keji | mohurd | Ejoin Data | Ouke Yunlian
Douyin(抖音), TikTok, Xiaohongshu(小红书), Kuaishou(快手), Weibo(微博), Instagram, YouTube(油管), Twitter(X)용 임시 메일(Temp Mail) API(인터페이스) 고성능 비동기 캡차 해결사(Captcha Solver).
<facundoolano/google-play-scraper>에서 영감을 받은 Python용 Google Play 스크래퍼
ChatWeb은 웹 페이지를 크롤링하고, PDF, DOCX, TXT를 읽고 주요 콘텐츠를 추출한 다음, 해당 콘텐츠를 기반으로 질문에 답하거나 주요 요점을 요약할 수 있습니다.
Kotlin 기반의 테스트/스크래핑/파싱 라이브러리로, 서버 및 클라이언트 측 렌더링된 HTML에서 데이터를 분석하고 추출할 수 있는 기능을 제공합니다. 직관적인 DSL을 제공하여 사용의 용이성과 높은 가독성을 강조합니다. 테스트 라이브러리를 목표로 하지만, 편리한 방식으로 웹사이트를 스크래핑하는 데도 사용할 수 있습니다.
Krawl은 사용자 지정 가능하고 가벼운 클라우드 네이티브 웹 속임수 서버이자 안티 크롤러로, 현실적이고 무작위로 생성된 미끼 데이터와 AI 생성 HTML 템플릿을 사용하여 낮은 임계값 취약점이 있는 가짜 웹 애플리케이션을 만듭니다.
다양한 Ruby 웹 스파이더링 라이브러리로, 사이트, 여러 도메인, 특정 링크 또는 무한정 스파이더링할 수 있습니다. Spidr은 빠르고 사용하기 쉬운 디자인입니다.
The Big Brother는 사용자 이름 열거(473개 이상의 플랫폼), 4중 벡터 시각 정보 분석, Sky Radar 추적, 암호화폐 지갑 분석, SSL 인텔리전스, 디지털 발자국 재구성, EXIF 추출, 고급 도킹, 네트워크 정찰 기능을 갖춘 무기화된 OSINT 플랫폼입니다.
JS 쿠키 리버스 엔지니어링의 핵심 도구: JS 쿠키 변경 감시 시각화 도구 & 조건부 중단점을 위한 JS 쿠키 훅
🕵️♂️ LinkedIn 프로필 스크래퍼, JSON 형식의 구조화된 프로필 데이터를 반환합니다.