#web-scraping 저장소
저장소 총 382개
자체 호스팅 스크래핑 엔진 — 모든 JS 챌린지 및 캡차 우회: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. FlareSolverr 및 Byparr의 대안이며 *arr 스택을 직접 대체할 수 있습니다.
이 리포지토리에는 "OSINT를 위한 파이썬. 초보자를 위한 21일 코스" 과정의 각 날짜에 대한 샘플 코드 파일이 포함되어 있습니다.
AI 지원 정돈된 DSL을 사용하여 Ruby에서 웹 스크레이퍼를 작성하세요. Kimurai는 AI를 사용해 데이터가 어디에 있는지 파악한 뒤 선택자를 캐시하고 순수 Ruby로 스크레이핑합니다. 요청마다 지연 시간이나 토큰 비용 없이 LLM의 인텔리전스를 활용하세요.
muapi에서 호스팅하는 660개 이상의 생성형 미디어 모델과 커뮤니티가 제출한 서드파티 API 도구(SEO, 데이터 보강, 소셜, 스크래핑)를 제공합니다. 항목마다 YAML 파일 하나로 구성되며 기능별로 찾아볼 수 있습니다.
이미 사용 중인 Playwright API를 지원하는 커널 수준 안티탐지 브라우저입니다. Python + Node SDK, MCP 지원, 로컬 프로필 무제한을 제공합니다. Linux x64 + arm64, macOS Intel + Apple Silicon, Windows x64를 지원합니다.
해당 직책의 마지막 수정 시간을 한눈에 볼 수 있습니다. 녹색은 2주 이내, 황갈색은 1.5개월 이내, 붉은색은 1.5개월 이상을 의미합니다.
웨이보 데이터 기반 소셜 미디어 감성 분석 프로젝트, 웨이보 크롤러, LDA 토픽 분석 및 감성 분석 포함.
SiteOne Crawler는 SEO, 보안, 접근성 및 성능 최적화를 위한 크로스 플랫폼 웹사이트 크롤러 및 분석기이며 개발자, DevOps, QA 엔지니어 및 컨설턴트에게 이상적입니다. Windows, macOS 및 Linux(x64 및 arm64)를 지원합니다.
"WebVoyager: WebVoyager: Building an End-to-End Web Agent with Large Multimodal Models"의 코드
Geektime 강의 다운로더, Geektime 칼럼/동영상 강의/일일 강의/대기업 실습/부트캠프 동영상 다운로드 지원
이 브라우저는 Codex나 Claude Code와 같은 AI 에이전트가 브라우저 자동화 작업을 수행하도록 특별히 제작된 경량 헤드리스 브라우저입니다. 다양한 웹 보호 시스템과 로그인 절차, 리버스 엔지니어링 시나리오를 처리할 수 있도록 설계되었습니다.
구매한 책에 대한 백업 복사본을 만들 수 있는 이 도구를 사용하여 Kindle 전자책을 보다 자동화된 방식으로 일괄 다운로드할 수 있습니다.
ChatGPT Team (Business) 프로모션 코드 자동 스캔 도구 — 일괄 발견/검증/가격 수집, 17개국 34개 코드 지원, 최대 71% 할인 | ChatGPT Business promo code scanner — batch discovery, validation, price collection, 34 codes across 17 countries, up to 71% off
Dorks Eye Google Hacking Dork Scraping and Searching Script. Dorks Eye는 제가 python 3으로 만든 스크립트입니다. 이 도구를 사용하면 Google Dorks를 쉽게 찾을 수 있습니다. Dork Eye는 인터넷에서 잠재적으로 취약한 웹 페이지 및 애플리케이션 또는 Google의 검색 봇이 수집하는 기타 멋진 정보를 수집합니다. 저자: Jolanda de Koff