#scraper 저장소
저장소 총 128개
완전히 무료이며 오픈 소스인 사람과 유사한 Instagram 봇입니다. UIAutomator2로 구동되며 Instagram을 실행할 수 있는 5.0 이상 버전의 Android 기기(실제 또는 에뮬레이터)와 기본적으로 호환됩니다.
드라마/애니메이션 자동 이름 변경 도구, 한 번의 클릭으로 일괄 이름 변경. Qbittorrent 다운로드 후 자동으로 이름 변경하여 Emby 자동 스크래핑을 용이하게 할 수 있습니다. Windows, Linux, MacOS, Docker 및 Synology 패키지 환경에서 실행을 지원합니다.
Cinemagoer는 IMDb(당사와는 어떠한 관계도 없음) 영화 데이터베이스에서 영화, 인물, 캐릭터에 대한 데이터를 검색하고 관리하는 데 유용한 파이썬 패키지입니다.
원본 onlyfans-scraper를 기반으로 처음부터 새롭게 구상해 완전히 개선하고 재설계한 포크로, OnlyFans와 Fansly를 지원합니다.
자체 호스팅 스크래핑 엔진 — 모든 JS 챌린지 및 캡차 우회: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. FlareSolverr 및 Byparr의 대안이며 *arr 스택을 직접 대체할 수 있습니다.
📰 Newspaper4k - 사랑받는 Newspaper3k의 포크 버전입니다. 뉴스 웹사이트에서 기사, 제목, 메타데이터를 추출합니다.
AI 지원 정돈된 DSL을 사용하여 Ruby에서 웹 스크레이퍼를 작성하세요. Kimurai는 AI를 사용해 데이터가 어디에 있는지 파악한 뒤 선택자를 캐시하고 순수 Ruby로 스크레이핑합니다. 요청마다 지연 시간이나 토큰 비용 없이 LLM의 인텔리전스를 활용하세요.
로그인이나 API 키 없이 X/Twitter 게시물, 답글, 타임라인, 검색 결과, 리스트, X Articles를 가져오세요. AI 에이전트용 Python CLI 및 라이브러리로, FxTwitter·Nitter·브라우저 백엔드와 자동 폴백, 통합 JSON, 선택형 SQLite 아카이브를 지원합니다. 로그인이나 API 없이 트위터 게시물을 가져오세요.
바로 사용할 수 있는 로컬 JAV/동영상 스크래핑·관리·재생 소프트웨어로, 명령줄 원클릭 설치와 Docker 배포를 지원합니다. 디렉터리만 간단히 추가하면 나만의 프라이빗 JAV/동영상 미디어 라이브러리를 구축하고 최고 수준의 탐색 환경을 누릴 수 있습니다. 귀찮은 것을 싫어하는 분들을 위한 필수 도구입니다! | 나만의 로컬 JAV/동영상 관리자.
<facundoolano/google-play-scraper>에서 영감을 받은 Python용 Google Play 스크래퍼
Kotlin 기반의 테스트/스크래핑/파싱 라이브러리로, 서버 및 클라이언트 측 렌더링된 HTML에서 데이터를 분석하고 추출할 수 있는 기능을 제공합니다. 직관적인 DSL을 제공하여 사용의 용이성과 높은 가독성을 강조합니다. 테스트 라이브러리를 목표로 하지만, 편리한 방식으로 웹사이트를 스크래핑하는 데도 사용할 수 있습니다.
HTML/XML 페이지 또는 JSON-API에서 데이터를 다운로드하고 추출하는 명령줄 도구로, CSS, XPath 3.0, XQuery 3.0, JSONiq 또는 패턴 매칭을 사용합니다. 새로운 또는 변환된 XML/HTML/JSON 문서를 생성할 수도 있습니다.
다양한 Ruby 웹 스파이더링 라이브러리로, 사이트, 여러 도메인, 특정 링크 또는 무한정 스파이더링할 수 있습니다. Spidr은 빠르고 사용하기 쉬운 디자인입니다.
무료 리드 생성 도구. Instagram, Twitch, TikTok 및 LinkedIn 프로필을 스크랩하세요. 소개에서 이메일을 추출하고 SMTP를 통해 확인한 후 CSV로 내보내세요.
Telethon 라이브러리를 사용하여 Telegram 채널에서 메시지와 미디어를 스크랩할 수 있는 강력한 Python 스크립트입니다. 실시간 연속 스크래핑, 미디어 다운로드, 데이터 내보내기 기능이 포함됩니다.
Amazon, Aliexpress, ebay 및 다수의 사용자 정의 스토어를 위한 멀티유저 셀프호스팅 가격 추적기. 사용자가 설정한 하나 이상의 기준과 가격이 일치할 때 알림을 받으세요
operative framework은 Rust 조사 OSINT 프레임워크입니다. 여러 타겟과 상호작용할 수 있으며, 여러 모듈을 실행하고, 타겟과 링크를 생성하며, 보고서를 PDF 파일로 내보내고, 타겟이나 결과에 노트를 추가하며, RESTFul API와 상호작용하고, 자신의 모듈을 작성할 수 있습니다.
🕵️♂️ LinkedIn 프로필 스크래퍼, JSON 형식의 구조화된 프로필 데이터를 반환합니다.