#scraping 저장소
저장소 총 109개
AgentQL은 AI를 웹에 연결하기 위한 도구 모음입니다. 요소를 상호 작용하고 데이터를 빠르고 정확하며 확장 가능하게 추출하기 위한 쿼리 언어 및 Playwright 통합 기능을 제공합니다. REST API, Python 및 JavaScript SDK, 브라우저 디버거를 포함합니다.
자동화 탐지 및 유출을 방지하는 puppeteer 및 playwright용 패치 모음입니다. Cloudflare 및 DataDome CAPTCHA 페이지를 피하는 데 도움이 됩니다. 패치/패치 해제가 용이하며 필요에 따라 활성화/비활성화할 수 있습니다.
유효한 ChatGPT 스크래핑 API 자격 증명이 포함된 프롬프트를 전송하여 ChatGPT 스크래퍼에서 구조화된 응답을 수집합니다. 실시간 검색을 활성화하고, HTML 컨텍스트를 주입하고, 몇 가지 매개변수만으로 지능형 스크래퍼 ChatGPT 워크플로를 자동화합니다.
안티봇 시스템이 감지할 수 없는 Python용 Puppeteer로, CAPTCHA가 표시되지 않습니다. 동일한 API, 탐지 방지 스텔스 헤드리스 Firefox, 감지되지 않는 핑거프린트, 봇 탐지 우회, 웹 스크래핑 및 브라우저 자동화를 지원합니다.
:rocket: searx의 오픈 소스 대안으로, 현대적인 외관 :sparkles:, 번개처럼 빠른 :zap:, 개인 정보 보호 :disguised_face:, 안전한 :lock: 메타 검색 엔진을 제공합니다.
원본 onlyfans-scraper를 기반으로 처음부터 새롭게 구상해 완전히 개선하고 재설계한 포크로, OnlyFans와 Fansly를 지원합니다.
자체 호스팅 스크래핑 엔진 — 모든 JS 챌린지 및 캡차 우회: Cloudflare, Turnstile, reCAPTCHA, hCaptcha, GeeTest. FlareSolverr 및 Byparr의 대안이며 *arr 스택을 직접 대체할 수 있습니다.
📰 Newspaper4k - 사랑받는 Newspaper3k의 포크 버전입니다. 뉴스 웹사이트에서 기사, 제목, 메타데이터를 추출합니다.
Selenium & Seleniumwire (Python)를 사용한 오픈 소스 대량 자동 Gmail 생성 봇. Django/Flask, ML, AI, GPT, 자동화, 스크래핑에 대해 언제든지 문의해 주세요.
🕵️♂️ LinkedIn 프로필 스크래퍼, JSON 형식의 구조화된 프로필 데이터를 반환합니다.
Kemono pawchive Downloader는 Kemono, Coomer, Bunkr, Erome, Saint2.su, nhentai, Discord 등 다양한 사이트의 콘텐츠를 보관하기 위한 빠른 PyQt5 앱입니다. 크리에이터 브라우저, 업데이트 확인 기능을 갖추고 있으며 멀티스레드 및 멀티파트 다운로드를 지원합니다. 세션을 일시 중지하거나 재개하거나 필터를 복구할 수 있습니다.
Facebook, Twitter, Reddit, YouTube, Pinterest 및 Tumblr API를 위한 소셜 미디어 스크래핑/데이터 수집 라이브러리
Comic-dl은 다양한 만화 및 만화 사이트에서 만화와 코믹스를 다운로드하기 위한 명령줄 도구입니다. 지원 사이트: readcomiconline.to, mangafox.me, comic naver 등 더 많은 사이트.
이 Python 애플리케이션은 "Ominis OSINT - Web Hunter"라고 불리는 OSINT(오픈 소스 인텔리전스) 도구입니다. 사용자가 입력한 쿼리와 관련된 검색 결과를 Google에 쿼리하여 온라인 정보를 수집합니다. 이 도구는 제목, URL 및 결과에서 쿼리가 잠재적으로 언급된 부분과 같은 관련 정보를 추출합니다.
X(Twitter)의 공개 데이터를 수집하는 비동기 Python 클라이언트입니다. 검색, 프로필, 스레드, 답글, 미디어를 지원합니다. 계정 자동 순환, 적응형 요청 속도 제한, JSON/CSV/SQLite 내보내기 기능을 제공합니다.
안티봇 시스템, 캡차 및 핑거프린팅 기술을 실시간으로 탐지합니다. Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security 등을 식별하며 신뢰도 점수와 고급 캡처 도구를 제공합니다.