#web-scraping 저장소
저장소 총 382개
AIMedia는 자동으로 트렌드를 수집하고 AI로 기사를 작성하며 자동으로 발행하는 통합 소프트웨어입니다. Toutiao, Xiaohongshu, WeChat 공식 계정 등을 지원합니다.
보이지 않는 Playwright: 안티봇 시스템이 감지할 수 없어 CAPTCHA가 발생하지 않는 Playwright. 동일한 API, 탐지 방지 스텔스 헤드리스 Firefox, 감지되지 않는 핑거프린트, 봇 탐지 우회, Python 웹 스크래핑 및 브라우저 자동화.
리드 생성을 위한 무료 오픈소스 Google 지도 스크래퍼입니다(Python, API 키 및 Docker 불필요). 이름, 전화번호, 이메일, 웹사이트, 평점, Instagram/Facebook/LinkedIn/TikTok/YouTube/X 링크를 CSV로 내보냅니다. 이메일이 있는 장소 100곳을 44초 만에 수집합니다. --grid로 Google의 120개 제한을 넘어설 수 있습니다. 이메일 MX 레코드 확인 및 광고 픽셀 감지 기능을 제공합니다. Claude Code, Codex, Cursor용 스킬입니다.
LLM을 위한 빠르고 로컬 우선 웹 콘텐츠 추출. 스크랩, 크롤링, 구조화된 데이터 추출 — 모두 Rust에서. CLI, REST API, MCP 서버.
HTML DOM 파서입니다. HTML을 조작할 수 있습니다. jQuery와 같은 선택자를 사용하여 HTML 페이지에서 태그를 찾습니다.
감지되지 않는 자체 호스팅형 브라우저 자동화 플랫폼. Camoufox(Firefox)로 0% 탐지율을 달성했습니다. 속도, 프라이버시 및 확장성을 위해 제작되었습니다.
티몰 TaoBao i마오타이 iMatoTai JD 징동 러시 구매, 징동 마오타이 러시 윈도우 버전, 개봉 즉시 사용 환경 설정 불필요. 개발 임박 (Apache License 오픈소스 프로토콜 채택)
Python 및 Oxylabs SERP Scraper API를 사용하여 Google Scholar에서 제목, 저자 및 인용을 추출하는 가이드입니다.
Python과 Oxylabs E-Commerce Scraper API를 사용하여 Amazon에서 베스트셀러 항목, 검색 결과 및 현재 사용 가능한 거래를 추출하는 코드입니다.
자동 수집된 IPv4 호텔 TV 라이브 소스, 자동 재생 속도 테스트, 매일 자동 업데이트. CCTV 중앙 방송 채널 및 일부 지역 채널을 포함하며 재생이 부드럽습니다. OpenWrt 또는 Synology Docker에서도 실행할 수 있습니다.
SpringBootをサポートする、シンプル、アジャイル、分散型のJavaクローラフレームワーク。アジャイルで分散型のクローラフレームワーク。
"치타이-고로드(Chitai-Gorod)" 카탈로그용 지능형 파서. ISBN부터 할인 동향에 이르기까지, 지정된 모든 매개변수에 기반한 고속 데이터 수집 및 구조화.
SURF - Chrome/Firefox 브라우저 가장, QUIC 핑거프린팅을 통한 HTTP/3, JA3/JA4 TLS 에뮬레이션, 웹 자동화 및 스크래핑을 위한 봇 방지 우회 기능을 갖춘 고급 Go HTTP 클라이언트.
Puppeteer 위에 구축된 Headless Chrome/Chromium 드라이버. 프로덕션 대비 API로 스크린샷을 찍고 PDF를 생성하며 텍스트와 HTML을 추출합니다.
qstock은 'Python 금융 정량' 공식 계정에서 개발되었으며, 개인 정량 투자 연구 분석 패키지를 목표로 합니다. 현재 데이터 수집(data), 시각화(plot), 주식 선정(stock), 정량 백테스팅(strategy backtest) 모듈을 포함하고 있습니다. qstock은 사용자에게 간결한 데이터 인터페이스와 정리된 금융 시장 데이터를 제공할 것입니다. 시각화 모듈은 사용자에게 웹 기반의 상호작용 가능한 그래픽에 대한 간단한 인터페이스를 제공합니다. 주식 선정 모듈은 Tonghuashun의 주식 선정 데이터와 RPS, MM 추세, 재무 지표, 자금 흐름 모델 등을 포함한 맞춤형 주식 선정을 제공합니다. 백테스팅 모듈은 모든 사람에게 벡터화된(pandas 기반) 및 이벤트 기반의 기본 프레임워크와 모델을 제공합니다. "Python 금융 정량" WeChat 공식 계정을 팔로우하여 더 많은 응용 프로그램 정보를 얻으십시오.
Python과 Oxylabs의 Google Jobs Scraper API를 사용하여 여러 검색어와 지리적 위치에 대한 Google Jobs를 동시에 스크랩하는 자신만의 Google Jobs 스크래퍼를 구축하는 방법을 알아보세요. https://oxylabs.io/blog/how-to-scrape-google-jobs
웹 스크래핑 및 다중 계정 운영을 위한 무료 오픈 소스 안티 디텍트 브라우저 런처입니다. ShardX 팀(구 ProxyShard)이 개발했습니다. Chromium 158에서 엔진 수준의 핑거프린트 스푸핑(WebGL / WebGPU / Client Hints / 글꼴 / TLS)을 지원하며, 220개 이상의 디바이스 프로필이 기본 제공되고 SOCKS5를 통한 안정적인 QUIC + WebRTC를 지원합니다.
바이두 클라우드(Baidu Netdisk), 쿼크 클라우드(Quark Netdisk), 알리바바 클라우드(Aliyun Drive) 영상 리소스 공유. 최신 드라마, 예능, 영화 리소스를 매일 업데이트합니다.
이 튜토리얼에서는 Python과 Oxylabs API를 사용하여 공개 Google 데이터를 스크랩하는 방법을 보여줍니다.
Python용 Twitter 및 X 스크레이퍼: 공식 API 없이 트윗, 프로필, 팔로워, 팔로잉, 트렌드를 수집하세요. 여러 계정 풀링, 프록시 지원, 비동기 기능을 제공하는 Twitter 스크래핑 라이브러리 또는 Apify에서 호스팅되는 버전을 이용할 수 있습니다.