#web-scraping 저장소
저장소 총 382개
AI Map은 Oxylabs AI Studio에서 개발한 AI 기반 웹사이트 매핑 도구로, 자연어 프롬프트를 사용하여 모든 웹사이트에서 관련 URL을 지능적으로 발견하고 추출합니다.
❤️ Fredy - [F]ind [R]eal [E]state [D]amn Eas[y] (진짜 부동산을 아주 쉽게 찾기) - Fredy는 ImmoScout24, Immowelt, eBay Kleinanzeigen 같은 플랫폼에서 유럽의 새로운 아파트, 주택, 플랫을 계속 검색하고, Slack, Telegram, 이메일, Discord 또는 ntfy를 통해 결과를 즉시 전달해 줍니다. 덕분에 인생에서 더 중요한 일에 집중할 수 있습니다 ;)
AI 에이전트와 SEO를 위한 셀프 호스팅 웹 검색. Google, Bing, Yandex, Baidu, DuckDuckGo, Ecosia를 실제 브라우저에서 렌더링해 순위별 결과와 깔끔한 페이지 Markdown을 제공합니다. API, CLI, MCP 🎉
AgentQL은 AI를 웹에 연결하기 위한 도구 모음입니다. 요소를 상호 작용하고 데이터를 빠르고 정확하며 확장 가능하게 추출하기 위한 쿼리 언어 및 Playwright 통합 기능을 제공합니다. REST API, Python 및 JavaScript SDK, 브라우저 디버거를 포함합니다.
지도에서 임대 주택 찾기: 온 동네를 돌아다니며 집을 구하느라 지치셨나요? 방법을 바꿔 지도에서 바로 임대 주택을 찾아보세요! [위챗 공식 계정 및 미니 프로그램: 人生删除指南]
자동화 탐지 및 유출을 방지하는 puppeteer 및 playwright용 패치 모음입니다. Cloudflare 및 DataDome CAPTCHA 페이지를 피하는 데 도움이 됩니다. 패치/패치 해제가 용이하며 필요에 따라 활성화/비활성화할 수 있습니다.
유효한 ChatGPT 스크래핑 API 자격 증명이 포함된 프롬프트를 전송하여 ChatGPT 스크래퍼에서 구조화된 응답을 수집합니다. 실시간 검색을 활성화하고, HTML 컨텍스트를 주입하고, 몇 가지 매개변수만으로 지능형 스크래퍼 ChatGPT 워크플로를 자동화합니다.
WebAI2API: Camoufox 기반 웹 AI를 API로 변환하는 도구, LMArena/Gemini 등을 지원, 다중 창 동시 실행 및 계정 격리. | Web AI to OpenAI API via Camoufox. Supports LMArena/Gemini and more, multi-window concurrency & account isolation.
Web Scraper API를 사용하여 Google Finance에서 종목명, 가격 책정, 백분율 가격 변동을 포함한 데이터를 추출하십시오.
안티봇 시스템이 감지할 수 없는 Python용 Puppeteer로, CAPTCHA가 표시되지 않습니다. 동일한 API, 탐지 방지 스텔스 헤드리스 Firefox, 감지되지 않는 핑거프린트, 봇 탐지 우회, 웹 스크래핑 및 브라우저 자동화를 지원합니다.
브라우저와 동일한 TLS/HTTP2 지문을 갖는 Go HTTP 클라이언트. 암호화 수준(JA3/JA4, Akamai 지문, 헤더 순서)에서 Chrome, Firefox 및 Safari를 완벽하게 모방하여 봇 감지를 우회합니다. HTTP/1.1, HTTP/2, HTTP/3, 세션, 쿠키 및 프록시를 지원합니다.
Calibre 새 Douban 메타데이터 소스 플러그인. Douban은 더 이상 공개적으로 도서 API를 제공하지 않으므로 데이터를 얻기 위해 웹 크롤링만 사용할 수 있습니다. 이것은 웹 크롤링을 기반으로 하는 Calibre Douban 플러그인입니다.
Firecrawl 및 멀티 에이전트 AI를 사용하여 이메일을 회사 프로필, 투자 데이터, 기술 스택 등이 포함된 풍부한 데이터 세트로 변환하는 AI 기반 데이터 강화 도구
Kspider는 코딩 없이 크롤링 프로세스를 구현할 수 있도록 그래픽 방식으로 크롤링 프로세스를 정의할 수 있는 크롤링 플랫폼입니다. Kspider는 웹 크롤링에만 국한되지 않고 WEB 자동화 테스트에도 사용할 수 있으며, 더 많은 기능을 탐색할 수 있습니다.
Rust로 작성된 빠르고 가벼운 Firecrawl/Tavily 대안. AI 에이전트를 위한 MCP 서버가 포함된 웹 스크레이퍼, 크롤러 및 검색 API. Firecrawl 호환 드롭인 API(/scrape, /crawl, /search) 제공. 1K URL 벤치마크에서 Tavily보다 2.3배, Firecrawl보다 1.5배 빠름. 6MB RAM, 단일 바이너리. 자체 호스팅 또는 관리형 클라우드 사용 가능.
Bright Data, Playwright, React 및 Flask를 사용하는 자동 가격 추적기입니다.
소스 코드 수준의 Chromium 지문 엔진으로, 탐지 사이트에서 일반 Chrome으로 평가됩니다. 봇 탐지 테스트를 통과하는 소스 코드 수준의 Chromium 지문 커널입니다. JS 주입이 아니라 바이너리에 컴파일된 C++ 패치입니다.
웹 페이지에서 정보를 클립하는 웹 확장 프로그램. 정보 무효화를 피하기 위해 로컬 머신에 저장하세요. 지루한 등록 없음, 요금 없음.