#web-scraping 저장소
저장소 총 382개
Uscrapper Vanta: 이 강력한 오픈 소스 도구로 웹을 더 깊이 탐색하십시오. 표면 웹 및 딥 웹 소스 모두에서 귀중한 통찰력을 쉽고 효율적으로 추출하십시오. Vanta의 고급 기능으로 데이터 마이닝 및 분석을 강화하십시오. 빠르고 안정적이며 사용자 친화적인 Uscrapper Vanta는 연구원 및 분석가를 위한 최고의 선택입니다.
시각적 워크플로우 빌더를 갖춘 AI 기반 웹 스크레이핑 편집기. 자연어를 사용하여 웹 스크레이퍼를 구축, 테스트 및 배포합니다. ScrapeGraphAI 및 LangGraph 기반.
모구섬🎣 백엔드 웹 크롤링 ➕ Netty ➕ SpringBoot ➕Redis➕ MySQL 기반 오픈 소스🌟 원스톱 모구 웹사이트
100% 무료이며 완전 오픈소스 Firecrawl edge 대안으로, 에이전트를 위한 더 나은 링크 추출 기능 - Cloudflare나 Vercel에 직접 배포할 수 있습니다.
Firecrawl CLI 및 에이전트 기능: 터미널이나 모든 코딩 에이전트에서 웹을 검색하고 스크래핑하며 상호작용할 수 있습니다. 또한 파싱, 크롤링, 사이트 맵 생성과 Agent 및 Monitor 기능도 제공합니다. Firecrawl은 AI 에이전트를 위한 컨텍스트 API입니다.
이 프로그램은 Chrome DevTools Protocol을 사용하여 Google Photos에 저장된 사진을 다운로드하는 Chrome 세션을 구동합니다.
EveryInfra MCP 서버 및 에이전트 플러그인: TikTok, Instagram, Amazon, YouTube, 샤오홍슈 및 더우인용 스크래핑 API. 106개 플랫폼에서 612개의 데이터 API를 1,000회 호출당 0.56달러부터 이용할 수 있습니다. Claude Code, Cursor, Codex용.
🔥 실시간 사고를 표시하고 스플릿뷰 분석을 제공하며 Claude와 Firecrawl을 사용하여 자동 인용을 수행하는 시각적 AI 연구 보조자
원격 클라우드 세션을 통해 복잡한 자동화 스크립트를 실행하세요. 통합된 주거용 프록시, 자동 CAPTCHA 해결, 가장 까다로운 동적 웹사이트를 위한 네이티브 JavaScript 렌더링 기능을 제공합니다.
Google Hotels API 통합으로 가격, 예약 가능 여부, 평점, 예약 제공업체를 포함한 호텔 데이터 스크래핑을 자동화합니다.
안티봇 시스템, 캡차 및 핑거프린팅 기술을 실시간으로 탐지합니다. Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security 등을 식별하며 신뢰도 점수와 고급 캡처 도구를 제공합니다.
키워드를 기반으로 검색 엔진 콘텐츠 검색 결과의 URL 콘텐츠를 수집하는 프로그램입니다. 여러 검색 엔진에서 관련 웹사이트의 실제 주소와 제목 등의 정보를 자동으로 수집할 수 있으며, 파일로 저장하고 중복 URL을 자동으로 제거합니다. 동시에 여러 도메인을 사용자 정의로 무시할 수도 있습니다.
AI 프로그래밍 혜택 안내: Claude Code, Codex, Cursor 중계 서비스와 공익 사이트를 모아 무료 사용량, 가입 혜택, 출석 이벤트, 리뷰 기록을 정리하고 시각화 대시보드와 Python 데이터 수집 도구를 제공합니다.
어떤 AI 에이전트든 내 Chrome을 제어할 수 있습니다. 로그인 상태도 그대로 유지됩니다. MCP + Chrome 확장 프로그램으로 Claude Code / Codex / Cursor / Gemini CLI와 호환됩니다.
도우인 복주머니 캡슐 토이, 도우인 복주머니 획득 도구, 여가 시간에 VC++로 직접 작성했으며, 기타 몇 가지 작은 기능도 포함되어 있습니다. 도우인 워터마크 없는 동영상 다운로더, 도우인 라이브 스트림 녹화 다운로더, 도우인 일괄 팔로우 취소 도구
터뮤크스를 이용한 페이스북 해킹. 이 도구는 TecnicalDipesh에 의해 코딩되었습니다. 어떤 페이스북 ID와 비밀번호도 덤프할 수 있습니다.
검색 엔진의 안티 스크래핑 메커니즘을 우회하여 Google 검색을 실행하는 Playwright 기반 Node.js 도구. MCP 서버 통합을 갖춘 SERP API의 로컬 대안입니다.