#web-scraping 저장소
저장소 총 382개
Playwright Model Context Protocol Server - Claude Desktop, Cline, Cursor IDE 등에서 브라우저 및 API 자동화를 위한 도구 🔌
AI 코딩 에이전트를 위한 최적의 웹 — MCP를 통한 로컬 우선 검색, 가져오기, 크롤링 및 연구. API 키 불필요, 클라우드 불필요, 쿼리당 $0. 공개 베타.
한 명령어로 어떤 웹사이트든 완전한 디자인 시스템 추출. DTCG 토큰, 시맨틱+프리미티브+컴포지트, Claude Code/Cursor/Windsurf용 MCP 서버, 멀티플랫폼 에미터 (iOS SwiftUI, Android Compose, Flutter, WordPress), Tailwind v4, Figma 변수, shadcn/ui, CSS 건강 감사, WCAG 수정, Chrome 확장. MIT, Playwright, Node 20+.
Undetected-Chromedriver의 후속 버전. Captcha / CloudFlare / Imperva / hCaptcha와 같은 성가신 봇 방지 시스템으로 인해 일반적으로 방해받는 웹 자동화, 웹 스크래핑, 봇 및 기타 모든 창의적인 아이디어를 위한 매우 빠른 프레임워크를 제공합니다.
Python을 사용한 웹 스크래핑 책의 코드 샘플 http://shop.oreilly.com/product/0636920034391.do
메시징 플랫폼을 위한 에이전트형 정보 추출 도구입니다. Noria는 채팅을 통해 메시지와 URL을 받고, 웹 데이터를 수집해 맞춤형 평가 기준(예: 채용 정보, 장학금)에 따라 콘텐츠를 평가한 뒤, 계산된 적합도 점수가 포함된 구조화된 요약을 지정된 메신저 번호로 직접 전송합니다.
오픈 소스 및 클린 앱을 위한 최고의 공간. OrionStore에서 YouTube Morphe, YT Music Morphe와 필수 오픈 소스 도구를 번잡함 없이 바로 만나보세요. 서버도, 추적도 없이, 좋아하는 앱으로 이어지는 아름답고 현대적인 관문입니다.
모든 웹사이트를 리버스 엔지니어링하여 타입이 지정된 API 클라이언트로 만드세요. Claude Code, Codex, Cursor, OpenCode와 함께 사용할 수 있습니다.
멀티 플랫폼 콘텐츠 모니터링·수집·재게시. 하나의 웹 패널로 Douyin / Xiaohongshu / Kuaishou / WeChat 채널 / TikTok / Bilibili / Instagram / 해외판 Xiaohongshu(rednote)를 관리
오픈 소스 웹 스크래핑 API. 모든 웹사이트를 깔끔한 마크다운이나 구조화된 JSON으로 변환하세요. 안티 디텍트 브라우저, 프록시 자동 선택, 자체 호스팅 지원. 명령어 하나로 시작: make up
검색, 제품, 판매 목록, 리뷰, 질문 및 답변, 베스트셀러 및 판매자 데이터를 추출하기 위한 무료 평가판 Amazon 스크래퍼 API.
AI 기반 스크레이퍼, 크롤러 및 브라우저 자동화를 사용하여 모든 웹사이트에서 구조화된 데이터를 수집합니다. 자연어 프롬프트를 사용한 스크레이핑 및 크롤링. LLM 에이전트에게 최신 데이터를 제공하십시오. 지능형 웹 데이터 수집을 위한 AI Studio python SDK.
MCP 및 Chrome DevTools 프로토콜을 통한 AI 에이전트용 스텔스 브라우저 자동화: 탐색, 네트워크 훅, DOM 추출, 픽셀 단위의 정확한 UI 복제.
무료 안티 핑거프린트 브라우저, 핑거프린트 브라우저, 개인 정보 보호 브라우저, 안티 인식 브라우저, 안티 식별 브라우저, 안티 연관 브라우저, 무료 web3 에어드랍 전용 핑거프린트 브라우저 https://virtualbrowser.cc/?src=github
하드 드라이브와 인기 웹사이트에서 파일과 태그를 가져올 수 있는 개인 보루 스타일 미디어 태거. 콘텐츠는 사용자 운영 서버를 통해 다른 사용자와 공유할 수 있습니다.
Python을 사용하여 Amazon에서 제품 데이터(제목, 평점, 가격, 이미지 및 설명 포함)를 추출하는 과정.
Ollama에서 실행되는 LLM을 자동화된 연구원으로 변환하는 Python 프로그램으로, 단일 쿼리로 조사할 집중 영역을 결정하고, 웹 검색을 수행하며, 다양한 관련 웹사이트에서 콘텐츠를 스크랩하고, 자체적으로 연구를 수행합니다! 또한, 찾은 내용을 저장하는 기능도 포함하면서 이에 국한되지 않습니다!
헤드리스 Chrome 또는 Chromium을 DevTools Protocol을 통해 제어하기 위한 고급 API. 이는 Chrome DevTools 팀이 유지보수하는 Node 라이브러리 Puppeteer의 Rust 등가물입니다.
Python과 Oxylabs SERP API를 사용하여 Google 트렌드 데이터를 스크랩하고 결과를 비교하는 방법을 단계별로 알아보세요. 키워드, 인기, 지역별 분석, 관련 검색어 등을 추출합니다.
Huya, Douyu, Douyin, BiliBili, TikTok, Twitch🔥인기🔥스마트 라이브 비디오 편집 및 게시 AI 로봇, 자동화🤖, 완전 지능형⚙(자동 클립, 제목, 썸네일, 설명 생성), 시각화👓, 인기 플랫폼 모니터링🌡, 풍부한 플러그인 자유로운 확장🕹, 빠른 배포⚡, 비디오 계정 자동 게시 구축🌟, DIY 지원🎮