#web-scraping 저장소
저장소 총 382개
단순히 Simple HTML DOM 라이브러리의 포크일 뿐입니다. (http://simplehtmldom.sourceforge.net/)
AI를 위한 오픈 소스 웹 인프라스트럭처. 웹을 스크랩하고, 크롤링하며, 자동화하고, 마크다운을 정리하고, 브라우저 세션을 관리하여 에이전트에 바로 사용할 수 있습니다.
전체 GitHub 리포지토리를 LLM(ChatGPT, Claude, Gemini 등)에 사용할 수 있는 하나의 정리된 .txt 파일로 변환하세요.
knowledge-grab는 Tauri와 Vue 3를 기반으로 구축된 데스크톱 애플리케이션으로, 사용자가 국가 초중등 스마트 교육 플랫폼(basic.smartedu.cn)에서 다양한 교육 자료를 편리하게 다운로드할 수 있도록 설계되었습니다.
3줄의 코드로 브라우저 제어 에이전트를 구축할 수 있는 프레임워크/SDK. https://discord.gg/umgnyQU2K8에서 채팅에 참여하세요
무료 프록시 목록 ✅🚀 HTTP, HTTPS, SOCKS4 & SOCKS5 | 5분마다 업데이트 | 엄격한 SSL, MITM 없음, 다국가
AI 에이전트를 위한 스킬: SearXNG로 웹 검색, Camofox로 브라우징, CloakBrowser로 보안 보호 우회. 설계부터 환각 방지. 자체 호스팅, 무료, 무제한.
Facepager는 YouTube, Twitter 및 기타 웹사이트에서 API와 웹 스크래핑을 기반으로 공개적으로 이용 가능한 데이터를 가져오기 위해 만들어졌습니다.
사람과 AI 에이전트를 위한 자체 호스팅 URL·파일 Markdown 변환 서비스입니다. 웹페이지, 문서, 이미지, 오디오, YouTube를 지원합니다. PWA + REST + MCP + Claude Code 스킬을 제공하며 Reddit을 지원하고 공유 링크를 새로 고칠 수 있습니다.
브라우저 지문 테스트를 위한 Agent Skills: Claude Code, Codex, Cursor 또는 Copilot에서 liarjs를 실행하여 브라우저를 자기 자신과 비교해 점수를 매깁니다. Canvas, WebGL, WebGPU, 오디오, 글꼴 및 WebRTC에 대한 40가지 일관성 검사를 수행하고 TLS/HTTP 계층과 교차 검증합니다. Playwright 및 Puppeteer 하네스 QA, CI 회귀 게이트, 헤드리스 브라우저 탐지 트리아지를 지원합니다.
실시간 대규모 데이터 추출을 위한 올인원 웹 스크래핑 API입니다. 프록시, CAPTCHA 관리, JavaScript 렌더링 및 파싱을 단일 요청으로 처리하고 HTML 또는 구조화된 JSON을 반환합니다.
🎯 빌리빌리(bilibili) 댓글 데이터 시각화 분석 소프트웨어 -- 업로더가 자신의 주제 선택을 안내하고 팬 그룹을 명확히 하는 데 사용할 수 있습니다.