#web-scraping Репозитории
Всего репозиториев: 382
Uscrapper Vanta: Погрузитесь глубже в интернет с помощью этого мощного инструмента с открытым исходным кодом. Легко и эффективно извлекайте ценные сведения как из источников поверхностного, так и из источников глубокого веба. Расширьте возможности своего майнинга данных и анализа с помощью передовых возможностей Vanta. Быстрый, надежный и удобный в использовании Uscrapper Vanta — лучший выбор для исследователей и аналитиков.
Amazon Scraper. Сбор продуктов из результатов поиска Amazon или отзывов из конкретного продукта
Редактор веб-скрейпинга на базе ИИ с визуальным конструктором рабочих процессов. Создавайте, тестируйте и развертывайте веб-скрейперы с использованием естественного языка. На базе ScrapeGraphAI и LangGraph.
Moyu Island 🎣 Backend на основе веб-скрапинга ➕ Netty ➕ SpringBoot ➕Redis➕ MySQL Open Source 🌟 Универсальный веб-сайт Moyu
100% бесплатная и полностью открытая альтернатива Firecrawl edge с лучшим извлечением ссылок для агентов - которую вы можете самостоятельно развернуть на Cloudflare или Vercel.
Превратите любой веб-сайт в компактный CLI, адаптированный для ИИ-агентов. Исследуйте веб с помощью сотен токенов, а не десятков тысяч.
Firecrawl CLI и возможности для агентов: ищите информацию в вебе, собирайте данные и взаимодействуйте с сайтами из терминала или любого агента для программирования. Также доступны парсинг, обход сайтов, построение карт, Agent и Monitor. Firecrawl — это API контекста для ИИ-агентов.
Ретроспективный анализ обсуждений на Hacker News десятилетней давности с помощью LLM
Эта программа использует протокол Chrome DevTools для управления сессией Chrome, которая загружает ваши фото, хранящиеся в Google Photos.
MCP-сервер и плагин для агентов EveryInfra: API для сбора данных из TikTok, Instagram, Amazon, YouTube, Xiaohongshu и Douyin. 612 API для работы с данными на 106 платформах — от 0,56 $ за 1 000 вызовов. Для Claude Code, Cursor и Codex.
🔥 Визуальный AI-помощник для исследований, который отображает мышление в реальном времени, предоставляет раздельный анализ и автоматически цитирует с использованием Claude и Firecrawl
Получите свои данные Advent of Code с помощью одной инструкции импорта
Выполняйте сложные сценарии автоматизации через удаленные облачные сессии с использованием встроенных резидентных прокси, автоматического решения CAPTCHA и нативного рендеринга JavaScript для самых сложных динамических веб-сайтов.
KNKPAnime: Программа для просмотра аниме с поддержкой нескольких источников эпизодов и субтитров.
sitecopy — это инструмент, который облегчает резервное копирование личных веб-сайтов и сбор сетевых данных
Автоматизируйте сбор данных об отелях, включая цены, наличие номеров, рейтинги и поставщиков бронирования, с помощью интеграции Google Hotels API.
Скрапинг новостей с Toutiao, NetEase, Tencent и т.д., и создание простого поискового движка
Обнаружение антибот-систем, капч и методов снятия отпечатков в реальном времени. Идентифицирует Cloudflare, Akamai, DataDome, reCAPTCHA, hCaptcha, Shape Security и другие системы, предоставляя оценку достоверности и расширенные инструменты захвата.
Полный жизненный цикл проекта по науке о данных
Программа для сбора контента с URL из результатов поиска поисковых систем на основе ключевых слов. Может автоматически собирать реальные адреса и заголовки связанных сайтов из нескольких поисковых систем, сохранять их в файлы и автоматически удалять дублирующиеся URL. Также можно настроить игнорирование нескольких доменов.
Конвертировать статьи колонки Zhihu в файлы Markdown и сохранить их локально
Справочник по бонусам для программирования с ИИ: каталог прокси-сервисов и общественных площадок для Claude Code, Codex и Cursor. Включает сведения о бесплатных лимитах, бонусах за регистрацию, акциях с отметками о посещении и отзывах, а также визуальную панель и инструменты сбора данных на Python.
Позвольте любому ИИ-агенту управлять вашим Chrome, сохраняя все активные сеансы. MCP + расширение для Chrome, совместимое с Claude Code / Codex / Cursor / Gemini CLI.
Вращающийся автомат с подарками Douyin, инструмент для захвата подарков Douyin, написанный мной на VC++ в свободное от работы время, с некоторыми другими небольшими функциями, загрузчик видео Douyin без водяных знаков, загрузчик записей прямых трансляций Douyin, инструмент для массовой отписки от подписок Douyin
Ячмень, Кошачий глаз, Остров Фенван, Ticket Planet, Мониторинг отмененных билетов на концерт
Взлом Facebook через Termux. Этот инструмент закодирован TecnicalDipesh. Вы можете дампить любой ID и пароль Facebook.
Инструмент Node.js на базе Playwright, который обходит механизмы поисковых систем против скрапинга для выполнения поисковых запросов Google. Локальная альтернатива SERP API с интеграцией сервера MCP.
Meituan Ежедневные купоны богов Региональная активность Автоматический скрипт