#data-collection Репозитории
Откройте для себя 52 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #data-collection, с общим числом 268,114 звёзд (в среднем 5,156 на проект). Лидером этой темы является NanmiCoder/MediaCrawler, набравший 71,528 звёзд.
Всего репозиториев: 52
Заметка Xiaohongshu | Краулер комментариев, Видео Douyin | Краулер комментариев, Видео Kuaishou | Краулер комментариев, Видео Bilibili | Краулер комментариев, Пост Weibo | Краулер комментариев, Пост Baidu Tieba | Краулер ответов на комментарии Baidu Tieba | Статья с вопросами и ответами Zhihu|Краулер комментариев
Визуальный no-code веб-краулер/паук: программное обеспечение для автоматизации браузера, сбора данных и веб-скрейпинга, позволяющее проектировать и выполнять задачи парсинга без написания кода. Псевдоним: ServiceWrapper, интеллектуальная система инкапсуляции сервисов для веб-приложений.
Открытый исходный код для перемещения данных в ELT-пайплайнах и AI-агентах — из API, баз данных и файлов в хранилища данных, озёра данных и AI-приложения. Как в self-hosted, так и в облаке.
🚀 Самостоятельно размещаемый API для сбора данных с Douyin, TikTok и Bilibili и скачивания видео без водяных знаков. Поддерживает вызовы ИИ-агентов через MCP и офлайн-преобразование речи в текст. Развёртывание Docker в один клик. | Самостоятельно размещаемый парсер TikTok, Douyin и Bilibili и загрузчик видео без водяных знаков: асинхронный REST API, MCP-сервер для ИИ-агентов, CLI и веб-консоль, а также офлайн-преобразование речи в текст для скачанных видео. Самовосстанавливающийся пул идентификаторов, архив PostgreSQL и запуск одной командой `docker compose up`.
Этот репозиторий GitHub — мощная коллекция API, которые вы можете сразу начать использовать для создания чего угодно: от простых автоматизаций до полномасштабных приложений. Один из самых ценных списков API на GitHub — и точка. 💪
Официальный MCP-сервер Firecrawl — контекстный API для ИИ-агентов: ищите информацию в интернете, извлекайте данные и взаимодействуйте с веб-страницами, а также анализируйте, обходите и картируйте сайты, используя Agent и Monitor из любого MCP-клиента.
Конвейеры данных для данных конфигурации и безопасности облака. Создание решений для инвентаризации облачных активов, CSPM, FinOps и управления уязвимостями. Извлечение данных из AWS, Azure, GCP и более чем 70 облачных и SaaS-источников.
ResearchKit — это фреймворк программного обеспечения с открытым исходным кодом, который позволяет легко создавать приложения для медицинских исследований или для других исследовательских проектов.
Jitsu — это альтернатива Segment с открытым исходным кодом. Полностью настраиваемый движок для приема данных для современных команд данных. Настройте конвейер данных в реальном времени за считанные минуты, а не дни
Требования и детали, которые вузы по всей стране не указывают при приеме, но которые фактически повлияют на качество студенческой жизни
Примеры кода из книги Web Scraping with Python http://shop.oreilly.com/product/0636920034391.do
Реверс-инжиниринг TikTok, краулер TikTok, все API TikTok, личные сообщения, мониторинг直播 комнат
Библиотека Python и CLI для скрапинга X/Twitter с ротацией нескольких аккаунтов и встроенной обработкой ограничений скорости.
Предоставление средств мониторинга для фронтенд-проектов: 【отслеживание, поведение, производительность, исключения, запросы, ресурсы, маршруты, показы, запись экрана】
Мощный сервер Model Context Protocol (MCP), предлагающий комплексное решение для общедоступного веб-доступа.
Real-World Masked Face Dataset, Набор данных лиц в масках в реальном мире
Интеллектуальный парсер для каталога «Читай-город». Высокоскоростной сбор и структурирование данных по любым заданным параметрам: от ISBN до динамики скидок.
Официальный SDK для встраивания событий Sensors Data для Android — это легковесный SDK для сбора и отслеживания данных на стороне Android, включающий функции отслеживания кода, полного отслеживания, карт кликов и визуального полного отслеживания. Полное отслеживание реализуется с помощью интеграции с официальным плагином Sensors Data для встраивания событий Android. Официальный плагин Sensors Data для встраивания событий Android использует технологию вставки байт-кода (ASM) для реализации полного отслеживания на стороне Android (без отслеживания, отслеживание без кода, отслеживание без следов, автоматическое отслеживание).
IoT DC3 — Соединяем физический мир с ИИ. Промышленная IoT-среда выполнения с открытым исходным кодом для Physical AI: 36 драйверов протоколов, доставка данных от периферии в облако и шлюз инструментов MCP, позволяющий ИИ-агентам воздействовать на устройства в безопасном, управляемом и отслеживаемом цикле.
Навык исследования X/Twitter для Claude Code и OpenClaw. Интеллектуальный поиск, отслеживание веток, глубокие исследования, собранные брифинги.
The Washington Post собирает базу данных каждого смертельного выстрела в Соединенных Штатах от полицейского офицера при исполнении служебных обязанностей с 2015 года.
Плагин Player Analytics для платформ серверов Minecraft - Просматривайте активность игроков вашего сервера с легкостью. :calendar:
🌊 Непрерывно синхронизируйте системы, в которых находятся ваши данные, с системами, в которых вы _хотите_ их видеть, управляя потоками данных с помощью Estuary. 🌊
Официальный SDK для отслеживания Web JavaScript от Shence Data — это легковесный SDK для сбора данных и отслеживания на Web- и H5-платформах. Использует нативную технологию JavaScript для реализации функций, таких как отслеживание на основе кода, полное отслеживание, визуальное полное отслеживание, тепловые карты веб-страниц и карты охвата.
Как отправлять HTML-формы в Google Sheets. (Обновлено для редактора сценариев 2026)
Обширный список инструментов, которые могут быть использованы для поиска информации, связанной с конкретным транспортным средством.
SOAPHound — это специально разработанный инструмент сбора данных .NET, который может использоваться для перечисления сред Active Directory через протокол Active Directory Web Services (ADWS).
Интегрирует существующие источники Xiangse Guguan в Интернете, веб-сканер автоматически обновляет источники книг еженедельно
ODK Collect — это приложение для Android для заполнения форм. Оно использовалось для сбора миллиардов точек данных в сложных условиях по всему миру. Вносите вклад и сделайте мир лучше! ✨📋✨
Резидентские, дата-центровые, ISP- и мобильные прокси с более чем 90 млн IP в 200+ странах, а также API для скрейпинга и SERP. Примеры кода на Python, Node.js, PHP, Go, Java, C#, Ruby и curl.
Инструмент пула прокси Deadpool может получать высококачественные прокси socks5 с платформ картографирования киберпространства, таких как Hunter, Quake, Fofa, или импортировать прокси socks5 локально, и использовать прокси поочередно для пересылки трафика.
Когда Augur достиг своего предела, мы создали Aveloxis: надежный сбор метрик OSS. 40 000 репозиториев, полностью собранных за 3 дня — это ведь неплохо, правда?
Модуль Node.js, который помогает понять, как используется ваш инструмент, путем анонимной отправки метрик использования в Google Analytics
Сбор больших данных, платформа извлечения, zdh_web - это визуальная платформа управления для сервисов серии zdh, содержащая модули, такие как сбор данных, планирование, разрешения, поток одобрения, маркетинг в частном домене и т.д.
Часто задаваемые вопросы
Какой репозиторий по теме #data-collection наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #data-collection на GitHub — NanmiCoder/MediaCrawler, набравший 71,528 звёзд. Заметка Xiaohongshu | Краулер комментариев, Видео Douyin | Краулер комментариев, Видео Kuaishou | Краулер комментариев, Видео Bilibili | Краулер комментариев, Пост Weibo | Краулер комментариев, Пост Baidu Tieba | Краулер ответов на комментарии Baidu Tieba | Статья с вопросами и ответами Zhihu|Краулер комментариев
Какие языки программирования чаще всего используются в репозиториях по теме #data-collection?
Среди наиболее высоко оценённых проектов по теме #data-collection на GitHub чаще всего используются языки программирования Python, JavaScript, Java, Go.
Как рассчитывается рейтинг репозиториев по теме #data-collection?
Мы отслеживаем 52 активных репозиториев с открытым исходным кодом, отмеченных тегом #data-collection (500 и более звёзд), с общим числом 268,114 звёзд и в среднем 5,156 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.