Git Stars Git Stars

#data-collection Репозитории

Откройте для себя 52 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #data-collection, с общим числом 268,114 звёзд (в среднем 5,156 на проект). Лидером этой темы является NanmiCoder/MediaCrawler, набравший 71,528 звёзд.

52
Всего репозиториев
268,114
Всего звезд
5,156
Среднее количество звезд на репозиторий

Всего репозиториев: 52

1
NanmiCoder/MediaCrawler

Заметка Xiaohongshu | Краулер комментариев, Видео Douyin | Краулер комментариев, Видео Kuaishou | Краулер комментариев, Видео Bilibili | Краулер комментариев, Пост Weibo | Краулер комментариев, Пост Baidu Tieba | Краулер ответов на комментарии Baidu Tieba | Статья с вопросами и ответами Zhihu|Краулер комментариев

NanmiCoder
⭐ 71,528 Python 👤 NanmiCoder User 🕐 Обновлено 2026-11-21 📅 Создано 2023-06-09
2
NaiboWang/EasySpider

Визуальный no-code веб-краулер/паук: программное обеспечение для автоматизации браузера, сбора данных и веб-скрейпинга, позволяющее проектировать и выполнять задачи парсинга без написания кода. Псевдоним: ServiceWrapper, интеллектуальная система инкапсуляции сервисов для веб-приложений.

NaiboWang
⭐ 44,801 JavaScript 👤 NaiboWang User 🕐 Обновлено 2026-11-16 📅 Создано 2020-07-18
3
airbytehq/airbyte

Открытый исходный код для перемещения данных в ELT-пайплайнах и AI-агентах — из API, баз данных и файлов в хранилища данных, озёра данных и AI-приложения. Как в self-hosted, так и в облаке.

airbytehq
⭐ 22,426 Python 👤 airbytehq Organization 🕐 Обновлено 2026-11-21 📅 Создано 2020-07-27
4
Evil0ctal/Douyin_TikTok_Download_API

🚀 Самостоятельно размещаемый API для сбора данных с Douyin, TikTok и Bilibili и скачивания видео без водяных знаков. Поддерживает вызовы ИИ-агентов через MCP и офлайн-преобразование речи в текст. Развёртывание Docker в один клик. | Самостоятельно размещаемый парсер TikTok, Douyin и Bilibili и загрузчик видео без водяных знаков: асинхронный REST API, MCP-сервер для ИИ-агентов, CLI и веб-консоль, а также офлайн-преобразование речи в текст для скачанных видео. Самовосстанавливающийся пул идентификаторов, архив PostgreSQL и запуск одной командой `docker compose up`.

Evil0ctal
⭐ 21,507 Python 👤 Evil0ctal User 🕐 Обновлено 2026-11-20 📅 Создано 2021-11-07
5
cporter202/API-mega-list

Этот репозиторий GitHub — мощная коллекция API, которые вы можете сразу начать использовать для создания чего угодно: от простых автоматизаций до полномасштабных приложений. Один из самых ценных списков API на GitHub — и точка. 💪

cporter202
⭐ 8,406 JavaScript 👤 cporter202 User 🕐 Обновлено 2026-11-19 📅 Создано 2025-12-09
6
firecrawl/firecrawl-mcp-server

Официальный MCP-сервер Firecrawl — контекстный API для ИИ-агентов: ищите информацию в интернете, извлекайте данные и взаимодействуйте с веб-страницами, а также анализируйте, обходите и картируйте сайты, используя Agent и Monitor из любого MCP-клиента.

firecrawl
⭐ 7,871 JavaScript 👤 firecrawl Organization 🕐 Обновлено 2026-11-21 📅 Создано 2024-12-06
7
snowplow/snowplow

Лидер в инфраструктуре клиентских данных

snowplow
⭐ 7,052 Scala 👤 snowplow Organization 🕐 Обновлено 2026-10-19 📅 Создано 2012-03-01
8
cloudquery/cloudquery

Конвейеры данных для данных конфигурации и безопасности облака. Создание решений для инвентаризации облачных активов, CSPM, FinOps и управления уязвимостями. Извлечение данных из AWS, Azure, GCP и более чем 70 облачных и SaaS-источников.

cloudquery
⭐ 6,561 Go 👤 cloudquery Organization 🕐 Обновлено 2026-11-21 📅 Создано 2020-11-18
9
ResearchKit/ResearchKit

ResearchKit — это фреймворк программного обеспечения с открытым исходным кодом, который позволяет легко создавать приложения для медицинских исследований или для других исследовательских проектов.

ResearchKit
⭐ 5,758 Objective-C 👤 ResearchKit Organization 🕐 Обновлено 2026-09-23 📅 Создано 2015-03-10
10
jitsucom/jitsu

Jitsu — это альтернатива Segment с открытым исходным кодом. Полностью настраиваемый движок для приема данных для современных команд данных. Настройте конвейер данных в реальном времени за считанные минуты, а не дни

jitsucom
⭐ 5,138 TypeScript 👤 jitsucom Organization 🕐 Обновлено 2026-11-20 📅 Создано 2020-08-04
11
CollegesChat/university-information

Требования и детали, которые вузы по всей стране не указывают при приеме, но которые фактически повлияют на качество студенческой жизни

CollegesChat
⭐ 5,105 👤 CollegesChat Organization 🕐 Обновлено 2026-10-18 📅 Создано 2021-06-25
12
REMitchell/python-scraping

Примеры кода из книги Web Scraping with Python http://shop.oreilly.com/product/0636920034391.do

REMitchell
⭐ 4,669 Jupyter Notebook 👤 REMitchell User 🕐 Обновлено 2024-06-01 📅 Создано 2015-06-14
13
php-debugbar/php-debugbar

Панель отладки для PHP

php-debugbar
⭐ 4,380 PHP 👤 php-debugbar Organization 🕐 Обновлено 2026-10-25 📅 Создано 2013-06-07
14
cv-cat/DouYin_Spider

Реверс-инжиниринг TikTok, краулер TikTok, все API TikTok, личные сообщения, мониторинг直播 комнат

cv-cat
⭐ 3,711 Python 👤 cv-cat User 🕐 Обновлено 2026-10-23 📅 Создано 2023-10-17
15
Gioman101/FlipperAmiibo

Сделано для использования с Flipper, просто перетащите папку в NFC

Gioman101
⭐ 3,422 Python 👤 Gioman101 User 🕐 Обновлено 2024-08-15 📅 Создано 2022-04-22
16
scrapy/scrapyd

Службовый демон для запуска пауков Scrapy

scrapy
⭐ 3,100 Python 👤 scrapy Organization 🕐 Обновлено 2026-10-23 📅 Создано 2013-02-01
17
vladkens/twscrape

Библиотека Python и CLI для скрапинга X/Twitter с ротацией нескольких аккаунтов и встроенной обработкой ограничений скорости.

vladkens
⭐ 2,980 Python 👤 vladkens User 🕐 Обновлено 2026-11-19 📅 Создано 2023-05-05
18
M-cheng-web/web-tracing

Предоставление средств мониторинга для фронтенд-проектов: 【отслеживание, поведение, производительность, исключения, запросы, ресурсы, маршруты, показы, запись экрана】

M-cheng-web
⭐ 2,950 TypeScript 👤 M-cheng-web User 🕐 Обновлено 2026-09-21 📅 Создано 2021-12-24
19
brightdata/brightdata-mcp

Мощный сервер Model Context Protocol (MCP), предлагающий комплексное решение для общедоступного веб-доступа.

brightdata
⭐ 2,733 JavaScript 👤 brightdata Organization 🕐 Обновлено 2026-11-18 📅 Создано 2025-04-15
20
SPX372928/MyIPTV

Стандартный протокол мобильного источника прямой трансляции

SPX372928
⭐ 2,704 👤 SPX372928 User 🕐 Обновлено 2026-02-19 📅 Создано 2020-04-07
⭐ 2,096 Python 👤 tonyzhaozh User 🕐 Обновлено 2024-04-19 📅 Создано 2023-02-22
22
X-zhangyang/Real-World-Masked-Face-Dataset

Real-World Masked Face Dataset, Набор данных лиц в масках в реальном мире

X-zhangyang
⭐ 2,030 Python 👤 X-zhangyang User 🕐 Обновлено 2024-11-20 📅 Создано 2020-02-13
23
KEV0143/Parser-Chitai-Gorod

Интеллектуальный парсер для каталога «Читай-город». Высокоскоростной сбор и структурирование данных по любым заданным параметрам: от ISBN до динамики скидок.

KEV0143
⭐ 1,979 Python 👤 KEV0143 User 🕐 Обновлено 2026-09-17 📅 Создано 2025-05-18
24
pyper-dev/pyper

Параллельный Python — это просто

pyper-dev
⭐ 1,521 Python 👤 pyper-dev User 🕐 Обновлено 2025-02-04 📅 Создано 2024-05-22
25
sensorsdata/sa-sdk-android

Официальный SDK для встраивания событий Sensors Data для Android — это легковесный SDK для сбора и отслеживания данных на стороне Android, включающий функции отслеживания кода, полного отслеживания, карт кликов и визуального полного отслеживания. Полное отслеживание реализуется с помощью интеграции с официальным плагином Sensors Data для встраивания событий Android. Официальный плагин Sensors Data для встраивания событий Android использует технологию вставки байт-кода (ASM) для реализации полного отслеживания на стороне Android (без отслеживания, отслеживание без кода, отслеживание без следов, автоматическое отслеживание).

sensorsdata
⭐ 1,374 Java 👤 sensorsdata Organization 🕐 Обновлено 2026-11-04 📅 Создано 2015-11-06
26
pnoker/iot-dc3

IoT DC3 — Соединяем физический мир с ИИ. Промышленная IoT-среда выполнения с открытым исходным кодом для Physical AI: 36 драйверов протоколов, доставка данных от периферии в облако и шлюз инструментов MCP, позволяющий ИИ-агентам воздействовать на устройства в безопасном, управляемом и отслеживаемом цикле.

pnoker
⭐ 1,274 Java 👤 pnoker User 🕐 Обновлено 2026-11-11 📅 Создано 2018-08-28
27
Decodo/Decodo

HTTP(S)/SOCKS5 вращающиеся жилые прокси - примеры кода и общая информация.

Decodo
⭐ 1,264 Java 👤 Decodo Organization 🕐 Обновлено 2026-11-11 📅 Создано 2019-01-07
28
rohunvora/x-research-skill

Навык исследования X/Twitter для Claude Code и OpenClaw. Интеллектуальный поиск, отслеживание веток, глубокие исследования, собранные брифинги.

rohunvora
⭐ 1,248 TypeScript 👤 rohunvora User 🕐 Обновлено 2026-02-19 📅 Создано 2026-02-08
29
washingtonpost/data-police-shootings

The Washington Post собирает базу данных каждого смертельного выстрела в Соединенных Штатах от полицейского офицера при исполнении служебных обязанностей с 2015 года.

washingtonpost
⭐ 1,147 👤 washingtonpost Organization 🕐 Обновлено 2026-10-14 📅 Создано 2015-06-30
31
plan-player-analytics/Plan

Плагин Player Analytics для платформ серверов Minecraft - Просматривайте активность игроков вашего сервера с легкостью. :calendar:

plan-player-analytics
⭐ 1,041 Java 👤 plan-player-analytics Organization 🕐 Обновлено 2026-11-21 📅 Создано 2016-12-08
32
estuary/flow

🌊 Непрерывно синхронизируйте системы, в которых находятся ваши данные, с системами, в которых вы _хотите_ их видеть, управляя потоками данных с помощью Estuary. 🌊

estuary
⭐ 995 Rust 👤 estuary Organization 🕐 Обновлено 2026-11-21 📅 Создано 2020-02-13
33
sensorsdata/sa-sdk-javascript

Официальный SDK для отслеживания Web JavaScript от Shence Data — это легковесный SDK для сбора данных и отслеживания на Web- и H5-платформах. Использует нативную технологию JavaScript для реализации функций, таких как отслеживание на основе кода, полное отслеживание, визуальное полное отслеживание, тепловые карты веб-страниц и карты охвата.

sensorsdata
⭐ 956 JavaScript 👤 sensorsdata Organization 🕐 Обновлено 2026-11-12 📅 Создано 2015-11-06
34
levinunnink/html-form-to-google-sheet

Как отправлять HTML-формы в Google Sheets. (Обновлено для редактора сценариев 2026)

levinunnink
⭐ 948 JavaScript 👤 levinunnink User 🕐 Обновлено 2026-01-14 📅 Создано 2021-09-20
35
TheBurnsy/Vehicle-OSINT-Collection

Обширный список инструментов, которые могут быть использованы для поиска информации, связанной с конкретным транспортным средством.

TheBurnsy
⭐ 912 👤 TheBurnsy User 🕐 Обновлено 2024-11-20 📅 Создано 2022-11-16
36
Cl0udG0d/Fofa-hack

Неоплачиваемый участник, инструмент сбора данных fofa

Cl0udG0d
⭐ 882 Python 👤 Cl0udG0d User 🕐 Обновлено 2025-10-28 📅 Создано 2022-09-15
37
FalconForceTeam/SOAPHound

SOAPHound — это специально разработанный инструмент сбора данных .NET, который может использоваться для перечисления сред Active Directory через протокол Active Directory Web Services (ADWS).

FalconForceTeam
⭐ 840 C# 👤 FalconForceTeam Organization 🕐 Обновлено 2024-02-03 📅 Создано 2024-01-25
38
zqzess/MyWebStorage

Интегрирует существующие источники Xiangse Guguan в Интернете, веб-сканер автоматически обновляет источники книг еженедельно

zqzess
⭐ 813 HTML 👤 zqzess User 🕐 Обновлено 2026-11-16 📅 Создано 2021-05-18
39
getodk/collect

ODK Collect — это приложение для Android для заполнения форм. Оно использовалось для сбора миллиардов точек данных в сложных условиях по всему миру. Вносите вклад и сделайте мир лучше! ✨📋✨

getodk
⭐ 807 Kotlin 👤 getodk Organization 🕐 Обновлено 2026-11-20 📅 Создано 2015-08-04
40
quantumproxies/quantumproxies.io

Резидентские, дата-центровые, ISP- и мобильные прокси с более чем 90 млн IP в 200+ странах, а также API для скрейпинга и SERP. Примеры кода на Python, Node.js, PHP, Go, Java, C#, Ruby и curl.

quantumproxies
⭐ 780 Java 👤 quantumproxies User 🕐 Обновлено 2026-09-06 📅 Создано 2025-11-17
41
LAION-AI/audio-dataset

Аудио набор данных для обучения CLAP и других моделей

LAION-AI
⭐ 750 Python 👤 LAION-AI Organization 🕐 Обновлено 2026-01-08 📅 Создано 2022-03-07
42
thinkoaa/Deadpool

Инструмент пула прокси Deadpool может получать высококачественные прокси socks5 с платформ картографирования киберпространства, таких как Hunter, Quake, Fofa, или импортировать прокси socks5 локально, и использовать прокси поочередно для пересылки трафика.

thinkoaa
⭐ 741 Go 👤 thinkoaa User 🕐 Обновлено 2026-05-06 📅 Создано 2024-08-26
43
augurlabs/augur

Когда Augur достиг своего предела, мы создали Aveloxis: надежный сбор метрик OSS. 40 000 репозиториев, полностью собранных за 3 дня — это ведь неплохо, правда?

augurlabs
⭐ 695 Go 👤 augurlabs Organization 🕐 Обновлено 2026-08-04 📅 Создано 2017-01-05
44
bangumi-data/bangumi-data

Сырые данные для японского аниме

bangumi-data
⭐ 665 JavaScript 👤 bangumi-data Organization 🕐 Обновлено 2026-11-17 📅 Создано 2016-09-04
45
ohyicong/Google-Image-Scraper

Библиотека для скрапинга изображений Google

ohyicong
⭐ 636 Python 👤 ohyicong User 🕐 Обновлено 2025-02-16 📅 Создано 2020-07-18
46
nghuyong/weibo-cov

Weibo-COV: Масштабный набор данных о COVID-19 из социальных сетей Weibo

nghuyong
⭐ 626 👤 nghuyong User 🕐 Обновлено 2025-08-23 📅 Создано 2020-02-20
47
Robotics-Ark/ark_framework

Фреймворк Ark.

Robotics-Ark
⭐ 625 Python 👤 Robotics-Ark Organization 🕐 Обновлено 2026-06-20 📅 Создано 2025-06-25
48
john-friedman/datamule-python

Пакет для работы с данными SEC. Включает конечные точки Datamule.

john-friedman
⭐ 560 Python 👤 john-friedman User 🕐 Обновлено 2026-08-14 📅 Создано 2024-09-06
49
sindresorhus/insight

Модуль Node.js, который помогает понять, как используется ваш инструмент, путем анонимной отправки метрик использования в Google Analytics

sindresorhus
⭐ 553 JavaScript 👤 sindresorhus User 🕐 Обновлено 2026-09-18 📅 Создано 2012-12-12
50
zhaoyachao/zdh_web

Сбор больших данных, платформа извлечения, zdh_web - это визуальная платформа управления для сервисов серии zdh, содержащая модули, такие как сбор данных, планирование, разрешения, поток одобрения, маркетинг в частном домене и т.д.

zhaoyachao
⭐ 536 HTML 👤 zhaoyachao User 🕐 Обновлено 2026-06-07 📅 Создано 2020-02-03

Часто задаваемые вопросы

1

Какой репозиторий по теме #data-collection наиболее популярен на GitHub?

Самый высоко оценённый проект с открытым исходным кодом по теме #data-collection на GitHub — NanmiCoder/MediaCrawler, набравший 71,528 звёзд. Заметка Xiaohongshu | Краулер комментариев, Видео Douyin | Краулер комментариев, Видео Kuaishou | Краулер комментариев, Видео Bilibili | Краулер комментариев, Пост Weibo | Краулер комментариев, Пост Baidu Tieba | Краулер ответов на комментарии Baidu Tieba | Статья с вопросами и ответами Zhihu|Краулер комментариев

2

Какие языки программирования чаще всего используются в репозиториях по теме #data-collection?

Среди наиболее высоко оценённых проектов по теме #data-collection на GitHub чаще всего используются языки программирования Python, JavaScript, Java, Go.

3

Как рассчитывается рейтинг репозиториев по теме #data-collection?

Мы отслеживаем 52 активных репозиториев с открытым исходным кодом, отмеченных тегом #data-collection (500 и более звёзд), с общим числом 268,114 звёзд и в среднем 5,156 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.