#data-processing Репозитории
Откройте для себя 72 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #data-processing, с общим числом 211,976 звёзд (в среднем 2,944 на проект). Лидером этой темы является pathwaycom/pathway, набравший 61,976 звёзд.
Всего репозиториев: 72
Python ETL framework для потоковой обработки, анализа в реальном времени, LLM-пайплайнов и RAG.
Инкрементальный движок для агентов с долгим горизонтом 🌟 Поставь звезду, если нравится!
Сборник полезных Bash One-Liners и трюков терминала для обработки данных и обслуживания системы Linux.
Miller похож на awk, sed, cut, join и sort для данных с индексацией по именам, таких как CSV, TSV и табличный JSON.
[SIGMOD'27] Простая подготовка данных с использованием новейших операторов и конвейеров на основе LLM.
Унифицированный запрос, преобразование и модификация JSON, TOML, YAML, XML, INI, HCL, KDL и CSV.
Библиотека с ускорением на GPU, содержащая высокооптимизированные строительные блоки и исполнительный движок для обработки данных, для ускорения приложений обучения и вывода глубокого обучения.
Легковесный фреймворк для обработки данных, построенный на базе DuckDB и 3FS.
Легковесная, гибкая и выразительная библиотека для статистического тестирования данных
Реализация differential dataflow с использованием timely dataflow на Rust.
Собственная платформа Kubernetes для запуска массово параллельных задач обработки данных/потоковой передачи
Контекстный слой для неструктурированных данных: типизированные, версионированные наборы данных поверх S3, GCS, Azure
Одновременная и многоэтапная загрузка данных и обработка данных с помощью Elixir
Инструментарий для машинного обучения, обработки естественного языка и генерации текста на TensorFlow. Является частью проекта CASL: http://casl-project.ai/
Масштабируемый набор инструментов для предварительной обработки и курирования данных для LLM
Данные и инструменты для генерации и проверки данных предварительного обучения OLMo.
Исходный код, сопровождающий книгу: Наука о данных на платформе Google Cloud, Valliappa Lakshmanan, O'Reilly 2017
Распределяйте и запускайте рабочие нагрузки ИИ на Kubernetes «волшебным» образом на Python, подобно PyTorch для инфраструктуры машинного обучения (ML).
Кураторский список потрясающего программного обеспечения, библиотек и ресурсов для радиолокации с синтезированной апертурой (SAR).
Сервер Model Context Protocol (MCP), который читает и записывает данные MS Excel
Это официальный репозиторий разработки для BCFtools. См. инструкции по установке и другую документацию здесь http://samtools.github.io/bcftools/howtos/install.html
Извлекает электронные письма и вложения, сохраненные в файлах .msg Microsoft Outlook
Инструмент командной строки для загрузки и извлечения данных из страниц HTML/XML или JSON-API с использованием CSS, XPath 3.0, XQuery 3.0, JSONiq или сопоставления шаблонов. Он также может создавать новые или преобразованные документы XML/HTML/JSON.
Flux — это легкий язык сценариев для запросов к базам данных (например, InfluxDB) и работы с данными. Он является частью InfluxDB 1.7 и 2.0, но может запускаться независимо от них.
Открытая библиотека для взаимодействия и обработки данных радара, специализированная для MIMO mmWave радаров
HStreamDB — это облачная потоковая база данных с открытым исходным кодом для Интернета вещей и не только. Модернизируйте свой стек данных для приложений реального времени.
Часто задаваемые вопросы
Какой репозиторий по теме #data-processing наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #data-processing на GitHub — pathwaycom/pathway, набравший 61,976 звёзд. Python ETL framework для потоковой обработки, анализа в реальном времени, LLM-пайплайнов и RAG.
Какие языки программирования чаще всего используются в репозиториях по теме #data-processing?
Среди наиболее высоко оценённых проектов по теме #data-processing на GitHub чаще всего используются языки программирования Python, C++, Jupyter Notebook, Rust.
Как рассчитывается рейтинг репозиториев по теме #data-processing?
Мы отслеживаем 72 активных репозиториев с открытым исходным кодом, отмеченных тегом #data-processing (500 и более звёзд), с общим числом 211,976 звёзд и в среднем 2,944 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.