#parquet Репозитории
Откройте для себя 45 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #parquet, с общим числом 105,539 звёзд (в среднем 2,345 на проект). Лидером этой темы является questdb/questdb, набравший 17,543 звёзд.
Всего репозиториев: 45
QuestDB - это высокопроизводительная, кроссплатформенная база данных временных рядов с открытым исходным кодом
Apache Arrow — это универсальный формат столбцов и многоязычная панель инструментов для быстрого обмена данными и анализа в памяти
Высокопроизводительный движок данных для рабочих нагрузок ИИ и мультимодальных систем. Обрабатывайте изображения, аудио, видео и структурированные данные в любом масштабе.
Полностью совместимая замена Apache Spark, написанная на Rust, объединяющая пакетную обработку, потоковую обработку и вычислительно интенсивные AI-нагрузки.
Создавайте полноценные API для медленно меняющихся наборов данных, не написав ни строчки кода.
Parseable — это платформа с открытым исходным кодом для унифицированной наблюдаемости инфраструктуры, созданная на языке Rust на основе архитектуры озера данных (data lake). Она отслеживает логи, метрики, трассировки и события в приложениях, агентах и системах, сокращая расходы на хранение до 90% за счет колоночного сжатия телеметрии.
Архивируйте всю жизнь электронных писем и чатов. Офлайн-поиск, аналитика и ИИ-запросы по всей истории сообщений. Работает на SQLite и DuckDB.
OLake Go: система репликации с открытым исходным кодом для передачи данных из баз данных, Kafka и S3 в Apache Iceberg и Parquet. Источники: Postgres, MySQL, MongoDB, Oracle, MSSQL, DB2, Kafka, S3. Ранее — datazip-inc/olake. Обслуживание таблиц находится в datazip-inc/olake-fusion.
Совместимый с Apache Kafka® брокер с поддержкой S3, PostgreSQL, SQLite, Apache Iceberg и Delta Lake
Библиотека Petastorm обеспечивает обучение и оценку моделей глубокого обучения на одном компьютере или в распределенной среде из наборов данных в формате Apache Parquet. Она поддерживает ML-фреймворки, такие как Tensorflow, Pytorch и PySpark, и может использоваться из чистого кода Python.
Единый SQL-интерфейс для 60+ инструментов (например, GitHub, Notion, Airtable). Подключайтесь к любой LLM через MCP.
Tonbo — это встраиваемая база данных для бессерверных и граничных сред выполнения.
cryo — это самый простой способ извлечения данных блокчейна в parquet, csv, json или python dataframe
Quilt — это платформа управления научными данными на AWS, которая помогает командам и ИИ находить, доверять и повторно использовать данные с помощью глубоко версионированных, богатых контекстом пакетов данных.
Простое приложение для рабочего стола Windows для просмотра и запроса файлов Apache Parquet
Локальное хранилище данных с открытым исходным кодом для китайского фондового рынка (акции класса A): котировки акций Шанхая и Шэньчжэня, данные по акциям A и финансовые данные для количественных исследований, торговли и бэктестинга. Включает финансовую отчетность, данные по фьючерсам, потоки капитала, объявления, индексы, отрасли и макроэкономические данные. 86 наборов данных с ежедневным обновлением; скорректированные цены и исторический состав индексов встроены. Поддерживаются происхождение данных на уровне строк, PIT и нативная интеграция с MCP. Регистрация и токен не нужны; возможно самостоятельное размещение. Открытое хранилище данных китайского фондового рынка для количественных исследований, бэктестинга и ИИ-агентов.
ADAM — это платформа для геномного анализа со специализированными форматами файлов, разработанными с использованием Apache Avro, Apache Spark и Apache Parquet. Лицензия Apache 2.
Быстрая интерактивная визуализация геопространственных данных в Jupyter.
ETL-фреймворк для .NET (Парсер / Записыватель для файлов в форматах CSV, Flat, Xml, JSON, Key-Value, Parquet, Yaml, Avro)
80+ инструментов CLI DevOps и данных - AWS, GCP, GCF Python Cloud Functions, Log Anonymizer, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Конвертеры и валидаторы данных Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr и т.д.
Открытая база данных временных рядов с нативной поддержкой SQL для телеметрии, которую нужно хранить. Приём — более 38 млн записей/с, запросы — более 25 млн строк/с. Совместима с InfluxDB Line Protocol и Telegraf. Открытый формат Parquet в вашем хранилище. Один бинарный файл. Нативная поддержка S3/Azure. Готова к работе в изолированных сетях. AGPL-3.0.
Копирование в/из Parquet в S3, Azure Blob Storage, Google Cloud Storage, хранилищах http(s), локальных файлах или стандартном потоке ввода/вывода из PostgreSQL
Graph Data Science: уровень абстракции на Python для создания графов знаний, интегрированный с популярными библиотеками графов – поверх Pandas, NetworkX, RAPIDS, RDFlib, pySHACL, PyVis, morph-kgc, pslpython, pyarrow и др.
Привязки WebAssembly на основе Rust для чтения и записи данных Apache Parquet
Полностью открытая рабочая среда DuckDB, работающая в вашем браузере. Редактор SQL, блокноты, диаграммы, ИИ-ассистент. Без установки, без регистрации, без бэкенда — ваши данные никогда не покидают вкладку.
Аналитика данных и BI в браузере с использованием DuckDB-WASM. Конфиденциальность прежде всего: ваши данные остаются локально; сервер не требуется.
Имитационное моделирование сезона НБА методом Монте-Карло с использованием dbt, duckdb и evidence.dev
select * from logs; Tailpipe — это SIEM с открытым исходным кодом для мгновенного анализа журналов, основанный на DuckDB. Анализируйте миллионы событий за секунды прямо из вашего терминала.
Быстрый просмотрщик для файлов CSV/Parquet и баз данных, таких как DuckDB, SQLite, PostgreSQL, MySQL, Clickhouse и т. д., на основе Tauri.
Расширение Data Preview 🈸 для импорта 📤 просмотра 🔎 нарезки 🔪 нарезки кубиками 🎲 создания диаграмм 📊 и экспорта 📥 больших массивов/конфигураций JSON, YAML, Apache Arrow, Avro, Parquet и файлов данных Excel
Экспериментальный встраиваемый SQL-движок на C++20. Выполняйте SQL-запросы напрямую к файлам Parquet, CSV, JSON, Arrow, Avro, SQLite и Excel внутри процесса. Ранняя стадия разработки.
reth-indexer считывает данные напрямую из базы данных reth и индексирует их в традиционные и альтернативные базы данных / хранилища (postgres, GCP bigquery и т. д.), все декодируется с помощью простого файла конфигурации и без дополнительной настройки, а также предоставляет API, готовую для запроса данных.
Часто задаваемые вопросы
Какой репозиторий по теме #parquet наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #parquet на GitHub — questdb/questdb, набравший 17,543 звёзд. QuestDB - это высокопроизводительная, кроссплатформенная база данных временных рядов с открытым исходным кодом
Какие языки программирования чаще всего используются в репозиториях по теме #parquet?
Среди наиболее высоко оценённых проектов по теме #parquet на GitHub чаще всего используются языки программирования Rust, Go, Python, C++.
Как рассчитывается рейтинг репозиториев по теме #parquet?
Мы отслеживаем 45 активных репозиториев с открытым исходным кодом, отмеченных тегом #parquet (500 и более звёзд), с общим числом 105,539 звёзд и в среднем 2,345 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.