#spark Репозитории
Всего репозиториев: 126
:elephant: Elasticsearch в режиме реального времени для поиска и анализа, интегрированный с Hadoop
Apache Auron — это ускоритель для движков обработки больших данных, использующий нативное векторизованное выполнение для ускорения обработки запросов.
Репозиторий знаний больших данных включает моделирование хранилищ данных, обработку данных в реальном времени, большие данные, централизованную платформу данных, проектирование систем, Java, алгоритмы и т. д.
Более 2000+ вопросов для собеседования инженера данных.
Сводка системы архитектуры знаний полнофункционального стека backend (Java Golang)
ApacheCN Открытая организация: Объявления, Введение, Участники, Активности, Способы обмена
Учебные пособия по Apache Spark & Python (pySpark) для анализа больших данных и машинного обучения в виде IPython / Jupyter блокнотов
:truck: Гибкие рабочие процессы подготовки данных, упрощенные с помощью Pandas, Dask, cuDF, Dask-cuDF, Vaex и PySpark
Это репозиторий GitHub для Learning Spark: Lightning-Fast Data Analytics [2nd Edition]
50+ публичные образы DockerHub для Docker & Kubernetes - DevOps, CI/CD, GitHub Actions, CircleCI, Jenkins, TeamCity, Alpine, CentOS, Debian, Fedora, Ubuntu, Hadoop, Kafka, ZooKeeper, HBase, Cassandra, Solr, SolrCloud, Presto, Apache Drill, Nifi, Spark, Consul, Riak
Магические команды и ядра Jupyter для работы с удалёнными кластерами Spark
Эксперт нового поколения по управлению большими данными в облачной среде нацелен на то, чтобы помочь пользователям быстро создавать стабильные, эффективные и масштабируемые облачные платформы для работы с большими данными.
Taier — это платформа разработки больших данных для подачи, планирования, эксплуатации и обслуживания, а также отображения информации об индикаторах
PySpark-Tutorial предоставляет базовые алгоритмы с использованием PySpark
Разрешение сущностей и идентификаторов, управление мастер-данными и дедупликация на основе ИИ в масштабах для людей и агентов
GraphFrames — это пакет для Apache Spark, который предоставляет графы на основе DataFrame.
Apache Amoro (incubating) — это система управления Lakehouse, построенная на открытых форматах озер данных.
Apache Celeborn — это эластичный высокопроизводительный сервис для данных перемешивания и выгрузки.
Сервер для проекта ListenBrainz, включая фронтенд-код (javascript/react), который он обслуживает, и все компоненты обработки данных, используемые LB.
ADAM — это платформа для геномного анализа со специализированными форматами файлов, разработанными с использованием Apache Avro, Apache Spark и Apache Parquet. Лицензия Apache 2.
Плагин NVIDIA cuDF для Apache Spark — ускорение Apache Spark с помощью графических процессоров
Проект с открытым исходным кодом для подготовки данных для приложений GenAI
Apache Livy — это открытый REST-интерфейс для взаимодействия с Apache Spark откуда угодно.
Коннектор для Spark, который позволяет читать и записывать в/из кластера Redis
Серия открытых моделей Spark-x2.6. Расширяя границы агентных возможностей моделей на устройстве
Куратированный список отличных ресурсов, связанных с языком программирования Ada и SPARK
DoEKS — это инструмент для создания, развертывания и масштабирования платформ данных на Amazon EKS
Этот репозиторий содержит исходный код разработки sparkMeasure — библиотеки для анализа производительности и устранения неисправностей Apache Spark. Она упрощает сбор, агрегацию и экспорт метрик задач/этапов Spark и предназначена для практического использования разработчиками и инженерами данных в интерактивном анализе, тестировании и рабочих процессах мониторинга производства.
80+ инструментов CLI DevOps и данных - AWS, GCP, GCF Python Cloud Functions, Log Anonymizer, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Конвертеры и валидаторы данных Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr и т.д.
Scriptis предназначен для интерактивного анализа данных с разработкой скриптов (SQL, PySpark, HiveQL), отправкой задач (Spark, Hive), UDF, функциями, управлением ресурсами и интеллектуальной диагностикой.
ИИ-чат-бот на базе JDK8! Официальный аккаунт WeChat Midjourney Graphics, обмен ключей, поддержка веб-сайта ChatGPT, Midjourney Graphics, SD Graphics, обмен ключей, YiPay, привлечение трафика из официального аккаунта, регистрация по электронной почте🔥
Dingo: Комплексный инструмент для оценки качества данных, моделей и приложений ИИ