#spark Репозитории
Откройте для себя 126 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #spark, с общим числом 513,269 звёзд (в среднем 4,073 на проект). Лидером этой темы является DataTalksClub/data-engineering-zoomcamp, набравший 46,997 звёзд.
Всего репозиториев: 126
Data Engineering Zoomcamp — это бесплатный 9-недельный курс по созданию готовых к продакшену пайплайнов данных. Присоединяйтесь к курсу здесь 👇🏼
Сделайте свою компанию управляемой данными. Подключайтесь к любому источнику данных, легко визуализируйте, создавайте панели управления и делитесь своими данными.
Python-ноутбуки по науке о данных: глубокое обучение (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, большие данные (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, основы Python, AWS и различные командные строки.
Самая новая технология Docker-контейнеров: изучайте лучшие практики на основе реальных кейсов! | Изучайте и понимайте технологии Docker и контейнеров, с реальной практикой DevOps.
Графический интерфейс для API ChatGPT и многих LLM. Поддерживает агентов, ответы на вопросы на основе файлов, дообучение GPT и запросы с веб-поиском. Все с аккуратным пользовательским интерфейсом.
Блог по изучению Flink. http://www.54tianzhisheng.cn/ Содержит материалы по введению в Flink, концепциям, принципам, практике, настройке производительности, анализу исходного кода и т.д. Включает учебные примеры по Flink Connector, Metrics, Library, DataStream API, Table API & SQL и т.д., а также обмен крупными проектами применения Flink (PVUV, хранение логов, реальное дедупликация миллиардов данных, мониторинг и оповещения). Добро пожаловать поддержать мою колонку «Большой объём данных в реальном времени вычислительный движок Flink: практика и оптимизация производительности».
【Колонка собеседований в крупных компаниях】 Руководство по технологиям для Java-программистов: здесь есть вопросы для собеседований, системная архитектура, карьерные хитрости, популярные middleware и т.д., чтобы стать круче!
Фреймворк распределенного обучения для TensorFlow, Keras, PyTorch и Apache MXNet.
Набор инструментов для развертывания и обучения моделей глубокого обучения с использованием JVM. Основные возможности включают импорт моделей для Keras, TensorFlow и ONNX/PyTorch, модульную и крошечную библиотеку C++ для выполнения математического кода и математическую библиотеку на основе Java поверх основной библиотеки C++. Также включает samediff: библиотеку, похожую на PyTorch/TensorFlow, для выполнения глубокого обучения...
Фреймворк хранения с открытым исходным кодом, который позволяет строить архитектуру Lakehouse с использованием вычислительных движков, включая Spark, PrestoDB, Flink, Trino и Hive, а также API
🧙 Создавайте, запускайте и управляйте конвейерами данных для интеграции и преобразования данных.
H2O — это Open Source, распределенная, быстрая и масштабируемая платформа машинного обучения: Deep Learning, Gradient Boosting (GBM) и XGBoost, Random Forest, Generalized Linear Modeling (GLM с Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML) и т. д.
Веб-ноутбук, который позволяет проводить data-driven интерактивный анализ данных и создавать совместные документы с использованием SQL, Scala и других инструментов.
Простая и распределенная библиотека машинного обучения на Python для переноса алгоритмов ML в Spark
cube studio Open-Source Cloud-Native Универсальная AI-платформа для машинного обучения/глубокого обучения/больших моделей, полный процесс алгоритмической цепочки MLOps, платформа аренды вычислительных мощностей, онлайн-разработка в Notebook, оркестровка конвейера задач методом перетаскивания, распределенное обучение на нескольких машинах с несколькими GPU, поиск гиперпараметров, виртуализация VGPU для сервиса инференса, граничные вычисления, автоматизированная разметка на платформе разметки, дообучение SFT больших моделей (deepseek и др.)/модель вознаграждения/обучение с подкреплением, многомашинный инференс больших моделей (vllm/ollama/mindie и др.), частная база знаний, маркетплейс AI-моделей, поддержка отечественных CPU/GPU/NPU экосистемы Ascend, поддержка RDMA, поддержка распределенных фреймворков (pytorch/tf/mxnet/deepspeed/paddle/colossalai/horovod/ray/volcano и др.)
Улучшенный сжатый битсет в Java: используется в Apache Spark, Netflix Atlas, Apache Pinot, Tablesaw и многих других
Deequ — это библиотека, построенная на базе Apache Spark для определения «юнит-тестов для данных», которые измеряют качество данных в больших наборах данных.
Полностью совместимая замена Apache Spark, написанная на Rust, объединяющая пакетную обработку, потоковую обработку и вычислительно интенсивные AI-нагрузки.
🔨 Генерируйте структурированные SQL-запросы с помощью JSON, реализованные на Vue3 + TypeScript + Vite + Ant Design + MonacoEditor, проект простой (сильная логика, легкие страницы), подходит для тренировки~
Apache Paimon — это формат озера данных, который позволяет создавать архитектуру Realtime Lakehouse с помощью Flink и Spark как для потоковых, так и для пакетных операций.
Apache Linkis создает слой вычислительного промежуточного ПО, чтобы облегчить соединение, управление и оркестрацию между верхними приложениями и нижележащими двигателями данных.
DataSphereStudio — это портал для разработки и управления приложениями данных в формате "одно окно", охватывающий сценарии, включая обмен данными, десенсибилизацию/очистку, анализ/добычу данных, измерение качества, визуализацию и планирование задач.
Открытый lakehouse-движок для агентов — с нативной поддержкой Postgres, векторов и Python. Говорит на PostgreSQL, работает в вашем объектном хранилище и написан на Rust.
Обучение большим данным, Изучение больших данных с нуля, Включает видеоуроки и материалы для собеседований на каждом этапе обучения большим данным
Оператор Kubernetes для управления жизненным циклом приложений Apache Spark на Kubernetes.
Прошлый учебный проект: рекомендации фильмов с помощью Spark, веб-скрейпинг, веб-приложение и бэкенд. Разработка новой версии продолжается в cinematch-recommender.
:herb: Быстрые примеры обучения на основе Spring Boot, интеграция открытых фреймворков, с которыми я сталкивался, например: RabbitMQ (очередь с задержкой), Kafka, JPA, Redis, OAuth2, Swagger, JSP, Docker, K3s, K3d, K8s, плагин шифрования/дешифрования MyBatis, обработка исключений, вывод логов, разработка с несколькими модулями, упаковка для нескольких окружений, кэш cache, веб-краулер, JWT, GraphQL, Dubbo, Zookeeper и Async и т.д. :pushpin:
Быстрая, точная и масштабируемая вероятностная связь данных с поддержкой нескольких SQL-бэкендов
✨Spark — это веб-ориентированный, кроссплатформенный и полнофункциональный инструмент удаленного администрирования (RAT), написанный на Go, который позволяет вам контролировать все ваши устройства из любого места. Spark — это написанный на Go, веб-ориентированный, кроссплатформенный и многофункциональный инструмент удаленного управления и мониторинга, позволяющий отслеживать и контролировать все устройства в любое время и в любом месте.
Apache Kyuubi — это распределенный и многоарендный шлюз для предоставления бессерверного SQL на складах данных и озерных домах.
YTsaurus — это масштабируемая и отказоустойчивая платформа для больших данных с открытым исходным кодом.
Инструменты для работы с прошивками продуктов DJI с акцентом на квадрокоптеры.
TransmogrifAI (произносится trăns-mŏgˈrə-fī) — это библиотека AutoML для создания модульных, многократно используемых и строго типизированных рабочих процессов машинного обучения на базе Apache Spark с минимальной ручной настройкой.
Единый интерфейс для распределенных вычислений. Fugue выполняет код SQL, Python, Pandas и Polars на Spark, Dask и Ray без каких-либо переписываний.
Часто задаваемые вопросы
Какой репозиторий по теме #spark наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #spark на GitHub — DataTalksClub/data-engineering-zoomcamp, набравший 46,997 звёзд. Data Engineering Zoomcamp — это бесплатный 9-недельный курс по созданию готовых к продакшену пайплайнов данных. Присоединяйтесь к курсу здесь 👇🏼
Какие языки программирования чаще всего используются в репозиториях по теме #spark?
Среди наиболее высоко оценённых проектов по теме #spark на GitHub чаще всего используются языки программирования Java, Scala, Python, Jupyter Notebook.
Как рассчитывается рейтинг репозиториев по теме #spark?
Мы отслеживаем 126 активных репозиториев с открытым исходным кодом, отмеченных тегом #spark (500 и более звёзд), с общим числом 513,269 звёзд и в среднем 4,073 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.