#hadoop Репозитории
Откройте для себя 43 активных репозиториев с открытым исходным кодом на GitHub, отмеченных тегом #hadoop, с общим числом 238,277 звёзд (в среднем 5,541 на проект). Лидером этой темы является donnemartin/data-science-ipython-notebooks, набравший 28,776 звёзд.
Всего репозиториев: 43
Python-ноутбуки по науке о данных: глубокое обучение (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, большие данные (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, основы Python, AWS и различные командные строки.
Luigi — это модуль Python, который помогает создавать сложные конвейеры пакетных заданий. Он обрабатывает разрешение зависимостей, управление рабочими процессами, визуализацию и т. д. Он также имеет встроенную поддержку Hadoop.
🏆 ORM в реальном времени без кода, мощный и безопасный 🚀 предоставляет API и Docs без кода со стороны Backend, а Frontend (Client) может кастомизировать ответы в формате JSON 🏆 ORM в реальном времени, без кода, полностью функциональный и высоко защищенный 🚀 API и документация Backend без кода, а Frontend (Client) может настроить возвращаемые данные и структуру JSON.
Набор инструментов для развертывания и обучения моделей глубокого обучения с использованием JVM. Основные возможности включают импорт моделей для Keras, TensorFlow и ONNX/PyTorch, модульную и крошечную библиотеку C++ для выполнения математического кода и математическую библиотеку на основе Java поверх основной библиотеки C++. Также включает samediff: библиотеку, похожую на PyTorch/TensorFlow, для выполнения глубокого обучения...
Официальный репозиторий Trino, распределённого SQL-движка запросов для больших данных, ранее известного как PrestoSQL (https://trino.io)
1200+ скриптов Bash для DevOps - AWS, GCP, Kubernetes, Docker, CI/CD, API, SQL, PostgreSQL, MySQL, Hive, Impala, Kafka, Hadoop, Jenkins, GitHub, GitLab, BitBucket, Azure DevOps, TeamCity, Spotify, MP3, LDAP, Линтинг кода/сборки, управление пакетами для Linux, Mac, Python, Perl, Ruby, NodeJS, Golang, Расширенные dot-файлы: .bashrc, .vimrc, .gitconfig, .screenrc, tmux..
В LinkedIn мы используем эту учебную программу для адаптации наших начинающих специалистов к роли SRE.
H2O — это Open Source, распределенная, быстрая и масштабируемая платформа машинного обучения: Deep Learning, Gradient Boosting (GBM) и XGBoost, Random Forest, Generalized Linear Modeling (GLM с Elastic Net), K-Means, PCA, Generalized Additive Models (GAM), RuleFit, Support Vector Machine (SVM), Stacked Ensembles, Automatic Machine Learning (AutoML) и т. д.
DataSphereStudio — это портал для разработки и управления приложениями данных в формате "одно окно", охватывающий сценарии, включая обмен данными, десенсибилизацию/очистку, анализ/добычу данных, измерение качества, визуализацию и планирование задач.
Обучение большим данным, Изучение больших данных с нуля, Включает видеоуроки и материалы для собеседований на каждом этапе обучения большим данным
Прошлый учебный проект: рекомендации фильмов с помощью Spark, веб-скрейпинг, веб-приложение и бэкенд. Разработка новой версии продолжается в cinematch-recommender.
Apache Kyuubi — это распределенный и многоарендный шлюз для предоставления бессерверного SQL на складах данных и озерных домах.
:elephant: Elasticsearch в режиме реального времени для поиска и анализа, интегрированный с Hadoop
Репозиторий знаний больших данных включает моделирование хранилищ данных, обработку данных в реальном времени, большие данные, централизованную платформу данных, проектирование систем, Java, алгоритмы и т. д.
Более 2000+ вопросов для собеседования инженера данных.
Активно развиваемый преемник Alibaba DataX — быстрый и универсальный ETL-инструмент с открытым исходным кодом для более чем 30 источников данных RDBMS и NoSQL.
50+ публичные образы DockerHub для Docker & Kubernetes - DevOps, CI/CD, GitHub Actions, CircleCI, Jenkins, TeamCity, Alpine, CentOS, Debian, Fedora, Ubuntu, Hadoop, Kafka, ZooKeeper, HBase, Cassandra, Solr, SolrCloud, Presto, Apache Drill, Nifi, Spark, Consul, Riak
Масштабируемая, надежная, распределенная система хранения, оптимизированная для аналитики данных и нагрузок хранилища объектов.
Taier — это платформа разработки больших данных для подачи, планирования, эксплуатации и обслуживания, а также отображения информации об индикаторах
450+ AWS, Hadoop, Облако, Kafka, Docker, Elasticsearch, RabbitMQ, Redis, HBase, Solr, Cassandra, ZooKeeper, HDFS, Yarn, Hive, Presto, Drill, Impala, Consul, Spark, Jenkins, Travis CI, Git, MySQL, Linux, DNS, Whois, Сертификаты SSL, Обновления безопасности Yum, Kubernetes, Cloudera и т.д...
Регулярное обновление документации по常用组件ам больших данных в экосистеме Hadoop. Приоритеты по порядку: Flink, Solr, Sparksql, ES, Scala, Kafka, Hbase/phoenix, Redis, Kerberos (проект включает ментальную карту Hadoop, заметки Evernote, простую демо версии Scala, общие классы утилит, десенсибилизированный код обучения, непрерывные обновления!!!)
80+ инструментов CLI DevOps и данных - AWS, GCP, GCF Python Cloud Functions, Log Anonymizer, Spark, Hadoop, HBase, Hive, Impala, Linux, Docker, Конвертеры и валидаторы данных Spark (Avro/Parquet/JSON/CSV/INI/XML/YAML), Travis CI, AWS CloudFormation, Elasticsearch, Solr и т.д.
Эта система является моим дипломным проектом под названием «Проектирование и реализация системы рекомендаций фильмов на основе профилей пользователей». В качестве основной платформы используется Django с применением модели MTV, а в качестве баз данных — MongoDB, MySQL и Redis. В качестве основного источника данных используются данные о фильмах, собранные с платформы Douban. Метки пользователей разрабатываются в основном на основе основной информации о пользователе и поведенческой информации, такой как записи операций использования. Это система рекомендаций, использующая компоненты больших данных Hadoop и Spark для анализа и обработки. Система управления использует встроенную систему управления Django, украшенную SimpleUI.
WeDataSphere — это финансовый уровень, одноступенчатая платформа для больших данных в полном комплекте.
Система рекомендаций товаров на основе больших данных электронной коммерции в реальном времени, Vue + TypeScript + ElementUI + Spring + Spark
Часто задаваемые вопросы
Какой репозиторий по теме #hadoop наиболее популярен на GitHub?
Самый высоко оценённый проект с открытым исходным кодом по теме #hadoop на GitHub — donnemartin/data-science-ipython-notebooks, набравший 28,776 звёзд. Python-ноутбуки по науке о данных: глубокое обучение (TensorFlow, Theano, Caffe, Keras), scikit-learn, Kaggle, большие данные (Spark, Hadoop MapReduce, HDFS), matplotlib, pandas, NumPy, SciPy, основы Python, AWS и различные командные строки.
Какие языки программирования чаще всего используются в репозиториях по теме #hadoop?
Среди наиболее высоко оценённых проектов по теме #hadoop на GitHub чаще всего используются языки программирования Java, Python, Shell, Scala.
Как рассчитывается рейтинг репозиториев по теме #hadoop?
Мы отслеживаем 43 активных репозиториев с открытым исходным кодом, отмеченных тегом #hadoop (500 и более звёзд), с общим числом 238,277 звёзд и в среднем 5,541 звёзд на репозиторий. Рейтинги обновляются ежедневно на основе данных GitHub API.