#spark Repositórios
126 repositórios no total
Conheça melhor os seus dados! A Datavines é a Plataforma de Observabilidade de Dados de Próxima Geração, com suporte a gerenciamento de metadados e qualidade de dados.
Este sistema é o meu projeto de conclusão de curso (TCC), intitulado "Design e Implementação de um Sistema de Recomendação de Filmes Baseado em Perfis de Usuário". É essencialmente um sistema de recomendação que utiliza Django como framework base, adota o padrão MTV e emprega MongoDB, MySQL e Redis como bancos de dados. A fonte de dados primária são os dados de filmes extraídos da plataforma Douban. O sistema desenvolve tags de usuário (perfis) com base em informações comportamentais, como dados básicos e registros de operação dos usuários, utilizando componentes de Big Data como Hadoop e Spark para análise e processamento. O sistema de gerenciamento (administração) utiliza o painel de administração nativo do Django, que foi aprimorado usando simpleui.
WeDataSphere é uma suíte de plataforma de big data de nível financeiro e completa.
Comparação entre DataFrames Pandas, Polars, Spark e Snowpark para humanos e muito mais!
Um gateway leve, multi-inquilino, escalável e seguro que permite que os Jupyter Notebooks compartilhem recursos em clusters distribuídos como Apache Spark, Kubernetes e outros.
Projeto de engenharia de dados para iniciantes - edição em lote
Cliente de colaboração em tempo real multiplataforma otimizado para negócios e organizações.
Um modelo de protótipo Web MVP para Chat Bot de turno único pronto para desenvolvimento secundário, construído com tecnologias principais como Vue 3, Vite 8, TypeScript, Naive UI, Pinia (v3) e UnoCSS. 🧤 Integração simples de APIs de modelos grandes, modo de diálogo de pergunta e resposta de IA de turno único, respostas independentes sem necessidade de contexto, saída de streaming com efeito de máquina de escrever SSE e integração de markdown-it com visualização de fórmulas Mermaid/KaTex/LaTex. Suporta pré-visualização de modelos de raciocínio profundo iFlytek Spark, Zhipu, SiliconFlow e DeepSeek V4/V3/R1, compatível com tags <think> e inclui habilidades destiladas. 💼 Fácil de personalizar e construir rapidamente produtos de modelos de linguagem grandes do tipo Chat (capturas de tela de exemplo incluídas).
Um cluster simples standalone do Spark para os propósitos do seu ambiente de teste
zdh_web, uma plataforma de coleta e extração de big data, é a plataforma de gerenciamento visual para os serviços da série zdh, incluindo módulos como coleta de dados, agendamento, permissões, fluxo de aprovação e marketing de domínio privado, entre outros.
Motor para rastreamento, visualização, explicabilidade, detecção de desvio e painéis de IA/ML/dados para Polyaxon.
Sistema de recomendação em tempo real de produtos de big data de comércio eletrônico, Vue + TypeScript + ElementUI + Spring + Spark
Um framework open source robusto e flexível de Análise de Comportamento de Usuários e Entidades (UEBA) usado para Análise de Segurança. Desenvolvido com amor por Cientistas de Dados e Analistas de Segurança da Indústria de Cibersegurança. [BETA]
Aprenda Apache Spark em Scala, Python (PySpark) e R (SparkR) construindo seu próprio cluster com uma interface JupyterLab no Docker. :zap:
Gere rapidamente dados sintéticos relevantes para seus projetos. O gerador de dados sintéticos do Databricks Labs (também conhecido como `dbldatagen`) pode ser usado para gerar grandes conjuntos de dados simulados ou sintéticos para testes, provas de conceito (POCs) e outras finalidades em ambientes Databricks, incluindo pipelines do Delta Live Tables.