Quadro de processamento da plataforma de big data de xangai bet pro

O processo de pré-processamento e limpeza de big data do bet pro inclui principalmente a coleta de dados, pré-processamento de dados, armazenamento de dados, processamento de dados e link de análise. Entre eles, a gestão de qualidade de dados é integrada em todo o processo de big data. Cada link de processamento de dados terá um impacto na qualidade de big data. Para uma variedade de dados históricos heterogêneos principalmente da aquisição de dados e processamento de limpeza de pré-processamento de dados para organizar os dados de recursos existentes, esses dados históricos são divididos principalmente em dados estruturados, dados não estruturados e dados em tempo real, dados estruturados referem-se principalmente aos dados de banco de dados RDBMS do sistema de negócios de equipamentos existentes, Dados de Webservice e vários dados de interface API de equipamentos; Dados não estruturados incluem arquivos de áudio e vídeo atuais, imagens, vários documentos do office e documentos em papel; Existem também dados obtidos através de várias interfaces de dados em tempo real, através de aquisição de logs ou interfaces kafka. Os dados obtidos através da ferramenta de aquisição após a consolidação de dados, processamento de correlação de dados, limpeza de dados e denoise e agregação de dados, inspeção de consistência de dados e outros processos tornam-se disponíveis dados armazenados em uma variedade correspondente de armazéns de dados grandes, para análise de dados, mineração de dados, serviços de aplicação de equipamentos para fornecer suporte de dados básicos.

2. Solução de integração do sistema da plataforma da nuvem

Bet pro cloud platform inclui plataforma de gerenciamento de computação em nuvem e plataforma de gerenciamento de contêineres, Cloud máquina virtual a plataforma de gestão de gestão do ciclo de vida (incluindo a criação de máquina virtual, a iniciar, parar e reiniciar, suspender, recuperação, destruição de ligações remotas, clonagem, espelho, produção, fotografia, alargamento) de migração, gestão dos recursos, recursos de computação, armazenamento de clusters, gestão de recursos, acompanhamento de gestão de rede, flexibilidade, alta disponibilidade, prato de nuvens, espelho, plataforma de gestão, etc . A plataforma de computação em nuvem é dinamicamente escalável e pode ser implantada em grande escala. Ela suporta várias plataformas de virtualização e modos de implantação híbridos. Ela fornece gerenciamento de pool de recursos poderosos e recursos de virtualização. Contentores nuvem prestar serviços de micro quadro de governação, incluindo a gestão leveza aglomerado docker, lançado coreografia, aplicação, gestão dos recursos, etc, oferece uma rápida para desenvolvedores e empresas a construir, a integração, a implantação, a plataforma para contentores de aplicação, para melhorar a eficiência de iteração de desenvolvimento de aplicações, simplificar a parte operacional, reduzir os custos operacionais.

A plataforma de armazenamento inteligente bet pro combina produtos de armazenamento distribuído e tecnologia de armazenamento inteligente baseada em contêineres. Com base na gestão de recursos de contêineres e na gestão de armazenamento distribuído inteligente, a coreografia de contêineres como TensorFlow e Pytorch pode atender a cenários típicos de aplicações de inteligência artificial, como reconhecimento gráfico e recuperação inteligente de imagens. O armazenamento distribuído e a arquitetura de fusão de contêineres são divididos em cinco camadas, que são a camada de hardware, a camada de gerenciamento de recursos, a camada de motor de computação AI, a camada de interface e a camada de serviços de aplicação.

Camada de hardware: inclui instalações de computação, armazenamento e instalações de rede. Para plataformas autônomas controláveis, a facilidade de computação refere-se à CPU host, cartão de aceleração de armazenamento FPGA.

A gestão de recursos inclui uma plataforma de nuvem de contêineres, uma plataforma de gerenciamento de armazenamento distribuído e uma possível plataforma de acesso de terceiros. Contentores nuvem desde AI inteligência motor depende de contentores a nuvem, e contentores de nuvens em volume 'plugin'para aplicação uniforme piscina de armazenagem, contentores a função de nuvens, incluindo AI imagem pedido coreografado, gestão de contentores de armazenamento, o prazo de gestão, as funções de gestão de recursos de programação, AI lançado motor coreografias de contentores de nuvens para o servidor, interfaces e baixo acoplamento de armazenagem de terceiros, Realize o gerenciamento de contêineres, gerenciamento de aplicativos, orquestração de imagens, gerenciamento de cluster, gerenciamento de armazenamento e gerenciamento de serviços para o motor AI. Armazenamento distribuído plataforma oferece dólares, objetos, documentos de gestão gestão de armazenamento externo ainda funções de pré-processamento de dados subjacentes, incluindo AI rótulos recolha de dados gestão, gestão de metadados, a função de gestão da qualidade dos dados e imagens de pré-tratamento, e fornece gerenciamento de persistência de dados desestruturados, dados de gestão (gestão, armazenagem em camadas de QoS, etc. Conheça a função inteligente de armazenamento e pré-processamento de dados no cenário AI; A gestão de recursos também inclui interfaces para plataformas de terceiros, fornecendo interfaces de introdução para plataformas de terceiros, que podem ser compatíveis com ali cloud, huawei cloud, baidu smart, interface de função Kubernetes;

A camada de motor de computação AI inclui o motor de AI e o motor de processamento gráfico. Motores de inteligência artificial comuns, como TensorFlow, Pytorch, caff è e outros motores de algoritmo, que atualmente foram adaptados em uma plataforma autônoma controlável e podem ser operados em um recipiente espelhado através do gerenciamento do Kuberneters, Facilitar a interconexão com armazenamento e implementar a gestão de publicação de microserviços.

A camada de interface fornece API, Restful, Python, SDK e outras interfaces para facilitar o desenvolvimento de aplicativos e fornecer serviços de interface de recursos da plataforma AI.

A camada de serviços de aplicativos é a janela onde os aplicativos da plataforma de contêineres AI são publicados em serviços externos, incluindo reconhecimento de voz, reconhecimento facial, não tripulado, análise lexical, síntese de voz, classificação de artigos, reconhecimento de imagens e outros aplicativos de AI. Esses aplicativos atendem às necessidades dos usuários usando recursos de AI em uma maneira de serviço.