Fast Bi Framework

2019, Sep 12    

Metodologia concebida na prática por meio de atividades e abordagens desenvolvidas em projetos reais voltados para a construção de sistemas de Business Intelligence. A proposta visa o desenvolvimento de sistemas de Business Intelligence de forma rápida utilizando como base metodologias ágeis e tendo como pilar a obtenção de entrega de valor para o cliente de forma rápida e objetiva. A abordagem é utilizada principalmente para projetos onde o scopo não está perfeitamente definido comumente possuindo limitações de tempo e equipe ou visando maximizar os resultados. Esta metodologia tem se destacado em projetos inovadores e/ou que estejam no escopo de desenvolvimento de primeiros projetos de BI dentro de empresas e instituições dinâmicas.

Fases, tarefas e produtos esperados

Fase 1 - Imersão

A fase de imersão possui participação ativa de vários atores envolvidos com o processo, sistema e demandas de Business Intelligence. Este atores comumente incluem Stakeholders, Product Owner, e Equipe de desenvolvimento.

Dentre as tarefas a serem realizadas podemos destacar as seguintes : a) acesso a base de dados e entendimento do problema; b) proposição de soluções; c) prototipação visual; e d) Definir e Priorizar as BIUS (Business Intelligence User Story) visando delinear o backlog do projeto.

Dentre os produtos esperados podemos destacar tanto a criação do backlog, quanto do roadmap do projeto com marcos de entrega bem definidos. a obtenção de uma descrição geral do projeto, definição clara dos problemas existentes e dos objetivos almejados, além de um modelo de arquitetura/infraestrutura de trabalho que suporte o que é desejado. No tocante o acesso aos dados é de fundamental importância que ele seja obtido antes da definição das atividades e datas a serem indicadas no cronograma de projeto.

Marco de Planejamento - interfase de iteração

O planejamento das atividades possui ativa participação dos Stakeholders, Product Owner, e Equipe de desenvolvimento.

Dentre as tarefas a serem realizadas podemos destacar as seguintes : a) Levantamento de necessidades e informações relevantes para a sprint; b) Pesquisar e mapear fontes de dados auxiliares; e c) Registro/Decomposição detalhada das tarefas do sprint.

Dentre os produtos esperados podemos frisar a decomposição detalhadas das tarefas do sprint. É importante destacar que esta etapa é dinâmica e adaptável, sendo fortemente auxiliada pela processo de gerência de projeto que permeia todas as atividades de desenvolvimento do sistema de BI.

Fase 2 - Requisitos

A fase de requisitos visa verificar as necessidades pertinentes ao sistema/módulo de BI que será desenvolvido, focando na maximização dos resultados desejados.

Dentre as tarefas a serem realizadas podemos destacar as seguintes: a) verificação e detalhamento das necessidades a partir do ponto central e relacionadas ao projeto que serão desenvolvidas no sprint da iteração vigente. b) Definir as perguntas a serem respondidas com base nas necessidades vigentes; c) realizar análise básica dos dados envolvidos; d) Selecionar, validar e armazenar os dados desejados para o sprint vigente

Dentre os produtos esperados podemos destacar: o conhecimento e detalhamento das informações/dados, uma definição clara sobre quais perguntas se deseja responder com base nas informações existentes, além da definição de tarefas e priorização das atividades correlatas no sprint.

Fase 3 - Modelagem do DW e ETL

A fase de Modelagem/ETL possui participação ativa do Product Owner, e Equipe de desenvolvimento.

Dentre as tarefas a serem realizadas podemos destacar as seguintes : a) Criação da área de Staging; b) Selecionar as informações de interesse derivadas do Modelo OLTP; c) Realizar análise exploratória; d) Definir mapa de ETL; e) Definir o Bus Architecture; f) Definir Modelo OLAP/Multidimensional; g) Realizar pré-processamento dos dados; f) Realizar testes de automação de extração, transformações e carga.

Dentre os produtos esperados podemos destacar a definição dos Modelos OLTP e OLAP (stage area e data warehouse), a criação das tabelas fato e suas métricas, a criação das tabelas dimensões e suas estruturar hierárquicas, além dos plano base e mapas de ETL, culminando com os processos de carga no data warehouse e validação dos dados.

Fase 4 - Análises e Resultados

A fase de Análises e Resultados possui participação ativa do Product Owner e Equipe de desenvolvimento. Aqui podemos ter váras trilhas resultantes destacando-se: 1) Gráficos e Relatórios; 2) Cubos e Dashboards; 3) Data Mining e Machine Learning;

Dentre as tarefas a serem realizadas podemos destacar as seguintes : a) Relatório da Análise Descritiva dos Dados; b) Desenvolvimento de Storytelling e tipos ideais de elementos para visualização das informações; c) Implementação dos protótipos de dashboards definidos previamente; d) Definição dos elementos do cubo com base nas perguntas a serem respondidas; d) Implementação de rotinas de monitoração / alertas de KPI (Key Performance Indicators); e) Aplicação de CRISP-DM para Mineração de Dados (Data Mining); f) Aplicação de algoritmos de Machine Learning (aprendizagem de máquina) visando técnicas de Associação, Classificação, Agrupamento, Estimação e Recomendação.

Dentre os produtos esperados podemos destacar a obtenção dos dados analisados, identificação de padrões e anomalias, obtenção de gráficos e relatórios, criação, configuração e validação dos cubos, implantação de monitoramento correlacionado as análises e Key Performance Indicators (KPI), implementação de algoritmos de data mining e machine learning, além da obtenção de resultados e respostas para as questões levantadas.

Marco de Apresentação - interfase de iteração

A apresentação das atividades possui participação de toda equipe envolvida.

Dentre as tarefas a serem realizadas podemos destacar as seguintes : a) relacionar as questões mais importantes obtidas no processo; b) Priorizar o que será apresentado com base nos objetivos desejados ; e c) Criar apresentação dos resultados.

Dentre os produtos esperados podemos destacar a criação da apresentação e formato adequado. É importante destacar que esta etapa é fortemente auxiliada pela etapa de gerência de projeto.

Fase 5 - Passagem de conhecimento

Destaca-se pelos objetivos estratégicos voltados a formação de equipe, entrega de solução de impacto e criação de um ecossistema de Business Intelligence e Data Warehouse voltados a gestão da informação e direcionada a dados. A fase de passagem de conhecimento, possui participação de todos envolvidos e interessados no sistema de Business Intelligence. Este atores comumente incluem Stakeholders, Product Owner, e Equipe de desenvolvimento e usuários que utilizarão o sistema.

Dentre as tarefas a serem realizadas podemos destacar as seguintes : a) Evento de apresentação; b) Eventos de Divulgação e Treinamentos; c) Obtenção e registro de sugestões para melhoramentos e implementações futuras e d) Reunião de Encerramento do projeto.

Dentre os produtos esperados podemos destacar a obtenção dos produtos finais obtidos durante o projeto (relatórios, gráficos, cubos, dashboards, indicadores, padrões, insights etc.); Base de dados de estrutura analitica (Data Warehouse), disponível para as necessidades dos sistemas de Business Intelligence; Documentação dos metadados relacionados ao sistema OLAP e seus dados. Equipe formada disponível para propor e implementar soluções.

Canvas utilizados para auxiliar o processo

Os canvas utilizados tem o objetivo de auxiliar algumas das etapas de desenvolvimento do sistema de Business Intelligence. Entre elas podemos destacar as seguintes:

• Fast Immersion Canvas: Visa auxiliar na identificação e descrição dos objetivos relacionados ao sistema de BI proposto, obtenção básica informações relativas a base de dados envolvida, esboçar as possíveis ferramentas que serão utilizadas, construção de um dicionário básico de dados contendo os princiapis atributos existentes na base de dados em estudo, agrupar os dados em conjuntos lógicos de informação para o sistema proposto, definir a hierarquia existente entre os dados e o menor nível de informação existente para cada conjunto de atributos a serem agrupados.

• Fast Modelling Canvas: Visa auxiliar na identificação dos elementos relacionados a modelagem dimensional dos dados e desenvolvimento de data marts ou data warehouses, por meio da definição do processo de negócio que esta sendo analisado, o grao pertinente ao processo, as tabelas dimensão e suas estruturas comumente hierárquicas e descritivas, bem como a tabela fato e seus atributos/metricas.

• Fast ETL Mapping: Visa auxiliar na identificação e mapeamento de atributos que serão obtidos de uma determinada fonte para um determinado destino nos processos de extração, transformação e carga.

• Fast PPD Canvas: Visa auxiliar a identificação de tipos de atributos, problemas encontrados nos dados e aplicação de pré processamento.

• Fast EDA Canvas: Visa auxiliar no processo da análise exploratória de dados, incluindo distribuições de frequência, tecnicas de visualização e medidas de tendência.