Pentaho IoT AnalyticsOpen SourceTrilha IoT

Marcio Junior VieiraCEO & Data Scientist, Ambiente Livre

© 2017, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-34382

Marcio Junior Vieira

Mini-cv● 18 anos de experiência em informática, vivência em desenvolvimento e análise de

sistemas de Gestão empresarial e Analise de Dados.● Trabalhando com Free Software e Open Source desde 2000 com serviços

de consultoria e treinamento.● Graduado em Tecnologia em Informática(2004) e pós-graduado em

Software Livre(2005) ambos pela UFPR.● Palestrante FLOSS em: FISL, LATINOWARE,Campus Party, Pentaho Day,

TDC, Ticnova, FTSL.● Organizador Geral: Pentaho Day 2017, 2015 e apoio nas ed. 2013 e 2014.● CEO da Ambiente Livre, Prof de MBA em Big Data da Univ. Positivo.● Data Scientist, Instrutor e Consultor de Big Data com tecnologias abertas.● Ajudou a capacitar equipes de Big Data na IBM, Accenture, Tivit, Serpro,

MP, Netshoes, Embraer entre outras.

© 2017, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-34383

Nosso Ecossistema de Serviços

Indústria 4.0.A próxima revolução industrial.baseado no …

Quarto paradigma da ciência

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-34385

O Quarto Paradigma da Ciência

● Empírica: É uma maneira de adquirir conhecimento por meio de observação ou experiência direta e indireta.

● Investigação: Melhorar as teorias científicas para uma melhorcompreensão ou previsão de fenômenos naturais. Muitas vezesimpulsionado pela curiosidade.

● Computação: Estuda as técnicas, metodologias e instrumentoscomputacionais, que automatiza processos e desenvolve soluçõesbaseadas no uso do processamento digital.

● Baseada em dados ( data-driven )Ciência Sobre os Dados ou Ciência dos Dados

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-34386

Data Science

● Campo interdisciplinar de pesquisa sobre métodos científicos, processos e sistemas para extrair conhecimentos ou insights a partir de dados em várias formas, estruturadas ou não estruturadas, semelhantes ao KDD.

● Unificar estatísticas, análise de dados e seus métodos relacionados, a fim de compreender e analisar fenômenos reais com dados.

● Emprega técnicas e teorias extraídas das áreas amplas de matemática, estatística, ciência da informação e ciência da computação, aprendizagem de máquinas, classificação, análise de cluster, mineração de dados, bancos de dados e visualização.

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-34387

Impacto – IoT (Big Data)

● U$ 4 a 11 trilhões a partir de 2025

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-34388

Vantagens Competitivas – Big Data

● Melhorar a precisão das previsões de demanda;● Desenvolver novos serviços;● Descobrir novos padrões de demanda;● Realizar um planejamento de oferta em tempo real, usando

recursos e dados de sensores de produção e da IOT.

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-34389

Otimizando Operações com Video Analytics

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-343810

Video Analytics

● LIDAR - Light Detection And Ranging● Camera: Time of flight (TOF)

3D-LiDAR (TOF) Motion Sensor

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-343811

IoT – no Campo!

"Congresso Brasileiro de Agricultura de Precisão:""Construção de Dados na Era da Digitalização Agrícola"

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-343812

Sensores de Voo

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-343813

Uso dos dados

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-343814

Inteligência Artificial

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-343815

Convergência Tecnológica

Data Science

Machine Learning

Deep LearningBig Data

Data Analytics

Business Intelligence

InteligênciaArtificial

Databases

Data MiningBlockchain

RPA

Inteligência Cognitiva

Chatbots

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-343816

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-343817

Pentaho Data Integration ( PDI )

● Processa em Paralelo ( Também roda em Cluster Spark)● Acessar dados diretamente (se necessário sem DW )● Permite publicar dados diretamente em Reports, Ad-Hoc Reports

e Dasboards.● “Programação e Fluxo Visual” com aproximadamente 350 steps

diferentes

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-343818

Ingestão de Dados de Sensores

MQTT● Message Queue Telemetry Transport● Protocolos de rede para a IoT● Padrão para comunicações de IoT● Desenvolvido pela IBM●

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-343819

IoT Analytics - Arquitetura

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-343820

CTools / Pentaho Dashboards

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-343821

IoT Analytics - CTools / Pentaho Dashboards

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-343822

Dashboards ( Ctools )

● Oferecer métricas em uma atrativa interface intuitiva e visual, painéis proporcionam aos gestores empresariais a informação crítica de que necessitam para entender e melhorar o desempenho organizacional.

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-343823

Pentaho Data Mining - Weka

Weka● Desenvolvido pela Universidade de Waikato (Waikato Environment for Knowledge

Analysis)● Licença GPL● Desenvolvido em Java● Iniciado o desenvolvimento em 1993.● O software foi adquirido pela Pentaho Corporation em 2016

(Hoje Hitachi Vantara ).

● Site do projeto: http://www.cs.waikato.ac.nz/ml/weka/

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-343824

Pentaho e Machine Learning / Data Mining

Data Integration● Plugins Machine Learning Intelligence.● Drag-and-Drop Machine Learning ● Engines: python, R, Weka and Spark MLlib..

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-343825

Machine Learning e Data Science inclusive R, Python, WEKA com Spark

● Automação e orquestração do fluxo

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-343826

Um exemplo – Data Science / Machine Learning

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-343827

Extração de Características

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-343828

Aprendizagem Supervisionada

Extração de Características

Modelo Preditivo

Algoritmo de Aprendizagem

Fase 1

Fase 2

Extração de Características

Modelo Preditivo Iris Versicolor

Supervisor

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-343829

Um exemplo para ilustração – Data Science

●

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-343830

AEL – Arquitetura – Visão Geral

© 2018, Ambiente Livre. Todos direitos reservados. www.ambientelivre.com.br +55 (41) 3308-343831

ObrigadoMarcio Junior Vieiramarcio@ambientelivre.com.br@marviojvieira @ambientelivrehttps://www.linkedin.com/in/mvieira1/