O que é Business Intelligence?

Business intelligence (BI), termo hoje intrinsecamente associado à tecnologia da informação, vem evoluindo há mais de 150 anos. Embora suas origens sejam anteriores à invenção dos computadores, foi somente depois de sua disseminação que o BI cresceu em relevância e seu desenvolvimento, a partir de então, tornou-se par com a evolução dos computadores e bancos de dados.

BI usando caneta e papel

O primeiro uso do termo “business intelligence” é amplamente atribuído ao Sr. Richard Miller Devens, em seu livro Cyclopædia of Commercial and Business Anedotes , publicado pela primeira vez em 1865. Ele o usou para descrever como Sir Henry Furnese, um banqueiro de sucesso, lucrou com as informações reunindo e agindo ativamente com elas antes de sua competição. Isso apontou o fato de que era mais confiável usar dados e evidências empíricas, em vez de instinto, para desenvolver uma estratégia de negócios. A ideia foi reforçada por outros que viram valor na informação.

Durante a última década de 1800, Frederick Taylor introduziu o primeiro sistema formalizado de análise de negócios nos Estados Unidos. Seu sistema de gestão científica começou com estudos de tempo que analisavam as técnicas de produção e os movimentos corporais dos trabalhadores para encontrar maiores eficiências que impulsionassem a produção industrial.

Taylor acabou se tornando um consultor de Henry Ford , que no início dos anos 1900 começou a medir o tempo que cada componente de seu Ford Modelo T demorava para ser concluído em sua linha de montagem. Seu trabalho e seu sucesso revolucionaram a indústria de manufatura em todo o mundo. No entanto, ele ainda usava caneta e papel para isso.

Business Intelligence é impulsionado pelos computadores

Os computadores eletrônicos foram embrionários na década de 1930, mas foram desenvolvidos rapidamente durante a Segunda Guerra Mundial, como parte do esforço dos aliados para quebrar os códigos alemães.

Até a década de 1950, os computadores dependiam principalmente de cartões perfurados ou fitas perfuradas para armazenar dados. Eram enormes pilhas de cartões com minúsculos orifícios, que armazenariam as informações a serem processadas pelos computadores. Em 1956, porém, a IBM inventou o primeiro disco rígido, tornando possível armazenar grandes quantidades de informações com maior flexibilidade de acesso.

Não muito depois disso, em 1958, pesquisador da IBM Hans Peter Luhn publicou um artigo histórico chamado Um Sistema de Business Intelligence . Ele teorizou sobre o potencial de um sistema de “disseminação seletiva” de documentos para “pontos de ação” com base em “perfis de interesse”. Seu trabalho tem um significado notável até os dias de hoje, já que ele previu várias tendências de business intelligence que estão na vanguarda da atualidade, como a capacidade dos sistemas de informação de aprender e prever com base nos interesses do usuário. Hoje chamamos isso de aprendizado de máquina. Luhn é popularmente conhecido como o pai da inteligência de negócios.

Apesar de o conceito proposto por Luhn chamar a atenção de diversos interessados, a ideia foi considerada muito cara na época para ter alguma utilidade prática. Mais progresso tecnológico era necessário para torná-lo uma solução economicamente viável.

Na década seguinte, o uso do computador explodiu, mesmo considerando que cada computador era uma máquina gigantesca que ocupava todo o andar de um prédio e precisava ser gerenciada por vários engenheiros altamente qualificados para funcionar corretamente. Os especialistas novamente abordaram a ideia de usar computadores para extrair conclusões dos dados, mas o principal problema era que não havia um método centralizado disponível para reunir todos os dados em um só lugar. Os dados, por si só, não podiam gerar insights. Para resolver esse desafio, os primeiros sistemas de gerenciamento de banco de dados foram projetados. Mais tarde, eles seriam simplesmente chamados de bancos de dados. Esta primeira geração permitiu as primeiras pesquisas de banco de dados, usando uma estratégia de árvores binárias . Essa estratégia, embora tenha resolvido vários problemas na época, é considerada muito pesada e ineficiente nos dias de hoje. Mesmo assim, para as empresas que podiam pagar, esta nova ferramenta trouxe o seu valor, sendo utilizada para finalmente tirar conclusões a partir dos dados disponíveis.

BI Technologies melhoram: grandes jogadores entram no campo

Em 1970, Edgar Codd da IBM publicou um artigo chamado Um modelo relacional de dados para grandes bancos de dados compartilhados . Ele pavimentou o caminho para bancos de dados relacionais de próxima geração, permitindo uma capacidade muito mais ampla de armazenar e manipular dados. Em um movimento estranho, no entanto, a IBM se absteve de implementar o design de Codd para preservar a receita de seus sistemas de banco de dados atuais. Foi só depois que os concorrentes começaram a implementá-los que a IBM fez o mesmo.

Nessa época, havia mercado suficiente para permitir o surgimento dos primeiros provedores de inteligência de negócios. Entre eles, estavam SAP, Siebel e JD Edwards. Na época, eram chamados de sistemas de suporte à decisão (SAD).

O grande problema neste ponto era que esses bancos de dados sofriam de problemas de “silos”. Por serem muito unidimensionais, a flexibilidade de seu uso era muito limitada. Mesmo questões simples, como um banco de dados codificando cidades como 'OH, NJ e NY', enquanto outro usando 'Ohio, New Jersey e Nova York', tornavam a referência cruzada uma tarefa difícil.

Mesmo assim, surgiram cada vez mais casos de sucesso de uso lucrativo de dados. Um dos mais famosos da época veio da Nielsen. Usada para medições de público, a ferramenta de marketing conhecida como classificação Nielsen foi usada para medir quantas pessoas estavam assistindo a um determinado programa de TV a qualquer momento, usando um dispositivo chamado de Audímetro , que foi conectado a um aparelho de televisão e gravou qual canal estava sendo assistido.

As classificações da Nielsen foram consideradas o relatório de classificação nacional mais analisado na indústria de TV. No entanto, quatro vezes por ano, haveria “semanas negras” - semanas em que as avaliações da Nielsen não eram relatadas. Como não havia uma maneira confiável de medir as classificações nessas “semanas negras”, as redes de TV encheram suas agendas com repetições.

Tanto a indústria quanto o público já estavam acostumados com as 'semanas negras', mas terminaram em setembro de 1973. A Nielsen lançou seu Audímetro Instantâneo de Armazenamento (SIA), conectando 1.200 residências diretamente ao computador de inteligência de negócios da empresa na Flórida. Ele poderia produzir avaliações nacionais em apenas 36 horas, muito menos do que uma ou duas semanas que o sistema antigo da empresa levava. As classificações nacionais estariam disponíveis todos os dias da semana, todas as semanas do ano. Não havia mais necessidade de “semanas negras” e os dados estavam muito mais disponíveis.

Perto do final dos anos 70, Larry Ellison e dois amigos lançaram a primeira versão comercial do banco de dados Oracle. Foi a primeira verdade sistema de gerenciamento de banco de dados relacional no mercado, substituindo as ideias até então utilizadas de bases de dados hierárquicas e bases de dados de rede por uma estrutura mais robusta, que permitia pesquisas muito mais flexíveis. Essa tecnologia ditaria a história e as tendências da BI nas próximas décadas.

Cresce a importância do BI: Precisamos de mais espaço!

Preços mais baixos para espaço de armazenamento e melhores bancos de dados permitiram a próxima geração de soluções de inteligência de negócios. Ralph Kimball e Bill Inmon propôs duas estratégias diferentes mas semelhantes ao problema de ter todos os dados do negócio no mesmo local para poder analisá-lo. Eram armazéns de dados (DW). Inmon é reconhecido por muitos como o pai do data warehouse.

Data warehouses são bancos de dados projetados para agregar muitos dados de outras fontes de dados (principalmente de outros bancos de dados), permitindo uma análise muito mais profunda com a capacidade de referência cruzada dessas diferentes fontes. Ainda era, entretanto, muito técnico e caro. Os relatórios precisavam ser executados e mantidos por uma equipe técnica de TI cara.

A alta administração da época viveria dos resultados de soluções de BI como Crystal Reports e Microstrategy. E, claro, havia o Microsoft Excel (lançado em 1985). A inteligência de negócios agora era parte integrante das ferramentas disponíveis para o processo de tomada de decisão.

Em 1989, Howard Dresdner, do Gartner Group, contribuiu para popularizar o termo 'inteligência de negócios', usando-o como um termo abrangente para descrever ' conceitos e métodos para melhorar a tomada de decisões de negócios usando sistemas de suporte baseados em fatos . '

Business Intelligence 1.0

Na década de 90, os custos de data warehouse diminuíram conforme mais concorrentes entraram no mercado e mais profissionais de TI se familiarizaram com a tecnologia. Este foi o período do “Business Intelligence 1.0”.

Os dados agora eram comumente acessíveis à equipe corporativa em geral, não apenas à alta administração. No entanto, o problema neste ponto era que fazer novas perguntas ainda era muito caro. Depois que uma pergunta foi “projetada”, a resposta estaria disponível rapidamente, mas apenas para essa pergunta.

Para reduzir esse esforço, algumas novas ferramentas e “blocos de construção” foram desenvolvidos para acelerar o processo de diferentes consultas:

• ETL (extrair, transformar e carregar) era um conjunto de ferramentas, semelhante a uma linguagem de programação, que tornava mais fácil projetar o fluxo de dados em um data warehouse.
• OLAP (processamento analítico online) ajudou a criar diferentes opções de visualização dos dados consultados, capacitando os analistas a extrair melhores conclusões das informações em mãos.

Até hoje, as ferramentas ETL e OLAP ainda são uma parte crucial das soluções de inteligência de negócios.

Este também foi o período onde Planejamento de Recursos Empresariais (ERP) tornou-se popular. São enormes plataformas de software de gerenciamento que integram aplicativos para gerenciar e automatizar aspectos de um negócio. Eles também forneciam dados estruturados para os data warehouses e, nos anos seguintes, se tornariam o coração de todas as grandes empresas do mundo.

Em 1995, Microsoft lançou o Windows 95 , o primeiro sistema operacional “amigável” - e os computadores tornaram-se utensílios domésticos comuns. Isso teria um impacto profundo em como as pessoas produziram e consumiram dados nas décadas seguintes.

BI interrompido: explosão de dados no novo milênio

No ano 2000, as soluções de business intelligence já estavam estabelecidas como um “must have” para todas as médias e grandes empresas. Agora era amplamente considerado um requisito para se manter competitivo.

Do ponto de vista dos provedores de soluções, a abundância de soluções começou a se aglutinar nas mãos de alguns grandes concorrentes, como IBM, Microsoft, SAP e Oracle.

Alguns novos conceitos surgiram durante este período. A dificuldade de manter seus data warehouses atualizados fez com que algumas empresas repensassem sua abordagem, transformando seu DW em seu “ única fonte de verdade . ” Para dados já existentes, outros programas usariam as informações fornecidas pelo DW em vez de usar as suas próprias, eliminando assim a maioria dos problemas de incompatibilidade de dados. Era mais fácil falar do que fazer, oferecendo muitos desafios técnicos. O conceito, porém, foi tão útil que nos anos seguintes as soluções disponíveis no mercado se adaptariam para empregar essa estratégia.

Conforme os dados se tornavam cada vez mais abundantes e as ferramentas de BI provavam sua utilidade, o esforço de desenvolvimento foi direcionado para aumentar a velocidade com que as informações se tornariam disponíveis e para reduzir a complexidade de acessá-las. As ferramentas tornaram-se mais fáceis de usar, e pessoas não técnicas já podiam coletar dados e obter insights por si mesmas, sem a ajuda do suporte técnico.

No início dos anos 2000, o boom das plataformas de redes sociais pavimentou o caminho para que a opinião do público em geral estivesse disponível gratuitamente na internet, e as partes interessadas poderiam coletar (ou 'minerar') os dados e analisá-los. Em 2005, a crescente interconectividade do mundo dos negócios significava que as empresas precisavam de informações em tempo real, nas quais os dados dos eventos pudessem ser incorporados nos data warehouses à medida que aconteciam em tempo real.

Este é o ano em que o Google Analytics foi lançado, oferecendo aos usuários uma maneira gratuita de analisar os dados de seus sites. Este também é o ano do prazo big data foi usado pela primeira vez. Roger Magoulas, da O’Reilly Media, usou-o para se referir a “um grande conjunto de dados que é quase impossível de gerenciar e processar usando ferramentas tradicionais de business intelligence”.

Para lidar com o espaço de armazenamento adicional e o poder de computação necessários para gerenciar essa quantidade de dados que aumenta exponencialmente, as empresas começaram a buscar outras soluções. Construir computadores maiores e mais rápidos estava fora de questão, então usar várias máquinas ao mesmo tempo tornou-se uma opção melhor. Estas foram as sementes de computação em nuvem .

Usos contemporâneos de BI

Nos últimos 10 anos, big data, computação em nuvem e ciência de dados tornaram-se palavras conhecidas de praticamente qualquer pessoa. É difícil neste momento reconhecer quais novos avanços tiveram maior impacto nos últimos anos. No entanto, existem alguns casos interessantes que mostraram o poder crescente das ferramentas analíticas modernas.

Publicidade, Cookies e AdTech

Em 2012, o The New York Times publicou um artigo descrevendo como Target descobriu acidentalmente a gravidez de uma adolescente do ensino médio antes de seus pais. Por meio de análises, eles identificaram 25 produtos que, quando comprados juntos, indicam que uma mulher provavelmente está grávida. O valor desta informação era que a Target poderia enviar cupons para a mulher grávida em um período em que os hábitos de compra da mulher podem mudar.

Um pai enfurecido entrou em um Target fora de Minneapolis e exigiu ver o gerente. Ele reclamou que a filha dela recebia cupons para roupas de bebê, embora ela ainda estivesse no ensino médio. O gerente se desculpou profundamente em nome da empresa, mas alguns dias depois o pai ligou de volta para se desculpar: “Acontece que tem havido algumas atividades na minha casa das quais eu não estava completamente ciente. Ela deve nascer em agosto. Eu te devo desculpas.'

Este exemplo anedótico mostra o poder contemporâneo da análise de dados.

Política

A estratégia da campanha de reeleição de Obama foi fortemente baseada em análises. Muitos especialistas apontam isso como um dos principais motivos de seu sucesso. A estratégia, projetada pelo gerente de campanha Jim Messina, concentrava-se em coletar dados sobre os eleitores e usá-los para garantir que eles 1) se registrassem para votar, 2) fossem persuadidos a votar em Obama e 3) comparecessem para votar no dia da eleição. Cerca de 100 analistas de dados fizeram parte do esforço, usando um ambiente rodando em HP Vertica e codificado em R e Stata.

Várias iniciativas foram aplicadas para atingir esses objetivos, uma das quais foi o Airwolf. Construído para integrar os esforços das equipes de campo e digitais, garantiu que, uma vez que um eleitor fosse contatado pela equipe de campo em uma campanha de porta em porta, seus interesses fossem registrados, de modo que eles recebessem e-mails frequentes dos organizadores locais personalizados especificamente aos problemas de campanha favoritos de cada um.

Com as ferramentas e os dados corretos, os analistas podem responder a quase todas as perguntas de forma rápida e fácil, independentemente da origem dos dados. O sucesso da campanha de Obama tornou os ambientes de análise de big data um requisito padrão para todas as campanhas desde então.

Ciência

O Projeto Genoma Humano foi concluído em 2003, mas deixou muitas perguntas sem resposta. Apesar de mapear toda a sequência de pares de bases de nucleotídeos que compõem o DNA humano, entender verdadeiramente como a genética humana funciona exigia um estudo mais intensivo - e era uma aplicação perfeita para big data. Um genoma humano típico contém mais de 20.000 genes, cada um formado por milhões de pares de bases. O simples mapeamento de um genoma requer cem gigabytes de dados, o sequenciamento de vários genomas e o rastreamento de interações de genes multiplicam esse número muitas vezes - centenas de petabytes, em alguns casos.

Ao aplicar análises em o estudo deles publicado em 2016, cientistas da Universidade de Haifa puderam observar o que é chamado de “caráter social” dos genes. O que os cientistas há muito desejam descobrir são o funcionamento interno de efeitos genéticos complexos que participam da criação de doenças complexas. Esse objetivo tem sido particularmente difícil, uma vez que as expressões genéticas de certas doenças geralmente vêm da combinação de vários marcadores genéticos interagindo uns com os outros. Portanto, os pesquisadores não apenas teriam que vasculhar uma sequência genética inteira, mas também teriam que rastrear as interações entre vários genes diferentes.

Embora ainda haja muitos dados a serem analisados, o caminho está aberto para compreender e curar um grande número de defeitos genéticos, grandes e pequenos.

A estrada à frente

Chegamos agora a um momento em que o Facebook pode reconhecer seu rosto em fotos, onde o Google pode prever que tipo de anúncio se adequa melhor ao seu perfil, onde o Netflix pode dar sugestões sobre quais programas assistir. É o momento em que você pode falar com seu telefone, não apenas com alguém do outro lado da linha. Ser capaz de manipular e processar grandes quantidades de dados foi um passo primordial para entender como essas maravilhas surgiram.

O big data ainda é uma tendência crescente. Aproximadamente 90% dos dados disponíveis foram criados nos últimos dois anos. Na conferência Techonomy, em 2010, Eric Schmidt afirmou que “houve 5 exabytes de informação criados por todo o mundo entre o início da civilização e 2003. Agora, essa mesma quantidade é criada a cada dois dias.”

Lidar com uma quantidade tão grande de dados ainda apresenta muitos desafios. A qualidade dos dados, uma das primeiras e mais antigas dores de cabeça da inteligência de negócios, ainda é um campo exigente. Analytics, o conjunto de habilidades necessário para ajudar a compreender a enorme pilha de dados que as empresas estão coletando, também está em alta demanda. Existem agora muitos sabores de análise: análise descritiva, análise preditiva, análise prescritiva, análise de streaming, análise automatizada etc. A análise usa várias tecnologias de ponta para extrair insights de dados, como inteligência artificial, aprendizado de máquina e muitas estatísticas modelos. Finalmente é um momento em que é legal ser matemático.

As ferramentas de BI agora são frequentemente projetadas com uma indústria específica em mente, seja saúde, polícia, etc. Agora ela funciona em vários dispositivos e usa várias ferramentas de visualização, permitindo que qualquer pessoa aplique o raciocínio aos dados por meio de interfaces visuais interativas. O BI móvel agora é uma realidade.

Ao combinar os pontos fortes do big data, aprendizado de máquina e análise, sua vida pode ser muito diferente no futuro. Talvez você não precise mais ir ao supermercado - sua geladeira pedirá o que você provavelmente precisará, com base em seus hábitos alimentares. Por acaso, você não ligará para o seu médico para dizer que está doente, porque eles ligarão antes mesmo de você começar a sentir os primeiros sintomas.

A humanidade agora vive na era da informação e a inteligência de negócios é uma característica crucial de nosso tempo, ajudando-nos a dar sentido a tudo isso. A análise de negócios agora é até um programa de graduação em muitas universidades. A história da inteligência de negócios é bastante recente, mas está se acelerando e se tornando mais densa a cada dia. Os melhores dias do BI ainda estão por vir.

Compreender o básico

Por que a inteligência de negócios é necessária?

A inteligência de negócios ajuda as empresas a tomar decisões informadas sobre questões de negócios. Analisar os dados históricos fornece uma visão e orienta as ações. A maioria das empresas está usando BI, por isso tornou-se um requisito para se manter competitivo.

Para que é usada a inteligência de negócios?

A inteligência de negócios é usada para orientar a tomada de decisões de negócios. O BI pode fornecer dados históricos, gráficos, análises de mercado e evidências baseadas em fatos para apoiar o processo de tomada de decisão.