Big Data O que é e porque é importante

Big Data é o termo que descreve o imenso volume de dados – estruturados e não estruturados – que impactam os negócios no dia a dia. Mas o importante não é a quantidade de dados. E sim o que as empresas fazem com os dados que realmente importam. Big Data pode ser analisado para a obtenção de insights que levam a melhores decisões e direções estratégicas de negócio.

A história do Big Data e considerações atuais
Embora o termo "big data" seja relativamente novo, o ato de recolher e armazenar grandes quantidades de informações para eventual análise de dados é bem antigo. O conceito ganhou força no início dos anos 2000, quando um analista famoso deste setor, Doug Laney, articulou a definição de big data como os três Vs:

Volume. Organizações coletam dados de uma grande variedade de fontes, incluindo transações comerciais, redes sociais e informações de sensores ou dados transmitidos de máquina a máquina. No passado, armazenar tamanha quantidade de informações teria sido um problema – mas novas tecnologias (como o Hadoop) têm aliviado a carga.

Velocidade. Os dados fluem em uma velocidade sem precedentes e devem ser tratados em tempo hábil. Tags de RFID, sensores, celulares e contadores inteligentes estão impulsionados a necessidade de lidar com imensas quantidades de dados em tempo real, ou quase real.

Variedade. Os dados são gerados em todos os tipos de formatos - de dados estruturados, dados numéricos em bancos de dados tradicionais, até documentos de texto não estruturados, e-mail, vídeo, áudio, dados de cotações da bolsa e transações financeiras.

No SAS, consideramos duas dimensões adicionais quando falamos sobre big data:
Variabilidade. Além da velocidade e variedade de dados cada vez maiores, os fluxos de dados podem ser altamente inconsistentes com picos periódicos. Existe algo em tendência nas redes sociais? Diariamente, picos de dados sazonais ou picos gerados com base em eventos podem ser um desafio de gerenciar. Ainda mais quando falamos de dados não estruturados.

Complexidade. Os dados de hoje vem de várias fontes, o que torna difícil estabelecer uma relação corresponder limpar e transformar dados entre diferentes sistemas. No entanto, para que seus dados não saiam rapidamente de controle, é necessário ligar e correlacionar relações, hierarquias e as várias ligações de dados.

O grande potencial do Big Data
A quantidade de dados que está sendo criada e armazenada em um nível global é quase inconcebível. E esta quantidade só continua aumentando. Isso significa que há ainda mais potencial para extrair insights de negócios provenientes destas informações – mesmo que apenas uma pequena porcentagem destes dados é realmente analisada. O que isso significa para as empresas? Como elas podem utilizar melhor as informações que fluem para dentro de suas organizações todos os dias?

Por que Big Data é importante?
A importância do big data não gira em torno da quantidade de dados que você tem, mas em torno do que você faz com eles. Você pode analisar dados de qualquer fonte para encontrar respostas que permitam 1) redução de custos, 2) redução de tempo, 3) desenvolvimento de novos produtos e ofertas otimizadas, 4) decisões mais inteligentes. Quando você combina big data com a alta potência do analytics, você pode realizar tarefas relacionadas a negócios, tais como:

Determinar a causa raiz de falhas, problemas e defeitos em tempo quase real; Gerar cupons no ponto de venda com base em hábitos de compra dos clientes; Recalcular carteiras de risco inteiras, em questão de minutos;
Detectar comportamentos fraudulentos antes que eles afetem sua organização.

Big Data no mundo moderno.
Big data – e a maneira como as organizações gerenciam e extraem insights disso – está mudando a maneira como o mundo utiliza informações de negócios. Saiba mais sobre o impacto do big data.

Quem utiliza Big Data?
Big Data afeta organizações em praticamente todas as indústrias. Veja como cada uma pode se beneficiar deste ataque devastador de informações.

Banco
Com grandes quantidades de informações fluindo partir inúmeras fontes, os bancos são desafiados a encontrar maneiras novas e inovadoras de gerenciar big data. Ao mesmo tempo em que big data é importante para compreender os clientes e aumentar sua satisfação, é igualmente importante para minimizar os riscos e fraudes enquanto mantém uma conformidade regulatória. Big Data traz ótimos insights, mas também exige que as instituições financeiras estejam um passo à frente neste jogo, com análises avançadas.

Governo
Quando as organizações governamentais são capazes de aproveitar e aplicar analytics em big data, elas progridem significativamente quando se trata de gerenciar serviços públicos, lidar com o congestionamento ou a prevenir a criminalidade. Mas, enquanto existem muitas vantagens com o uso de big data, os governos também devem abordar as questões de transparência e privacidade das informações.

Manufatura
Armados com uma visão que big data pode fornecer, os fabricantes podem aumentar a qualidade e a produção, minimizando o desperdício - processos que são fundamentais no mercado altamente competitivo de hoje. Mais e mais fabricantes estão trabalhando em uma cultura baseada em análise de dados, o que significa que eles podem resolver problemas mais rapidamente e tomar decisões de negócios mais ágeis.

Ensino
Educadores armados com uma visão orientada a dados podem ter um impacto significativo sobre os sistemas escolares, estudantes e currículos. Analisando big data, eles podem identificar alunos em risco, assegurar que os estudantes estão progredindo de forma adequada, e podem implementar um sistema melhor de avaliação e apoio aos professores e diretores.

Saúde
Registros de pacientes. Planos de tratamento. Informações de prescrição. Quando se trata de cuidados com a saúde, tudo precisa ser feito rapidamente, com precisão e, em alguns casos, com suficiente transparência para satisfazer as regulamentações rigorosas desta indústria. Quando grandes quantidades de dados são geridas de forma eficaz, os prestadores de cuidados de saúde podem descobrir insights escondidos que melhoram o atendimento ao paciente.

Varejo
A construção de relacionamento com o cliente é fundamental para o setor de varejo - e a melhor maneira de gerenciar este relacionamento é gerenciando big data. Os varejistas precisam saber a melhor maneira de vender aos clientes, a maneira mais eficaz de lidar com transações, e a maneira mais estratégica de aumentar o número de negócios repetidos. Big data permanece no coração de todas essas coisas.

Big Data em ação: UPS
Como uma empresa com muitos ativos e encomendas constantemente em movimento, a UPS armazena grandes quantidades de dados - sendo que muitos deles vem de sensores em seus veículos. Estes dados não somente monitoram o desempenho diário, mas também desencadeiam uma grande reformulação de estruturas nas rotas  dos motoristas da UPS. A iniciativa foi chamada de ORION (On-Road Integration Optimization and Navigation), e é discutível que o chamemos de um dos maiores projetos de pesquisa operacional do mundo. Este projeto dependeu fortemente dos dados de mapas on-line para reconfigurar em tempo real as cargas e descargas dos motoristas.

O projeto levou a uma economia de mais de 8,4 milhões de litros de combustível, cortando 85 milhões de milhas de rotas diárias. A UPS estima que economizando apenas uma milha por dia de cada motorista, economiza US $30 milhões para a companhia, portanto as economias financeiras são substanciais.

"É importante lembrar que o valor principal de big data não vem dos dados em sua forma bruta, mas do processamento e análise destes dados e os insights, produtos e serviços que surgem desta análise. As mudanças radicais nas tecnologias e abordagens de gerenciamento de big data devem ser acompanhadas, de forma semelhante, por mudanças dramáticas na forma como os dados suportam decisões e geram inovação de produtos e serviços." Thomas H. Davenport em  Big Data em Grandes Empresas

Como isso funciona?
Antes de descobrir como big data pode favorecer o seu negócio, você deve primeiro entender de onde isso vem. As fontes de big data geralmente caem em uma das três categorias:

Transmissão de dados (streaming data)
Esta categoria inclui dados que chegam aos seus sistemas de TI a partir de uma rede de dispositivos conectados. Você pode analisar esses dados ao ponto em que eles chegam e tomar decisões sobre quais dados você deve manter, não manter e quais requerem uma análise posterior mais aprofundada.

Dados de redes sociais
Os dados sobre interações sociais são um conjunto cada vez mais atraente de informação, particularmente para marketing, vendas e funções de apoio. São muitas vezes capturados de formas não estruturada ou semiestruturada, por isso representam um desafio único quando se trata de consumo e análise.

Fontes publicamente disponíveis
Enormes quantidades de dados estão disponíveis por meio de canais públicos como o dados.gov.br do governo federal brasileiro, o livro de fatos da CIA (World Factbook) ou o Portal de Dados Abertos da União Europeia.

Após identificar todas as potenciais fontes de dados, considere as decisões que você precisará tomar uma vez que você começar a fazer uso destas informações. Estas incluem:

Como armazenar e gerenciar
Embora o armazenamento de dados teria sido um problema anos atrás, agora há opções de baixo custo para armazenamento de dados caso esta seja a melhor estratégia para seu negócio.

Quanto se deve analisar
Algumas organizações não excluem quaisquer dados de suas análises, o que é possível com as tecnologias atuais de alto desempenho, como a computação em grade (grid computing) ou análises em memória (in-memory analytics). Outra abordagem é determinar antecipadamente quais dados são relevantes antes de analisá-los.

Como utilizar os insights descobertos
Quanto mais conhecimento você tiver, mais confiante você estará para tomar suas decisões de negócio. É importante ter uma estratégia desenhada para quando você tiver uma abundância de informações em mãos.

O passo final para fazer big data trabalhar a favor do seu negócio é procurar tecnologias que o ajudarão a tirar melhor proveito da enorme quantidade de informações e das análises de big data. Considere:

Armazenamento barato de grandes quantidades de dados;
Processadores mais rápidos;
Open source acessível e plataformas distribuídas de big data, como o Hadoop;
Processamento paralelo, clusterização, MPP, virtualização, grandes ambientes de grid, alta conectividade e altas taxas de transferência;
Computação em nuvem (cloud computing) e outros arranjos de alocação flexível de recursos.

Fonte do Material:Copyright © SAS Institute Inc., SAS Campus Drive, Cary, North Carolina 27513, USA. All rights reserved.

Ações de Marketing, investimento ou despesa?

Existe nas empresas em geral uma discussão interminável sobre o “dinheiro gasto” com ações de Marketing, e isso provoca um estudo profundo para medir o ROI (retorno sobre investimento). O departamento de Marketing das empresas gosta de pensar  (e pensa) que o dinheiro colocado nas ações de Marketing como um investimento, enquanto as demais divisões da empresa podem (e em alguns casos verdadeiramente) pensar que esses recursos acabam sendo uma despesa com conotação negativa.  Pergunta: O marketing é um investimento ou uma despesa?  E quanto ao valor das “soft métricas” versus as mais reconhecidas “métricas duras”?

Normalmente podemos afirmar que o retorno sobre o investimento (ROI) pode ser calculado com maior precisão se usado para medir resultados de ações na área digital, estas oferecem possibilidade de analises mais detalhadas no universo em constante mudança que é a mídia digital. Quando passamos a analisar os meios de comunicação mais tradicional como TV, radio mídia impressa (jornais, revistas, folhetos) e publicidade de rua (placas, outdoors) as analises de retorno ficam um pouco mais difíceis e complicadas. No curto e longo prazo, é possível registrar aumento em audiência (leads) e picos de venda para medir eficácia, mas isso nem sempre nos da uma imagem completa. Por exemplo, uma campanha de rádio pode ir ao ar por um mês e aumentar as inquirições e as vendas de uma forma moderada durante esse período de tempo. Entretanto, os novos clientes potenciais e adicionais aumentos de vendas podem diminuir em meses posteriores. Alguns desses novos clientes podem se tornar lucrativos e assíduos à longo prazo e contribuírem bastante para aumento de vendas. Nesse cenário as mídias de radio que são mais caras e também as televisivas e impressas acabam sendo um forte investimento em vez de serem consideradas despesas de risco.

Eu não estou sugerindo dar crédito completo para o departamento de marketing, mas então quem decide qual será a percentagem de credito que a reputação do produto tem por sua característica própria, que às vezes chamamos de equidade da marca. Nesta fase do argumento, ajudará se voltarmos ao nosso tópico original "Calculando o retorno sobre o investimento" (ROI), mas agora temos o dilema de "como calcular" e quais fatores devem ser incluídos no cálculo. Para fazer algum sentido, vamos considerar um cenário diferente. Os bancos oferecem vários empréstimos (Habitação, educação, investimento, etc.) e quase todos os bancos oferecem esses empréstimos mais ou menos à mesma taxa de juros. Então, surge a questão onde eles realmente competem? Na prestação de serviços, nas opções de pagamento? Em caso afirmativo, como os bancos comunicam suas diferenças?  Eles promovem e comunicam através de várias ferramentas de Marketing. Será que eles fazem isso por paixão ao Marketing?  Claro que não. Afinal, nós assumimos que os bancos são um dos melhores quando se trata de calcular o Retorno sobre o Investimento (ROI). É essa forma de comunicação que cria a vantagem sobre os concorrentes e, portanto, onde as transações ocorrem. Esta conversão é levada em conta ao calcular o ROI? E se sim, como? A resposta é simplesmente não, mas é difícil para muitas empresas aceitar. O papel do marketing nunca pode ser ignorado ou descontinuado.

Outro exemplo que eu sempre acho muito interessante é o de duas empresas de refrigerantes concorrentes. Inúmeras histórias foram escritas sobre guerras e estratégias destes dois gigantes de "cola" com produtos reais muito semelhantes. Mas eu quero falar especificamente sobre apenas um aspecto de sua munição de marketing que é o seu orçamento de publicidade e estratégia. Então, por que esses gigantes de bebidas gastam uma quantidade tão grande em publicidade e em outros meios de comunicação e como eles calculam seu ROI? Obviamente, a gestão destas empresas sabe melhor, mas uma coisa é quase certa, eles não podem chegar a um valor exato sobre o retorno versus o dinheiro gasto em um determinado outdoor em um local privilegiado (para usar um exemplo particular). Então a pergunta lógica que surge é por que eles ainda fazem? A resposta pode ser simples, mas difícil para várias empresas aceitar. Fazem-no para manter sua marca relevante e fresca nas mentes do consumidor e para evitar cair no esquecimento. Essa nova imagem de marca que a maioria das empresas tenta manter é muitas vezes considerada uma "métrica suave".

O marketing desempenha um dos papéis mais importantes no ciclo de vida de um produto. Qualquer erro em ações de marketing cometido em qualquer fase do ciclo de vida do produto poderá ter efeito de grande alcance sobre a marca. O dano pode até ser irreversível em alguns casos. As empresas devem entender que há algo chamado "métricas duras" e "métricas Soft" e ambas são importantes para o sucesso da marca, mas não necessariamente ao mesmo tempo.

Ambas as métricas desempenham um papel muito importante e são como as duas faixas de uma ferrovia, mas não podem cruzar-se mutuamente o tempo todo. A conclusão para as empresas deve ser o cálculo do ROI onde é possível, mas não negligenciar os meios onde não é possível calcular em termos de reais e centavos. . Os benefícios das métricas soft  poderá eventualmente  afetar as métricas duras em um longo prazo.

Artigo escrito com a colaboração de Kamran Khan VP de Marketing e Michael J Schiemer consultor de Marketing e Mídias Digitais.

Como acompanhar o trafego do website

Google Analytics é uma das ferramentas mais importantes do Marketing Digital. Com esse tipo de ferramenta é possível que consigamos ver onde estamos acertando, onde estamos errando, e como estamos atingindo nosso publico alvo (ou preferencial). Em algumas situações a simples mudança de uma imagem da esquerda para a direita em uma pagina web ou mesmo a mudança de cor ou tamanho de uma imagem ou botão, poderão afetar radicalmente os resultados da ações do visitante que vem a pagina.

Analises são imprescindíveis, mas nós acabamos nos frustrando quando percebemos os atrasos na geração dos dados, e ai acabamos sendo prejudicados na confecção dos relatórios. Uma das causas desses problemas é que o Google Analytics que é a maior referencia no quesito analise de Marketing Digital, é também a ferramenta mais usada por ser muito completa e  gratuita, mas para lidar com todos os requerimentos que o Google recebe diariamente faz com que ele acabe demorando para nos dar as repostas do que esta acontecendo com nossas ações. O próprio Facebook acaba sendo mais rápido nas respostas do que o Analytics.

Com esse cenário acabamos tendo um grande problema com a amostragem dos dados, pois o Google usa para suas analises amostragens selecionando subconjuntos de dados do trafego analisado e informa as tendências disponíveis no conjunto das amostras. É o que se faz quando se prepara uma pesquisa, faz-se uma seleção de amostras e será desta amostra que sairá o resultado, algumas vezes acabam sendo frustrados em razão de mudanças súbitas, mas no caso de trafego digital isso não acontece.

Mas em verdade quanto de atraso tem o Google Analytics? Varia de caso a caso em razão dos detalhes e do tamanho da amostra, caso tenhamos analise em um baixo conjunto de dados o delay fica bem aceitável (muitas vezes entre dez minutos e uma ou duas horas), mas caso o montante de dados seja gerado por grandes websites com muitas paginas e muito trafego e pageviews diários ai poderemos ter delay de 6 horas a 24 horas para que a atualização seja completa. Claro que podemos lançar mão de alternativas que nos facilitem o trabalho dando-nos respostas mais rápidas. Outra alternativa é o uso da versão corporativa do Google Analytics que acaba, por ser pago, tendo prioridade no processamento pois é projetado para empresas e profissionais que lidam com grande massa de dados.

Para ver que o que estamos relatando é a realidade, abra o Google e faça uma pesquisa com essa frase Google Analytics delay e você ira receber uma resposta dizendo que a latência do processamento dos dados pelo Google Analytics é de 24 a 48 horas, e que caso seja enviado ao Analytics gratuito mais de 200.000 sessões o resultado demorara um tempo maior e nunca será atualizado mais do que uma vez a cada 24 horas.

Da para notar que o Analytics também irá mudar com base no tipo de informação que você está tentando obter. As estatísticas básicas são mais fáceis de filtrar e reportar, de modo que os dados serão atualizados mais rapidamente do que os relatórios de maior acuracidade em análises mais profunda dos dados. O relatório de Fluxo de Visitante está tendo um atraso muito maior.

Para entendermos os atrasos do Analytics temos que o Google é uma empresa enorme com uma quantidade de servidores e computadores quase que ilimitada fazendo processamento, mas lembramos que a quantidade de acesso e serviços que o Google prove é uma tonelada em termos globais. Ai passamos a pensar que tipo de poder de processamento será necessário para atender a demanda global de pesquisa no Google Search? E o processamento dos dados dos milhões de espiões web? Ainda temos os processamentos do Google Drive  e seus utilitários, o Google Suíte (antigo Google Apps), o serviço de e-mail gratuito e todos os outros serviços que o Google disponibiliza? Após essa pequenina demonstração temos que nos perguntar e o Google Analytics como fica? Existem vários graus de infinidade e o Google pode estar bem perto dessa capacidade. 

Toda grande empresa de pesquisa e analise acabará enfrentando esse tipo de problema, a demora na entrega dos resultados, quanto mais usuários tiverem e quanto maior este forem maior será a necessidade de poder e de processamento que será exigido para poder monitorar e analisar os dados. Algumas empresas aceitam essa demora outras não. Algumas empresas acabam encontrando uma forma de acelerar as coisas, executando as analises e pesquisas localmente tendo um departamento que fica por conta de trabalhar com todos os dados colhidos.