Guia completo: tudo que Product Managers devem saber sobre Analytics

Entenda como a análise de dados pode aperfeiçoar a tomada de decisões e descubra o passo a passo para implementar Analytics no time de Produto.

Todo mundo sabe que análise de dados é importante para product managers. Mas, como muitas coisas que todo mundo sabe, nem todo mundo sabe por que elas são importantes, e no caso da análise de dados — ou Analytics — nem mesmo o que significa.

Neste guia completo, você vai entender de forma prática como Product Managers usam a análise de dados para tomar melhores decisões.

O que é análise de dados?

De forma simplificada, a análise de dados mede a situação atual do produto, o que os usuários estão fazendo, onde eles estão clicando, etc. Estas medições nos dizem o que está acontecendo com o produto, apesar de não necessariamente dizer por que está acontecendo. 

Uma medição por si só não diz muito e não é propriamente análise de dados. Apenas quando uma série de medições são coletadas juntas é que elas se tornam análise de dados.

Para ilustrar a diferença, considere esse exemplo. A temperatura de um objeto é uma medição, mas só se torna analítica quando você inclui coisas como posição, velocidade, composição, temperatura do ambiente, etc. Combinados a estes outros dados, a temperatura do objeto pode dizer o que está acontecendo com esse objeto.

Digamos que a velocidade é 0, a posição é de 1 metro do chão e a temperatura do ambiente é a mesma. Agora podemos dizer que o objeto é estacionário, está a 1 metro do solo e com a mesma temperatura do entorno.

Quanto mais independentes forem as medições que você tiver, melhor é a sua caracterização do estado do sistema ou como as pessoas estão usando seu produto.

Por que a análise de dados é importante?

Por uma grande razão: o que você não mede, você não aprimora. Sem saber qual é o estado do sistema, é muito difícil, se não impossível, fazer muita coisa para alterar o sistema.

É claro, você pode fazer mudanças de olhos vendados, mas sem análise de dados você nunca vai saber se o sistema foi modificado ou se nada aconteceu. Isso permite que você veja o que está de fato ocorrendo, faça mudanças e veja o efeito que elas têm.

A análise de dados só te diz o que está acontecendo, não o porque está acontecendo. Sem isso, a chance de sucesso do produto é quase randômica.

Conceitos de Análise de Dados 

Há um conjunto de conceitos-chave que precisa ser compreendido para extrair o melhor valor, tanto das métricas, quanto da inteligência analítica. Esses conceitos são focados na interpretação dos dados para que você possa gerar um insight.

São quatro conceitos:

• Pontos de medição;

• Segmentação;

• Funis;

• Cohort.

Pontos de medição

Pontos de medição são os pontos individuais de dados coletados, que são medições de itens particulares dentro da plataforma. 

Um dos fundamentos de Analytics está na captura correta dos pontos de medição. Junto com as medições individuais os pontos de medição também incluem as datas e o tempo em que a medição foi feita. Isso permite projetar tendências e separar métricas individuais umas das outras.

Segmentação

Segmentação é o agrupamento de pessoas por características comuns e ver o que os padrões de uso do produto são como grupo. 

A característica pode teoricamente ser qualquer coisa (comer romãs às 3 da tarde de um domingo por exemplo, apesar de improvável, é um exemplo válido de segmento), mas há um conjunto de pontos em comum que são primariamente utilizados. Esses pontos comuns incluem, mas não são limitados a:

• Técnicos (ex:. broswer, OS, dispositivos);

• Comportamento (ex:. novo ou retornando);

• Demografia (ex:. idioma, país, etc).

Se você vai utilizar a segmentação customizada, lembre-se que a característica tem de ser mensurável. Se você não pode medir, não tem por que tentar criar um segmento. Gênero é um bom exemplo. Pode ser muito difícil de medir a não ser que você faça uma pergunta específica a respeito disso em um perfil.

A segmentação fatia a análise, permitindo que padrões subjacentes de comportamento e utilização sejam observados, ao invés de ficarem escondidos por ruído e médias.

Por exemplo, a média de visualizações de página para visitantes é de 2. Segmente por novos x retornos, e surge um padrão de novos visitantes com média de 1.2 de visualizações de página por visitante, e visitantes que retornaram a uma média de 3.4 visualizações por visitante.

Um exemplo do mundo real é a diferença que eu encontrei entre influenciadores maiores e influenciadores menores ao usar o PeerIndex. Os influenciadores menores estavam muito mais dispostos a enviar tweets e convites, enquanto os maiores não. Os padrões eram diferentes o suficiente para justificar mudanças para adequar as features a diferentes níveis de influência.

A segmentação permite focar sua análise em grupos de usuários que são mais importantes para o sistema. Por exemplo, se os usuários mais importantes para o seu produto estão nos Estados Unidos e no Reino Unido, um segmento permite que você veja o que eles estão fazendo e otimize o produto para se adequar às suas necessidades, ao invés de focar na população global.

Ao fazer experiências com segmentação em taxa de conversão, eu descobri que a taxa de conversão para usuários norte americanos e britânicos era menor que a média. Como as experiências iniciais eram globais, a menor taxa de conversão do mercado-alvo ficou escondida pela média.

Funis

Usuários não fazem nada isoladamente. Simples assim. Pelo contrário, eles agem para concluir uma tarefa ou atingir um objetivo, seja se registrar ou finalizar uma compra. Esses fluxos ou jornadas de usuário podem ser medidos usando funis.

Um funil é feito da medida do evento-chave a cada passo do fluxo ou da jornada do usuário. Ao reunir essas medições, você pode ver onde está o vazamento no funil. O vazamento é onde as pessoas deixam de completar as tarefas que elas queriam.

Ao ver e medir esse vazamento via funis, você, como product manager, tem um insight valioso sobre o que fazer para aperfeiçoar aquelas jornadas de usuário, para que mais usuários completem a tarefa a qual eles se propuseram inicialmente.

O funil acima mostra o vazamento (ex:. pessoas não completando uma etapa) que está acontecendo no processo de registro. Com essa representação visual, agora podemos investigar o que está acontecendo nos passos 1 e 4 para fazer as pessoas a deixarem o funil.

Cohort

Apesar de semelhantes a segmentação, a análise cohort é diferente porque o agrupamento é feito usando um ponto no tempo uma característica dos usuários, como fonte do tráfego. A razão primária da análise de grupos é para que a análise comparativa responda a questão de como o comportamento dos usuários varia com o tempo.

A análise cohort também é importante para avaliar o valor de longo prazo do usuário. Por exemplo: como o comportamento dos usuários que se registraram uma semana atrás difere daquele dos usuários que se registraram há um mês?

Essa análise pode ser feita relativamente (por exemplo, hoje versus uma semana atrás ou um mês atrás) ou absolutamente (uma data específica). Enquanto você pode observar o uso do grupo no tempo, o verdadeiro poder dessa medição surge da comparação entre os grupos.

Vamos considerar um exemplo de comparação relativa. Os dois grupos são definidos como um que se registrou na semana passada e outro no mês passado. O grupo mais antigo exibe um comportamento diferente do da semana passada? Esse tipo de análise de grupo traz à luz problemas como cancelamentos, que poderiam ser ocultados por novos visitantes. 

Sem a análise cohort isso seria difícil, se não impossível de encontrar devido ao ruído de todos os outros usuários do site.

No caso absoluto, grupos geralmente representam o resultado de um marketing específico ou atualização de um feature. A comparação com outros grupos mede o impacto da ação de marketing ou que a atualização teve no sistema durante um período de tempo.

Um exemplo clássico disso é a comparação de adesões ocasionadas por posts da TechCrunch às de um dia normal. Mesmo que o número de adesões tenha crescido, uma análise cohort vai mostrar se o comportamento daquele grupo tem valor comparado ao de um grupo de um dia normal. Os leitores do TechCrunch permanecem ou eles simplesmente fazem o sign up e nunca mais aparecem?

A figura acima é um gráfico de retenção baseado em quando os grupos se registraram. Houve um pico de retenção para o grupo definido como 8 de outubro em comparação aos outros. Ao ver isso você pode explorar o que fez aquele grupo de diferente para modificar sua retenção.

Implementando Análise de Dados 

O comportamento padrão ao implementar análise de dados parece ser o de lançar os conjuntos analíticos e esperar que as bases sejam cobertas. Não faça isso!

Utilizando esse approach“fire-and-forget” faz com que você nunca use a análise de dados corretamente, porque você não pensou como eles irão ajudar seu produto da forma mais rápida e no que você deveria realmente estar prestando atenção.

Ao invés disso, você tem um grande set de dados que cresce vertiginosamente e, como um product manager lutando para não se afogar, você acaba se agarrando nas métricas de vaidade. E isso não acaba bem.

Começe com um plano que vai ligar os pontos de medição que você tiver auferido à visão de produto e aos indicadores-chave de performance do seu produto (KPI — Key Product Indicators).

Planejando a implementação da análise de dados 

O processo consiste nos seguintes passos:

1. Defina a visão de produto;

2. Defina os KPIs que atendem a visão de produto;

3. Defina as métricas que te permitem atingir seus KPIs;

4. Defina os funis (via jornadas de usuário) que afetam suas métricas.

Com isso você pode descobrir quais pontos de medição você precisa registrar para calcular as métricas e produzir os funis. O plano não é estático, e você vai precisar revisita-lo regularmente para atualiza-lo baseado nas mudanças para os KPIs, maturidade do produto e da visão de mudança.

Vamos considerar cada passo em detalhes.

A visão

A visão é o que o produto deve fazer para quem ele deve fazer. Ou como diz a famosa pergunta: “Qual é o problema que o produto está solucionando para o usuário?”Se você não tem uma visão de produto, você não sabe quem são seus usuários ou qual o valor que eles podem obter do seu produto. Você não só está fazendo um voo cego, mas está fazendo um voo cego com destino a lugar nenhum.

Ao começar com a visão, você garante que o que você vai medir vai te ajudar a atingir a visão de produto. Ajuda a evitar a armadilha das métricas de vaidade ao costurar tudo que está sendo medido ao que você está tentando atingir. É o filtro que te permite ignorar o volume de dados potencial que você pode coletar.

Key performance indicators (KPIs)

KPIs ( Indicadores-Chave de Performance) são derivados da visão de produto e te dizem se e como o produto está atingindo a visão. Estes KPIs são focados no produto e só indicam a performance do produto. Exemplos de KPIs são o número de usuários registrados e valor monetário de checkouts.

KPIs são utilizados para estabelecer alvos para a performance do produto. Por exemplo, aumentar o número de usuários registrados em 20% ou aumentar o valor financeiro dos checkouts em 30%.

Os KPIs precisam refletir o estágio atual do seu produto. Se você está apenas começando, então os cadastros serão os KPIs base em oposição ao engajamento de longo prazo.

Métricas

As métricas são o que você pode usar para atingir os alvos estabelecidos pelos KPIs. Elas são calculadas para dois ou mais pontos de medição e geralmente assumem a forma de algum tipo de proporção ou estatística descritiva, como a taxa de conversão (% de novos visitantes que se cadastram) ou o valor médio por checkout (valor total de checkout/números de checkout).

A chave para as métricas nesse processo é que elas devem ser quantitativas (um número de alguma descrição) e comparativas (elas podem ser comparadas a outras métricas e a elas próprias ao longo do tempo). Por serem comparativas, você pode visualizar tendências nas métricas e fazer ajustes para atingir os alvos.

Se você não vai fazer nada com uma métrica que não é atrelada a um KPI, então nem comece o cálculo. É uma perda de tempo e de esforço. Você perde foco na métrica que realmente importa e é nesse momento que as métricas de vaidade começam a te assombrar de novo.

Funis

Os funis importantes são aqueles que modificam as métricas de alguma maneira. Por exemplo, se o funil está de alguma forma relacionado aos cadastros no caso de conversão métrica. Uma vez que você identificou os fluxos/jornadas de usuário, transforme eles em funis e identifique a ação-chave para cada passo do funil.

Obtendo os pontos de medição

Passado esse processo, você agora pode entender quais pontos de medição são necessários para calcular as métricas e quais são necessários para medir as ações-chave para cada passo nos funis. É isso.

Os pontos de medição que precisam ser medidos foram identificados juntamente com um mapa de como esses pontos serão então usados para aperfeiçoar seu produto.

Existe um gargalo. Os pontos de medição precisam ser alcançáveis. Isso é definido como mensurabilidade (se você pode de fato medir aquele ponto) e complexidade (quantidade de recursos exigidos para medir aquele ponto).

Se você não pode auferir o ponto de medição, ele não é válido. Se são exigidos muitos recursos para aquela medição e estes recursos serão melhor utilizados em outro lugar, então aquele ponto de medição não é válido.

Nessas circunstâncias você precisa voltar aos KPIs, métricas e funis e encontrar proxies para que o ponto de medição em questão e/ou gere iterações com os KPIs, métricas e funis, até que você chegue a um resultado possível.

No entanto, tudo deve sempre ser reconectado à visão de produto.

Através do processo de planejamento, tenha em mente os segmentos que você vai querer observar. De novo, isso vem da visão de produto, especialmente a parte em que você de qual usuário você está solucionando um problema.

Do plano à medição

Agora que há um plano que diz o que precisa ser medido e coletado, a próxima tarefa é determinar como fazer isso. Há duas formas primárias de fazer isso, seja in-house ou externamente.

In-house é criar um sistema de medição dentro do sistema. Sistemas in-house podem ser modelados para necessidades específicas de medição e análise desejadas. A desvantagem é ter que manter tanto os aspectos de coleta como de análise. Na verdade, um sistema in-house se transforma em outro sistema que tem de ser produzido e administrado, consumindo recursos valiosos.

Sistemas externos são sistemas terceirizados que medem e oferecem acesso aos dados mensurados. Como exemplos, podemos citar o Google Analytics (GA), Mixpanel e KISSmetrics. Plataformas de medição externa removem a necessidade de criar e manter um novo produto e tendem a ser de rápida implementação (geralmente a inclusão de um arquivo JS e alguma tagging).

Mas eles nem sempre conseguem medir o que você precisa e pode ser difícil adaptar para atender necessidades customizadas de análise.

Em geral, eu costumo usar uma mistura dos dois. 

Eu uso um pacote externo para fornecer as medições e análises padrão. Então eu crio um sistema de medição in-house para pontos de medição que são exclusivos do meu app, que não podem ser facilmente medidos por sistemas externos ou onde são necessárias análises customizadas.

Por exemplo, com um ProdPad eu implementei um modelo que captura dados-chave e nós usamos GA e Mixpanel para análises mais detalhadas.

Levando em conta que eu nunca vi dois pacotes de análise concordarem em números, eu sempre uso tanto quanto for possível para triangular. No entanto, isso pode transbordar então agora eu me limito a dois pacotes externos.

Tenha em mente que esses pacotes geralmente usam arquivos JS, então quanto mais você tiver, maior o impacto no page load e na performance do produto.

Reportando Análise de Dados

Se você não faz relatórios de análise de dados, mesmo que seja para você mesmo, é uma perda de tempo implementa-los. Use ou descarte. O truque com os reports é fazer de uma forma que seja de fácil entendimento para todos na empresa.

O objetivo do relatório não é tanto dizer o que aconteceu, mas levar todos a perguntarem: “Por que isso aconteceu? Por que mudou?”Ao responder ou tentar responder essas questões, o sistema pode ser afinado para melhor.

Os dois métodos mais comuns de fazer esses reports são comparações e tendências. A comparação mostra como uma métrica mudou entre dois momentos diferentes.

Usemos como exemplo essa semana e a semana passada. A tendência é exibida pela mudança em um número num período de tempo. Como um gráfico mostrando uma métrica para cada dia do último mês.

Comparações dão um título e permitem a todos ver se houve uma grande variação entre dois pontos. As tendências indicam a direção da métrica e consequentemente a performance do sistema. Está crescendo, caindo ou estável?

Análise de dados e experimentação

Análise de dados e experimentação estão interligados. Os Analytics respondem “o que está acontecendo com x”e as experimentações testam “como nós melhoramos x?”. As análises medem os KPIs e mudanças resultantes das experiências que provam ou desmentem a hipótese que aquele experimento foi designado para testar.

Você não pode fazer testes sem Analytics (caso contrário é só especulação). Experimentação é um campo em si e você pode ler mais sobre como a análise de dados é usada e ou processo de experimentação neste post.

Resumindo

A análise de dados é essencial porque mostra o que está acontecendo com seu produto. Antes de lançar e implementar uma plataforma de medição de dados, planeje o que precisa ser medido. Isso forma o critério para escolher como medir os dados, seja usando um sistema in-house, um serviço externo ou uma combinação de ambos. 

Por fim, use os reports para ajudar a estimular sua equipe a perguntar “por que isso está acontecendo?”

Com o tempo, conforme o sistema muda e se aperfeiçoa, os KPIs (e consequentemente as métricas) irão mudar, o que por sua vez leva a mudanças nas necessidades de métrica.

É provável que novos fluxos e métricas provem ser cruciais para o sistema, então sejam quais forem os Analyitics em jogo, eles vão precisar ser constantemente adaptados para essas mudanças e te manter atualizado sobre o que está acontecendo com o seu produto.

Se você gostou deste conteúdo, assine nossa newsletter e receba mais artigos como este em seu email periodicamente.