Desconstruindo análises mentirosas

Me considero privilegiado por ter o trabalho que tenho.

Além de poder trabalhar lado a lado com pessoas e empresas que admiro muito enquanto as ajudo a crescer, ter acesso a dados e análises de diferentes mercados me traz muito potencial de conhecimento.

Vou trazer um pouco dos meus aprendizados nas próximas linhas, afinal, tentar passar um conhecimento adiante é a melhor forma de seguir aprendendo.

Para você que não sabe, eu trabalho analisando dados há mais de 15 anos e montando estratégias de crescimento de empresas há mais de 8.

Já perdi a conta de quantas análises eu fiz (e de quantos erros eu cometi) durante esse tempo.

E treinar bastante algum conhecimento ou habilidade te dá dois grandes poderes: 

• Enxergar rapidamente outras pessoas cometendo o mesmo erro que você e

• Sacar quando alguém está tentando enganar outro por saber que a pessoa não domina aquele conhecimento.

Minha corrida inteira de ontem foi refletindo em cima da minha sexta-feira e de um caso bem tenso que aconteceu.

Eu precisava chegar à conclusão se o que tinha acontecido naquela análise era um erro de principiante ou um mau caratismo sem tamanho.

Recebi cedo de manhã uma mensagem de um dos meus clientes mais antigos pedindo uma reunião emergencial à tarde.

Ele tinha recebido uma análise de uma consultoria (bem famosa por sinal) de SEO (otimização de rankeamento de buscas orgânicas) que o tinha deixado bastante preocupado. 

Embora a mensagem tenha sido bem curta e polida, eu conseguia imaginá-lo do outro lado da tela já vermelho, esbravejando e soltando alguns palavrões.

Segundo a consultoria, não tínhamos (nós e o cliente) acompanhado um dado muito relevante e deixamos de construir uma estratégia fundamental para a sustentabilidade da empresa (palavras deles).

Quando recebi a análise, a primeira coisa que pensei foi: “Caramba, quanto poder de causar caos uma tabela com 5 indicadores tem”.

A tabela em questão é essa aqui abaixo (protegi os nomes por motivos óbvios).

Ela mostra os dados de tráfego orgânico e pago do último mês do meu cliente (empresa 1), de quatro concorrentes que o próprio cliente levantou (empresas 2 a 5) e de uma quinta concorrente que a consultoria incluiu no estudo (empresa 6).

Basicamente o que se vê nas 5 linhas são detalhamentos desse tráfego (origem das pessoas que acessaram o site do meu cliente)

Como essa consultoria foca em aumentar o tráfego orgânico, eles destacaram a linha de tráfego orgânico em primeiro.

Foi essa exata linha que causou todo o desconforto no meu cliente.

O motivo: “Como assim a empresa 6, que estava totalmente fora do radar, está com um tráfego orgânico 5x maior do que o meu?”.

A consultoria trouxe isso como um grande achado, acompanhado da necessidade latente deles reagirem e montarem uma estratégia orgânica muito mais robusta (casualmente um produto que eles vendem).

Quando a análise chegou em mim, o pedido foi: “Mazzillo, isso aqui tá muito estranho, ninguém fala mais nesses caras, como que eles estão com um tráfego tão maior que o nosso? Consegue ver se essa análise faz sentido?”

Quero fazer um parêntese e tirar algumas linhas para explicar o porquê eu escolhi esse tema (e porque você deve ler até o final).

Estava olhando os dados de quem lê a Extra Mile e temos um comportamento de 50% empresários/empreendedores e 50% trabalhando para alguma empresa (a maioria em mais de uma como freelancer).

Isso me mostrou que todas as pessoas que leem a Extra Mile ou podem precisar fazer análises de métricas e concorrentes ou podem receber uma análise dessas com interpretações.

Ou seja, todos precisam saber os perigos (e maldades) escondidas em uma análise “errada”.

Fecha parêntese e voltemos para a tabela.

Ao longo dos anos analisando dados, passei a categorizar os erros de análise em 3 grandes grupos.

Os 3 grupos são bem graves, qualquer um deles pode direcionar a empresa para um abismo. 

O problema é que a análise que meu cliente recebeu consegue ter todos os 3.

Narrativas maliciosas ou equivocadas

O erro mais difícil de identificar, e também o mais perigoso.

A complexidade aqui é que a natureza do erro muda a nossa reação a ele. 

Se a narrativa for equivocada, precisamos treinar muito a pessoa que a fez, explicar o contexto e os erros para que eles não se repitam. A causa aqui normalmente é inexperiência.

Se ela for maliciosa, estão tentando nos enganar. Precisamos afastar essas pessoas e empresas o mais rápido possível da nossa. A causa aqui é mau caratismo descarado mesmo.

A origem desse erro mora na interpretação, ou seja, ler o dado da forma errada.

No caso do meu cliente, a interpretação foi que eles estavam muito atrás e os concorrentes estavam com um mercado muito maior e, potencialmente, com um resultado maior.

O que eu trouxe de contraponto foi o seguinte:

Ponto 1: Nosso tráfego orgânico referente à marca é o maior entre todos os 5 concorrentes. Isso significa que a marca é tão conhecida a ponto de as pessoas buscarem diretamente por ela (inclusive com 50% mais volume do que o maior concorrente). 

Isso refuta o fato de estarmos atrás dos concorrentes. Na verdade, estamos na frente.

Ponto 2: O tráfego orgânico nesse nicho é muito amplo, mas o público potencial comprador é restrito. Isso significa que as 1.9 milhões de visitas da empresa 6 não necessariamente são de público comprador. 

Aliás, o fato de quase nenhum tráfego ser referente à marca mostra que todo esse tráfego não está gerando reconhecimento e ganho de presença de marca. 

Avaliando o caso de forma mais detalhada, encontramos uma parte da origem do tráfego e elas eram em cima de palavras totalmente amplas que podem ser buscadas tanto por um potencial cliente quanto por alguém tentando fazer o almoço em casa (e a empresa não é de culinária).

Isso refuta o fato de que precisamos buscar esse tráfego que a empresa 6 está conseguindo.

Ponto 3: A própria consultoria colocou uma métrica de balizamento, o custo do tráfego, e não soube usá-la.

Essa métrica mostra quanto teríamos que pagar para gerar aquele mesmo tráfego orgânico.

Uma regra caso você não trabalhe com isso: no tráfego pago, quanto mais um lead tem o potencial de comprar o seu produto, mais caro ele custa.

A empresa 6 têm 500% mais volume de tráfego, mas isso equivale a um custo apenas 60% maior, ou seja, é um tráfego que está atraindo muitos leads sem potencial de compra, por isso não vale tanto.

Isso refuta, novamente, o fato de aquele tráfego ser muito estratégico e que precisamos brigar por ele.

E assim a gente desconstrói uma análise mentirosa.

Poderíamos parar por aqui, mas ainda tem dois erros importantes para comentar. 

Ausência de contexto e conhecimento do mercado

Nunca faça uma análise sem contexto e sem saber como o mercado daquela empresa funciona.

Esse é um erro bem comum de quem usa muito IA para análises sem saber fazer o prompt correto.

A interpretação e conclusão de qualquer análise vai sempre passar pelo contexto.

“Contexto é o conjunto de informações adicionais que dão sentido a um dado isolado.
Um número por si só não diz nada — é o contexto que transforma dado em informação útil”.

A análise que foi apresentada para o meu cliente falhou completamente em colocar os números em contexto (não sei se de forma intencional ou por inexperiência...).

Quando você está analisando o que as pessoas buscaram, precisa entender o que leva àquelas buscas e quem poderia estar fazendo-as.

Em cima disso, se interpretam os dados para ver o que realmente é aplicável.

No caso da análise apresentada, a empresa 2 tem o mesmo nome de um programa estadual focado em pessoas mais idosas.

O público do meu cliente é jovem. Se eles tivessem desdobrado as buscas apresentadas na parte de marca por idade, veriam que uma parte significativa vinha de pessoas com mais de 50 anos daquele estado.

Ou seja, temos mais um dado na tabela que não serve para nada, a não ser nos fazer concluir errado.

Além disso, esse é um mercado extremamente sazonal e só foi analisado um mês (fraco, por sinal) e já queriam fazer uma conclusão que impactaria o ano inteiro.

Isso não faz nenhum sentido.

E, mesmo se fizesse, outro problema de contexto da análise foi o que comentei no erro 1. Nem todo tráfego ali tem potencial de ser comprador.

Quando eu ignoro isso da análise, estou olhando apenas o dado isolado. E dados isolados são burros.

Mas pior que um dado isolado é o próximo erro...

Dados errados

Esse aqui é mais autoexplicativo. 

Não olhar dados é como atravessar uma avenida de olhos fechados.

Olhar dados errados é como atravessar essa mesma avenida de olhos fechados, porque te falaram que nela não passam carros...

A gente acompanha o tráfego pago desse nosso cliente diariamente e esse foi o número de visitas de página que foi gerado nos últimos 28 dias:

Digamos que está um pouco maior que os 68 mil que foram descritos na análise.

Só isso já é suficiente para tirar a credibilidade da análise inteira. Sabe-se lá de onde tiraram os dados e se não existem mais erros grotescos como esse.

Por um lado, meu cliente ficou bem mais tranquilo. Por outro lado, eu não gostaria de ser a pessoa da consultoria que vai ter que ouvir todos esses feedbacks...

Por sinal, o produto adicional que essa empresa estava tentando vender para esse meu cliente custava R$180 mil para 12 meses de trabalho.

Esse é o valor que ter alguém que sabe analisar dados poupou para eles. 

E aí, sabendo todo o contexto, o que você acha? Erro de principiante ou narrativa mal-intencionada?

Espero que tenha curtido o percurso de hoje.

Grande abraço e até a próxima milha,

César Mazzillo

Dados no Cotidiano:

Vamos para mais uma análise mentirosa que nos foi trazida como dados.

“O salário mínimo dobrou nos últimos 10 anos”.

Será?

Talvez o salário nominal sim, mas isso não quer dizer nada. Acompanhamos o valor do salário para poder avaliar nosso poder de compra. 

Se o salário aumenta e o preço das coisas que compramos também, não necessariamente temos uma condição de vida melhor...

Essa conta para o Brasil é bem dolorosa.

Enquanto o salário mínimo teve um aumento nominal de 92,6%, a inflação acumulada do período foi 88%, então o poder de compra na prática não mudou.

Aqui pegamos uma narrativa maliciosa.

Vamos ao contexto: o salário da população não é corrigido em cima do mínimo.

Então, enquanto o salário mínimo teve um aumento nominal de 92,6%, o salário médio dos brasileiros cresceu apenas 30%.

Isso nos mostra que, como a inflação bate em todos nós, alguém que ganha a média do salário brasileiro (R$3.057/mês ou dois salários mínimos) perdeu 30,85% do poder de compra. 

Não deixe usarem narrativas maliciosas de dados em cima de você. O que te vendem nem sempre reflete a realidade.

Vá uma milha a mais: 

Esse TED genial de 18 anos atrás apresentado por Hans Rosling mostra como você precisa ter cuidado com os dados nas suas análises e apresentações.

Qualquer conteúdo de 18 anos atrás que segue extremamente válido, merece ser prestigiado.