O relatório que chega bonito, com gráfico limpo e seta para cima, é o mais difícil de auditar. Ninguém desconfia do que parece organizado. Nos últimos meses, operando contas de mídia e medição para empresas tradicionais, a gente encontrou três números errados dentro dos nossos próprios relatórios. Nenhum deles parecia errado. Todos passariam por qualquer reunião de resultado sem uma pergunta. Este artigo conta os três, com nome e sobrenome do erro, e termina com as três perguntas que qualquer dono pode fazer sem entender nada de tecnologia.
O problema não é o relatório feio
Existe um mito confortável de que dado ruim se reconhece de longe. Que a planilha bagunçada denuncia a bagunça e a apresentação caprichada denuncia o cuidado. Na prática é quase o contrário. Erro grosseiro é fácil: quando o número aparece negativo, ou cem vezes maior que o normal, alguém nota na hora. O erro que sobrevive é o discreto. Aquele que cai dentro da faixa que você esperava ver.
É por isso que relatório errado costuma durar meses. Ele não contradiz nada. Ele confirma suavemente o que todos já achavam, e decisão em cima dele parece prudente.
Caso 1: as duas páginas mediam coisas diferentes
A operação tinha duas versões de uma página de captura rodando em teste, cada uma com metade do investimento. Depois de algumas semanas, os custos por contato apareceram: uma página em torno de quarenta reais, a outra perto de quarenta e oito. Números normais, na faixa esperada, com diferença suficiente para dar vontade de escolher a vencedora e seguir a vida.
Só que uma das páginas nunca chegou a registrar o evento de conversão. O botão funcionava, o cliente clicava, a conversa acontecia, e nada daquilo era contado do jeito que o outro lado contava. Uma página registrava todos os contatos originados de um mesmo clique. A outra registrava apenas um. E, pior, uma delas simplesmente não disparava o evento novo, e vinha sendo medida por uma marcação antiga que ninguém tinha aposentado.
O efeito é o que importa entender: os dois números estavam corretos cada um dentro da sua própria régua, e completamente incomparáveis entre si. Aquele teste não estava escolhendo a melhor página. Não estava medindo página nenhuma.
0,45
de significância
Depois de consertar a medição e recalcular, o teste não tinha vencedor estatístico nenhum. Meses de conversa sobre qual página era melhor discutiam uma diferença que não existia.
O detalhe cruel é que ninguém tinha agido de má-fé. Cada configuração foi feita num momento diferente, por um motivo razoável, e a incompatibilidade só nasceu quando as duas passaram a ser comparadas na mesma tabela. É assim que quase todo erro de medição aparece: não de mentira, de camadas montadas em épocas distintas.
Caso 2: zero não quer dizer ruim
Numa conta de busca, o relatório listava seis palavras-chave que tinham gastado dinheiro e não trouxeram nenhum contato no mês. Somavam algo perto de cento e setenta reais. A conclusão parecia se escrever sozinha: desligue as seis, economize a verba, aplique no que funciona.
Antes de desligar, a gente fez a única conta que importava ali. Se a operação converte por volta de sete por cento, qual é a chance de uma palavra-chave perfeitamente boa marcar zero contato depois de onze cliques, só por azar?
45%
de chance de ser azar
Com 11 cliques e conversão de 7%, quase metade das palavras-chave boas marcaria zero no mês. Cortar por esse critério não é otimizar: é sortear.
Quarenta e cinco por cento. Praticamente uma moeda. Das seis candidatas ao corte, cinco estavam nessa faixa de dez a doze cliques, ou seja, dentro da zona em que o zero não significa nada. Uma única tinha vinte cliques, o que baixa a chance de azar para cerca de vinte e três por cento, e foi a única que a gente desligou.
Repare no que aconteceria se a lista tivesse sido aceita como estava. Cinco palavras-chave possivelmente boas seriam cortadas, e o relatório do mês seguinte mostraria o resultado caindo sem explicação aparente, provavelmente atribuído a sazonalidade ou concorrência. O erro teria virado uma história plausível sobre o mercado.
Caso 3: o rótulo que mentia, e era nosso
Este é o mais desconfortável de contar, porque o erro era inteiramente nosso e sobreviveu por dois meses.
A gente tem uma ferramenta interna que lê a conta de anúncios e imprime um diagnóstico. No topo do relatório aparecia, em letras claras, o período analisado: últimos trinta dias. Só que o período estava fixo dentro do próprio código, cravado em datas de dois meses antes. A ferramenta lia obedientemente aquele intervalo antigo e estampava o rótulo de sempre.
Ou seja: quem rodasse aquilo em agosto recebia dados de maio com um selo dizendo trinta dias. E aqui está o motivo de ter durado tanto: os números pareciam completamente plausíveis. Investimento na faixa habitual, custo por contato coerente, distribuição normal entre as campanhas. Não havia nada estranho para notar.
O erro só apareceu porque a gente cruzou aquele diagnóstico com uma segunda fonte da mesma conta, e as duas discordaram de um jeito impossível de ignorar: os gastos de duas campanhas apareciam trocados entre si. Foi essa contradição, não uma auditoria de rotina, que expôs tudo.
A correção foi mais simples que o estrago: o período deixou de ser fixo, passou a ser calculado ou informado, e todo cabeçalho do relatório agora imprime a data de início e a de fim que realmente foram usadas. O rótulo virou dado em vez de decoração.
Se o rótulo do período não sai da mesma variável que a consulta, uma hora ele vai mentir. E vai mentir sem parecer.
As três perguntas
Você não precisa aprender medição para se proteger disso. Precisa de três perguntas, e da disposição de observar mais a reação do que a resposta.
Primeira: o que exatamente conta como conversão aqui, e desde quando conta assim? Essa pergunta pega o caso 1 e mais uma família inteira de problemas. Toda vez que a definição de sucesso muda no meio do caminho, ou difere entre duas coisas comparadas, o relatório passa a somar laranjas com maçãs. Se a resposta vier vaga, ou se o seu fornecedor não souber a data em que a definição mudou, você acabou de encontrar um risco.
Segunda: quantos eventos tem esse número? Não o percentual, o total absoluto. Quantos contatos, quantas vendas, quantos cliques. Essa pergunta pega o caso 2 e desarma a maior parte das conclusões apressadas. Percentual construído sobre poucas dezenas de eventos é conversa, não medida.
Terceira: qual é a janela de datas exata, com dia de início e dia de fim? Essa pega o caso 3. Repare que não é a mesma coisa que perguntar o período. "Últimos trinta dias" é rótulo. "Cinco de julho a quatro de agosto" é dado. A diferença entre os dois foi exatamente o que nos custou dois meses.
Um detalhe importante sobre como usar as três. O objetivo não é constranger ninguém, e nem toda demora em responder é sinal de problema. O que você está avaliando é se existe um caminho até a fonte. Quem cuida bem da sua conta responde de cabeça, ou volta com o número em poucos minutos, ou diz com tranquilidade que vai conferir antes de afirmar. Quem responde com jargão em vez de número, ou se irrita com a pergunta, está te contando uma história que não checou.
Rigor não é desconfiança
Existe uma leitura preguiçosa deste artigo, que é sair dele achando que todo relatório é manipulado e todo fornecedor está inventando. Não é isso. Nenhum dos três casos foi má-fé, e dois eram nossos. Erro de medição não nasce de desonestidade: nasce de camadas construídas em momentos diferentes, cada uma correta no seu contexto, que ninguém voltou para reconciliar.
O que separa uma operação séria de uma operação decorativa não é a ausência de erro. É o hábito de conferir na fonte e a disposição de publicar a correção quando ela aparece, inclusive quando a correção derruba uma recomendação já entregue. Foi o que aconteceu em dois dos três casos aqui: a recomendação escrita caiu, e a errata foi publicada onde o cliente já tinha lido o texto antigo.
Isso é o que a gente entende por decidir com dado em vez de achismo, e é a mesma disciplina que faz um canal de aquisição de verdade se sustentar. Um número em que você confia vale mais que dez que você só repete. E é bem mais raro.
Se você recebe relatório de marketing todo mês e nunca teve como saber se pode confiar nele, comece por um diagnóstico. A gente olha a sua medição antes de olhar a sua campanha, porque campanha otimizada em cima de número errado só te leva mais rápido para o lugar errado. É assim que o nosso método começa, e é um dos pilares de tudo o que a gente monta.
