O vice-presidente de Crescimento afirma que o maior risco da IA é acreditar naquilo que os dados parecem provar

Jon Chang é o VP de Marketing de Crescimento da MyFitnessPal. Antes disso, a sua carreira passou pela IBM Watson, pela Kickstarter e pela Klarna. E trabalha com IA desde muito antes de esta se tornar generalizada.

Falámos com Jon para perceber como a IA está a mudar a publicidade. Pelo caminho, contou-nos quais as funções de receita que precisam urgentemente de uma transformação com IA.

A trabalhar com IA antes de esta afetar o P&L de alguém

Sou Jon Chang, VP de Marketing de Crescimento da MyFitnessPal, e concentro-me no lado da procura do negócio no que diz respeito à receita. Isto inclui aquisição paga, conversão na loja de aplicações e a diferença entre a promessa de um anúncio e a experiência efetiva de um novo utilizador ao chegar.

O meu percurso inclui a IBM Watson, a Kickstarter e a Klarna, e lecionei na NYU enquanto desempenhava as minhas funções operacionais. Essa primeira passagem é mais importante do que pode parecer, porque trabalhei em aplicações comerciais de IA numa altura em que as discussões se centravam no que estes sistemas poderiam vir a fazer, e não no que estavam a fazer ao P&L de alguém. Ver o setor passar desse período para o atual incutiu em mim um ceticismo duradouro em relação aos prazos e um respeito duradouro pelo que chega efetivamente a ser lançado.

O resto desse percurso levou-me aos canais orientados por máquinas muito antes de alguém lhes chamar IA. Primeiro vieram as licitações, depois a seleção de públicos e, por fim, a rotação de criativos; cada um deles saiu das mãos dos humanos, um leilão de cada vez. Por isso, o que está a acontecer agora não me parece uma rutura, mas sim a mesma tendência de longo prazo a chegar toda de uma vez — uma experiência genuinamente diferente de assistir ao surgimento de uma tendência completamente nova.

Essa história ensinou-me que a automatização é excelente a otimizar com base na correlação, mas continua completamente indiferente à causalidade. À medida que estes sistemas aceleraram, tornou-se mais evidente que a incrementalidade — a questão de saber se as suas ações causaram efetivamente o resultado que lhes atribuiu — era a disciplina na qual ninguém investia. Continuo a acreditar que é a competência mais subvalorizada no crescimento, e só se torna mais valiosa à medida que as ferramentas produzem números com um aspeto convincente cada vez mais depressa.

Escrevo sobre isto no Growth Marketing Musings, no Substack.

Uma estrutura que obriga a fazer perguntas melhores

A MyFitnessPal é um negócio de subscrição dirigido ao consumidor, com uma abordagem prioritariamente móvel, que compete numa categoria onde a aquisição depende quase inteiramente de canais baseados em leilões e da descoberta nas lojas de aplicações.

Essa estrutura molda tudo, porque não gerimos um ciclo de vendas longo nem trabalhamos através de um comité de compra. A distância entre a impressão e a conversão paga é curta, o que parece uma vantagem, mas funciona mais como uma limitação: temos uma oportunidade em cada etapa e muito pouca margem para recuperar de uma etapa fraca.

Também significa que operamos num dos ambientes de medição mais difíceis do marketing, o que explica em grande parte por que razão a incrementalidade se tornou central no meu pensamento. A atribuição multitoque falha verdadeiramente em ambientes móveis com restrições de privacidade, onde as taxas de consentimento são baixas, razão pela qual as equipas neste espaço recorrem, em alternativa, a testes de incrementalidade. Muitas organizações tratam isso como uma limitação a contornar, mas eu diria que está mais próximo de um fator que nos obriga a fazer perguntas melhores.

Como a IA mudou a publicidade

Durante anos, criar um destino personalizado para cada tema de anúncio era tão dispendioso que a maior parte do tráfego era encaminhada para uma única página geral. Alguém que clicasse num anúncio sobre uma coisa e alguém que clicasse num anúncio sobre outra acabavam no mesmo lugar. Isto significava que o anúncio fazia uma segmentação cuidadosa, mas o destino anulava imediatamente esse esforço.

Em todo o setor, o custo de produzir uma variante caiu drasticamente quando ferramentas como o ChatGPT e o Claude se tornaram ferramentas padrão. Quando uma variante é barata, alinhar o destino com a promessa deixa de ser um luxo que é preciso justificar e passa a ser a opção óbvia por defeito.

O efeito está mais bem documentado do que a maioria dos fenómenos no nosso setor. Uma análise publicada que abrangia mais de um milhão de grupos de anúncios do Apple Ads concluiu que os grupos de anúncios que direcionavam para uma página de produto personalizada correspondente à palavra-chave geravam mais 23% de transferências do que aqueles que direcionavam para a página predefinida, com o mesmo investimento e as mesmas palavras-chave.

O detalhe fundamental é perceber que tipo de correspondência funciona. Uma análise independente de um portefólio concluiu que as aplicações que obtinham os maiores ganhos segmentavam por intenção do utilizador, e não por funcionalidade do produto. As páginas construídas como versões visualmente renovadas da página predefinida, com a mesma ordem de capturas de ecrã e o mesmo gancho inicial, quase não produzem alterações. Esta é a principal lição: um modelo de linguagem torna trivial produzir quarenta versões de uma única ideia, mas isso vale quase nada se o trabalho sobre a intenção não vier primeiro.

Acrescentaria — e penso que esta parte é muitas vezes ignorada — que nada disto vale muito se não conseguirmos determinar se a alteração causou o aumento. Os números comunicados pela plataforma relativamente a uma página correspondente terão quase sempre bom aspeto, porque direcionamos tráfego de melhor qualidade para uma experiência melhor, e os relatórios não conseguem separar esses efeitos. A única forma de o saber é comparar com um grupo de controlo, o que é mais lento e consideravelmente menos satisfatório, mas é a única resposta que eu defenderia efetivamente.

Onde a IA se destaca e onde são necessários humanos

A IA é responsável por uma parte considerável do trabalho nesta fase, embora não inteiramente por escolha. A IA trata agora da otimização de lances e orçamentos dentro das plataformas, porque os controlos manuais foram em grande parte removidos. Para além disso, as aplicações úteis da IA para nós estão na síntese, não na produção.

Os agentes desenvolvidos com ChatGPT e Claude destacam-se por pegar em grandes volumes de informação de mercado desorganizada e devolver algo sobre o qual uma pessoa possa raciocinar. As alterações na procura por categoria, a evolução da concorrência e os dados de plataformas como a Sensor Tower, a AppTweak e a Appfigures tornam-se muito mais úteis quando a IA consegue analisá-los em conjunto e resumir as alterações. Isto encurta a distância entre o aparecimento de um sinal e a tomada de uma decisão e, num negócio baseado em leilões, essa distância tem um custo direto.

Três coisas permanecem firmemente do lado humano da linha.

Primeiro, escolhemos o que testar e porquê, porque a máquina otimiza dentro de uma questão, mas não tem opinião sobre qual é a questão que vale a pena colocar, e essa escolha determina se tudo o resto é relevante.

Segundo, definimos o que conta como uma vitória. Quase todos os resultados dececionantes da IA que vi remontam a uma métrica indireta que se manteve saudável enquanto o problema subjacente não se alterou. A McKinsey concluiu que 88% das organizações utilizam regularmente IA em pelo menos uma função, mas apenas 39% reportam um impacto mensurável no EBIT. Eu diria que essa diferença é um problema de definição, não de adoção.

Terceiro, e aquele a que me agarraria com mais força, é a análise causal. Não automatizamos o nosso trabalho de incrementalidade, nem quero fazê-lo. Os estudos de impacto da marca e de aumento de desempenho são executados nativamente dentro das plataformas de publicidade; os grupos de controlo geográficos são analisados com base nos dados da plataforma, em conjunto com o parceiro de medição móvel; e a análise de tudo isso é deliberadamente humana. Decidir se um resultado é genuinamente causal ou meramente correlacionado exige discernimento, com dinheiro real em jogo. Nenhum modelo lhe dirá que o número que tem à sua frente está sujeito a fatores de confundimento, porque um número sujeito a confundimento parece exatamente igual a um número fiável.

Um fluxo de trabalho de receitas do mundo real

Eis um fluxo de trabalho que vai da intenção ao destino e depois regressa.

Começamos por agrupar a procura em torno daquilo que alguém está a tentar resolver, em vez de o fazer por dados demográficos ou por qualquer funcionalidade que queiramos discutir. Esse agrupamento baseia-se na visibilidade ao nível da categoria proporcionada pelas plataformas de medição de aplicações, especificamente por ferramentas como a Sensor Tower, a AppTweak e a Appfigures, uma vez que estas mostram o comportamento de pesquisa e a evolução da concorrência que os dados próprios não conseguem revelar. Cada grupo torna-se um tema e cada tema recebe tanto um conceito de anúncio como um destino correspondente, concebido para dar continuidade ao mesmo argumento em vez de o reiniciar.

O ChatGPT e o Claude tratam de grande parte do núcleo analítico, que considero ser onde reside o verdadeiro valor. Sublinharia a qualquer pessoa que esteja a desenvolver isto que o modelo, por si só, é a parte menos interessante. Um agente que apenas consegue raciocinar é um parceiro de geração de ideias dispendioso, enquanto um agente ligado aos dados de mercado e aos relatórios de desempenho pelos quais já paga se torna mais semelhante a um analista com paciência ilimitada para o trabalho repetitivo. A integração é o produto e aquilo que alcança depende muito mais do que liga ao agente do que do modelo que escolhe.

A integração também torna o investimento justificável. Fazemos aquisição paga num leilão, pelo que cada hora entre o aparecimento de um sinal e a tomada de uma decisão tem um custo. Identificar uma alteração na procura por categoria na semana em que ocorre permite-lhe transferir dinheiro enquanto isso ainda é relevante e essa é uma utilização económica da tecnologia, ao contrário de produzir mais duzentas variações de ativos.

Mantemos deliberadamente a análise manual, o que nos traz de volta à incrementalidade. Cada teste tem um volume mínimo definido antes do lançamento e não agimos sobre resultados abaixo desse limite, independentemente de quão bons pareçam. Se realizar 100 experiências em que metade tem um efeito real e as executar com uma potência de 10%, obterá aproximadamente dez resultados significativos, cerca de metade dos quais serão falsos. Aumentar simplesmente a potência reduz essa taxa de falsos positivos de 50% para 11%, sem outras alterações.

Para além do nível mínimo, tudo o que pretendemos escalar de forma significativa é validado causalmente, e não com base no desempenho reportado pela plataforma, porque a plataforma tem todos os incentivos e razões estruturais para apresentar um valor lisonjeiro. Essa validação resulta de estudos de incremento realizados nativamente nos canais e de grupos de controlo geográficos analisados em comparação com dados de medição da plataforma e de dispositivos móveis. A medição é nativa, a análise não é automatizada e acredito que essa divisão será mais importante com o tempo. Tudo o que antecede a leitura torna-se mais rápido a cada trimestre, o que significa que a leitura tem de permanecer consistente.

Como a IA pode aumentar o ritmo de aprendizagem, mas tornar essas aprendizagens pouco fiáveis

O maior benefício da IA é o ritmo. Ideias que antes ficavam numa lista de pendências durante um trimestre são agora desenvolvidas e analisadas num único ciclo. Isto acumula-se ao longo do tempo, uma vez que a rapidez com que se aprende depende, em grande medida, da rapidez com que se consegue testar.

Os maus resultados surgem de duas formas, sendo a segunda mais interessante.

A primeira é simples e já lhe fiz referência. Realizámos uma campanha em que os números do topo do funil pareciam fortes, mas a conversão a jusante evoluiu na direção oposta. Os sistemas fizeram precisamente aquilo que lhes pedimos. Pedimos a coisa errada, o que constitui uma falha na definição do objetivo e não uma falha da IA, embora tenha sido executada com uma eficiência invulgar.

A segunda é que a velocidade multiplica os seus hábitos epistémicos existentes. Se a sua leitura predefinida do desempenho é correlacional — e, para a maioria das equipas, é —, então testar mais depressa não produz uma aprendizagem mais rápida. Produz uma acumulação mais rápida de coisas em que acredita sem motivos suficientes. As orientações publicadas pela Adobe sobre testes salientam um ponto relacionado, observando que os profissionais de marketing conferem um poder estatístico insuficiente a um número surpreendente de testes. Se continuar a fazê-lo, os falsos positivos podem acabar por rivalizar com os verdadeiros positivos ou ultrapassá-los em número. Considere o que acontece quando aumenta o número de variantes e diminui o tráfego por variante. Não obtém mais vencedores; obtém mais coisas que parecem convincentemente vencedoras.

Assim, essencialmente, a IA aumentou o nosso ritmo de aprendizagem e, simultaneamente, aumentou a nossa responsabilidade de provar que aquilo que aprendemos era real.

Porque é que a IA tem dificuldades com o contexto e a confiança dos clientes

Estes sistemas têm dificuldades porque não têm acesso ao «porquê», que fornece a maior parte da informação numa empresa de subscrições para consumidores.

Duas pessoas podem pesquisar o mesmo termo, clicar no mesmo anúncio e chegar com motivações completamente diferentes, mas os dados não distinguem nada entre elas. Um modelo que lê sinais comportamentais agrupa-as com confiança porque são idênticas em todas as dimensões mensuráveis. O agrupamento está correto, mas a conclusão dele retirada pode continuar a estar errada. Este é um modo de falha particularmente desconfortável, porque não há nenhum erro a detetar.

Por exemplo, na análise de mercado, os agentes produziram narrativas claras, plausíveis e bem fundamentadas sobre uma mudança na categoria — resumos que parecem ter sido escritos por um analista competente. No entanto, o movimento subjacente revelou-se um artefacto: uma alteração nos relatórios, um padrão sazonal ou uma mudança na definição da forma como algo era contabilizado. A narrativa era coerente porque o modelo é excelente a construir narrativas coerentes, mas coerência não é precisão. O que a tornou perigosa, e não apenas errada, foi o seu tom acabado e convincente.

É esse, numa frase, o problema da confiança. Estes sistemas não registam a incerteza. Uma conclusão retirada de evidências escassas é apresentada com o mesmo tom que uma conclusão baseada em evidências sólidas. Um analista humano teria usado uma linguagem mais cautelosa, assinalado dados estranhos ou verificado algo antes de o apresentar por escrito. O modelo limita-se a apresentá-lo por escrito.

A versão específica das subscrições apresenta um desafio ainda mais difícil. Quando alguém cancela, o evento parece idêntico, quer não tenha conseguido obter aquilo que procurava, quer tenha conseguido completamente e seguido em frente. São resultados opostos com a mesma assinatura de dados, e nenhuma quantidade de modelação os separa, porque a diferença reside inteiramente num contexto a que o sistema nunca teve acesso.

Porque é que a previsão precisa de uma reformulação com IA

O instinto é tornar as previsões mais precisas recorrendo a modelos melhores, e penso que essa é a reformulação errada da IA. A Gartner estima em 7% a proporção de organizações de vendas que alcançam uma precisão de previsão igual ou superior a 90%, e esse número tem permanecido teimosamente baixo há muitos anos, apesar do enorme investimento em ferramentas. Quando um problema resiste a tanto dinheiro e tecnologia, isso costuma ser um sinal de que o problema foi formulado de forma incorreta, e não de que as soluções eram demasiado fracas.

O erro de formulação consiste em tratar a previsão como um problema de predição, quando, na realidade, é um problema de decisão. O que um líder de receitas precisa não é de um número mais preciso para o próximo trimestre; é de uma resposta defensável sobre o que deve fazer de forma diferente esta semana. As duas questões estão relacionadas, mas não são a mesma, e a segunda é muito mais abordável. É possível realizar uma experiência que indique se uma alteração causou um resultado. Não é possível realizar uma experiência que indique como será o mundo daqui a noventa dias.

Por isso, defenderia uma reformulação que transferisse o centro de gravidade da previsão para a evidência causal. Em vez de pedir a um modelo que extrapole o futuro a partir de um sinal degradado, devemos perguntar o que poderíamos reservar, o que poderíamos testar e que resultado alteraria a nossa alocação. Isso produz artefactos menos impressionantes e decisões consideravelmente melhores. Também falha com honestidade, porque um teste inconclusivo informa-nos de que foi inconclusivo, ao passo que uma previsão errada não nos diz nada até o trimestre terminar.

A segunda metade da reformulação consiste em tornar a incerteza um resultado de primeira classe, em vez de a eliminar antes de o número chegar à liderança. A maioria dos processos de previsão reduz um intervalo amplo a um único valor porque um único valor é mais fácil de apresentar, e tudo o que vem depois passa a tratar esse valor como se fosse conhecido. Uma previsão que incluísse a sua própria confiança e declarasse claramente que partes assentavam em medições sólidas e quais dependiam de sinais modelados ou inferidos seria menos confortável e muito mais útil.

A IA pode ajudar em tudo isto, já agora. É boa a manter a base de evidências, a sinalizar quando uma suposição subjacente a uma projeção se alterou e a realizar o trabalho fastidioso de manter uma visão atualizada. O que não deveria fazer é fabricar uma falsa precisão no final de uma cadeia de dados de entrada fracos, que é, infelizmente, a maior parte daquilo que as pessoas a vendem para fazer nesta fase do ciclo.

Os pensamentos de Jon

A eficiência e a diferenciação estão atualmente em conflito, pelo que cada líder tem de escolher deliberadamente uma proporção, porque a proporção predefinida não é neutra.

Porque é que os modelos generativos obrigam a escolher entre diferenciação e eficiência

Eis outro problema. Os modelos generativos não inventam nada; produzem o resultado estatisticamente mais provável com base nos seus dados de treino, o que significa que reproduzem convenções dominantes e aproximam tudo de uma média comum.

A eficiência e a diferenciação estão atualmente em conflito, pelo que cada líder tem de escolher deliberadamente uma proporção, porque a proporção predefinida não é neutra.

Como devem ser unificadas e medidas as tarefas de receitas e marketing

Na maioria das empresas, uma equipa é responsável pelo anúncio, enquanto outra equipa é responsável pela página, pela demonstração ou pela primeira conversa. Ambas as equipas são avaliadas e tendem a ter bons resultados. Ninguém é responsável pela ligação entre elas, precisamente o ponto onde a intenção se perde. Consequentemente, cada função reporta um trimestre sólido, enquanto o tecido de ligação perde o cliente.

Aproximadamente metade das organizações afirma existir um desalinhamento na passagem entre marketing e vendas, com campanhas desenvolvidas de forma isolada e vendedores a tomarem conhecimento das alterações de mensagens através dos potenciais clientes, em vez de o fazerem internamente. Isto parece um problema de comunicação, mas é um problema de responsabilidade.

Alterámos a forma como tratávamos o anúncio e o seu destino, encarando-os como uma única unidade, criada, publicada e medida em conjunto, em vez de dois ativos pertencentes a duas equipas. O benefício não foi apenas a conversão, mas também a interpretabilidade, porque, quando a promessa e a recompensa constituem um único objeto, é finalmente possível obter uma leitura clara do conjunto. Duas equipas a otimizar separadamente duas metades produzirão, cada uma, números que parecem bons, mas nenhum dos conjuntos dirá o que a combinação alcançou.

A pergunta equivalente para um líder de receitas é saber se a narrativa que um potencial cliente ouve do marketing sobrevive ao contacto com a primeira chamada de vendas e se alguém consegue medir essa transição de forma causal, em vez de contar a atividade de ambos os lados. Se essas coisas forem atribuídas e medidas separadamente, a IA tornará cada metade mais eficiente, ao mesmo tempo que aumenta a distância entre elas. Ter equipas mais enxutas a avançar mais depressa através de uma interface sem responsável definido é uma forma previsível de perder dinheiro enquanto todos os painéis continuam a parecer saudáveis.

Porque é que os CROs devem assumir a função objetivo em vez de a delegarem

Em suma, este é o meu conselho: assuma pessoalmente a função objetivo, em vez de a delegar ou de aceitar aquilo que a plataforma definiu por defeito.

Estes sistemas são excelentes a maximizar tudo o que especificar, o que significa que a especificação se torna a estratégia. Se o número que entrega à máquina for um indicador indireto do resultado, em vez do próprio resultado, acabará com um gráfico bonito e um negócio pior, e chegará lá mais depressa do que antes de a IA existir.

A disciplina complementar, e aquela que eu defenderia com mais veemência, consiste em saber antecipadamente que provas o convenceriam de que algo funcionou. A maioria das organizações de receitas tem uma resposta muito sofisticada para o que aconteceu e uma resposta surpreendentemente fraca para o que o causou, e a IA aumenta essa diferença porque torna a primeira resposta mais barata. Se não conseguir explicar como seria uma leitura clara antes de lançar algo, acabará por validar aquilo que os relatórios lhe devolverem.

O Inquérito da PwC aos CEO de 2026 concluiu que apenas 12% dos CEO consideraram que a IA proporcionou tanto crescimento das receitas como redução de custos, enquanto 56% ainda não tinham observado benefícios financeiros significativos. Não interpreto isto como um desempenho inferior ao esperado por parte da tecnologia; pelo contrário, é uma prova de que a maioria das organizações a direcionou para algo que não tinha definido com rigor suficiente e depois mediu os resultados de uma forma que não permitia estabelecer se a IA tinha proporcionado um valor financeiro significativo.

Acompanhe

Pode acompanhar o trabalho de Jon Chang no LinkedIn e na sua newsletter, Reflexões sobre Marketing de Crescimento.

Haverá mais entrevistas com especialistas no The CRO Club!