Il vicepresidente della crescita afferma che il rischio maggiore dell’IA è credere a ciò che i dati sembrano dimostrare

Jon Chang è il vicepresidente del marketing della crescita presso MyFitnessPal. Prima di questo incarico, la sua carriera ha attraversato IBM Watson, Kickstarter e Klarna. E lavora con l'AI da molto prima che diventasse di uso comune.

Abbiamo parlato con Jon per capire come l'AI stia cambiando la pubblicità. Nel corso della conversazione, ci ha spiegato quali funzioni legate ai ricavi hanno un disperato bisogno di una revisione basata sull'AI.

Lavorare con l'AI prima che toccasse il P&L di qualcuno

Sono Jon Chang, vicepresidente del marketing della crescita presso MyFitnessPal, e mi concentro sul lato della domanda del business legato ai ricavi. Questo include l'acquisizione a pagamento, la conversione sul negozio di app e il divario tra la promessa di un annuncio e l'esperienza effettiva di un nuovo utente al suo arrivo.

Il mio percorso comprende IBM Watson, Kickstarter e Klarna, e ho insegnato alla NYU parallelamente al mio lavoro operativo. La prima tappa conta più di quanto possa sembrare, perché ho lavorato su applicazioni commerciali dell'AI quando le discussioni si concentravano su ciò che questi sistemi avrebbero potuto fare in futuro, non su ciò che stavano facendo al P&L di qualcuno. Aver visto il settore passare da quel periodo a quello attuale ha instillato in me uno scetticismo duraturo sulle tempistiche e un rispetto altrettanto duraturo per ciò che viene effettivamente lanciato.

Il resto di quel percorso mi ha portato verso canali gestiti dalle macchine molto prima che qualcuno li chiamasse AI. Prima sono arrivate le offerte, poi la selezione del pubblico e infine la rotazione dei contenuti creativi; ciascun elemento è passato dalle mani umane a un'asta alla volta. Quindi, ciò che sta accadendo ora non mi sembra una rottura, bensì la continuazione della stessa lunga tendenza che arriva tutta insieme — un'esperienza davvero diversa dal vedere emergere una tendenza completamente nuova.

Quella storia mi ha insegnato che l'automazione eccelle nell'ottimizzare verso la correlazione, ma rimane completamente indifferente alla causalità. Con l'accelerazione di questi sistemi, è diventato sempre più evidente che l'incrementalità — la questione se le proprie azioni abbiano effettivamente causato il risultato dichiarato — era la disciplina in cui nessuno investiva. Credo che rimanga la competenza più sottovalutata nella crescita e diventi sempre più preziosa man mano che gli strumenti producono numeri dall'aspetto convincente a una velocità sempre maggiore.

Scrivo di questo argomento su Growth Marketing Musings, su Substack.

Una struttura che impone domande migliori

MyFitnessPal è un'attività di abbonamento rivolta ai consumatori, con un approccio orientato prima di tutto ai dispositivi mobili, che opera in una categoria in cui l'acquisizione si basa quasi interamente su canali fondati sulle aste e sulla scoperta tramite negozi di app.

Questa struttura influenza ogni aspetto, perché non gestiamo un lungo ciclo di vendita né lavoriamo attraverso un comitato d'acquisto. La distanza tra l'impressione e la conversione a pagamento è breve, il che sembra un vantaggio ma funziona più come un vincolo: significa avere un solo tentativo per ogni passaggio e pochissimo margine per recuperare da uno debole.

Significa anche che operiamo in uno degli ambienti di misurazione più difficili del marketing, il che spiega in gran parte perché l'incrementalità sia diventata centrale nel mio modo di pensare. L'attribuzione multi-touch si rompe davvero nel mobile, in contesti soggetti a restrizioni sulla privacy in cui i tassi di consenso sono bassi; per questo le squadre che lavorano in questo spazio si affidano invece ai test di incrementalità. Molte organizzazioni considerano questo un limite da aggirare, mentre io sostengo che sia più vicino a un fattore abilitante che porta a porsi domande migliori.

Come l'AI ha cambiato la pubblicità

Per anni, creare una destinazione personalizzata per ogni tema pubblicitario è stato così costoso che la maggior parte del traffico veniva indirizzata verso un'unica pagina generica. Chi cliccava su un annuncio relativo a un argomento e chi cliccava su un annuncio relativo a un altro argomento arrivava nello stesso posto. Questo significava che l'annuncio svolgeva un'attenta attività di selezione mirata del pubblico, ma la destinazione vanificava immediatamente quello sforzo.

In tutto il settore, il costo di produrre una variante è crollato quando strumenti come ChatGPT e Claude sono diventati strumenti standard. Quando una variante è economica, allineare la destinazione alla promessa smette di essere un lusso da giustificare e diventa la scelta predefinita più ovvia.

L'effetto è documentato meglio di molti altri fenomeni nel nostro settore. Un'analisi pubblicata su oltre un milione di gruppi di annunci Apple Ads ha rilevato che i gruppi di annunci indirizzati a una pagina prodotto personalizzata associata alla parola chiave generavano il 23% di scaricamenti in più rispetto a quelli indirizzati alla pagina predefinita, a parità di spesa e parole chiave.

Il dettaglio fondamentale riguarda il tipo di corrispondenza che funziona. Un'analisi separata di un portafoglio ha rilevato che le app che registrano i maggiori miglioramenti segmentano in base all'intento dell'utente anziché in base alla funzionalità del prodotto. Le pagine create come versioni rinnovate visivamente della pagina predefinita, con lo stesso ordine degli screenshot e lo stesso gancio iniziale, cambiano appena. Questa è la lezione fondamentale: un modello linguistico rende banale produrre quaranta versioni della stessa idea, ma ciò vale quasi nulla se prima non si è lavorato sull'intento.

Aggiungerei — e credo che questa parte venga spesso trascurata — che nulla di tutto ciò vale molto se non si riesce a determinare se il cambiamento abbia causato l'incremento. I numeri riportati dalla piattaforma su una pagina abbinata avranno quasi sempre un aspetto positivo, perché si indirizza traffico migliore verso un'esperienza migliore, e i dati riportati non riescono a separare questi effetti. L'unico modo per saperlo è confrontare il risultato con un gruppo di controllo: è più lento e decisamente meno soddisfacente, ma è l'unica risposta che difenderei davvero.

Dove l'IA eccelle e dove è necessario l'intervento umano

A questo punto l'IA gestisce una parte significativa delle attività, non interamente per scelta. Ora l'IA si occupa dell'ottimizzazione delle offerte e del budget all'interno delle piattaforme, perché le leve manuali sono state in gran parte rimosse. Oltre a questo, le applicazioni utili dell'IA per noi riguardano la sintesi, non la produzione.

Gli agenti basati su ChatGPT e Claude eccellono nel prendere grandi quantità di informazioni di mercato disordinate e restituire qualcosa su cui una persona possa ragionare. I cambiamenti nella domanda di categoria, i movimenti della concorrenza e gli insight provenienti da piattaforme come Sensor Tower, AppTweak e Appfigures diventano molto più utilizzabili quando l'IA può leggerli trasversalmente e sintetizzare i cambiamenti. Questo riduce la distanza tra la comparsa di un segnale e il momento in cui viene presa una decisione e, in un'attività basata sulle aste, tale distanza ha un costo diretto.

Tre aspetti restano saldamente di competenza umana.

Primo, scegliamo noi cosa testare e perché, perché la macchina ottimizza all'interno di una domanda, ma non ha un'opinione su quale domanda valga la pena porre, e questa scelta determina se tutto il resto abbia importanza.

Secondo, definiamo noi cosa conta come successo. Quasi ogni risultato deludente dell'IA che ho visto riconduce a una metrica proxy rimasta sana mentre il problema sottostante non si è mosso. McKinsey ha rilevato che l'88% delle organizzazioni utilizza regolarmente l'IA in almeno una funzione, ma solo il 39% segnala un impatto misurabile sull'EBIT. Sostengo che questa differenza sia un problema di definizione, non di adozione.

Terzo, e quello a cui terrei più strenuamente, è l'interpretazione causale. Non automatizziamo il nostro lavoro sull'incrementalità, né voglio che lo facciamo. Gli studi sul brand lift e sul power lift vengono eseguiti nativamente all'interno delle piattaforme pubblicitarie; i gruppi di controllo geografici vengono analizzati rispetto ai dati della piattaforma insieme al partner di misurazione mobile; e l'analisi di tutto questo è deliberatamente umana. Decidere se un risultato sia realmente causale o semplicemente correlato richiede giudizio, con denaro reale in gioco. Nessun modello ti dirà che il numero che hai davanti è confuso da fattori esterni, perché un numero confuso appare esattamente come uno pulito.

Un flusso di lavoro per i ricavi nel mondo reale

Ecco un flusso di lavoro dall'intento alla destinazione e poi di nuovo indietro.

Iniziamo raggruppando la domanda intorno a ciò che qualcuno sta cercando di risolvere, anziché in base a dati demografici o alla funzionalità di cui vogliamo parlare. Questo raggruppamento attinge alla visibilità a livello di categoria offerta dalle piattaforme di misurazione delle app, in particolare strumenti come Sensor Tower, AppTweak e Appfigures, poiché mostrano il comportamento di ricerca e i movimenti della concorrenza che i dati proprietari non possono mostrare. Ogni gruppo diventa un tema e ogni tema riceve sia un concetto pubblicitario sia una destinazione abbinata, progettata per portare avanti la stessa argomentazione anziché ricominciare da capo.

ChatGPT e Claude gestiscono gran parte del nucleo analitico, dove credo risieda il vero valore. Sottolineerei a chiunque stia costruendo questo sistema che il modello, preso da solo, è la parte meno interessante. Un agente capace soltanto di ragionare è un partner di brainstorming costoso, mentre un agente collegato ai dati di mercato e ai report sulle performance per i quali già paghi diventa più simile a un analista con pazienza illimitata per il lavoro ripetitivo. L'integrazione è il prodotto e ciò che ottieni dipende molto più da ciò a cui lo colleghi che dal modello scelto.

L'integrazione rende inoltre la spesa difendibile. Facciamo acquisizione a pagamento in un'asta, quindi ogni ora tra la comparsa di un segnale e la presa di una decisione ha un costo. Individuare un cambiamento nella domanda di categoria nella stessa settimana in cui si verifica consente di spostare il denaro mentre è ancora utile e questo rappresenta un uso economicamente efficiente della tecnologia, a differenza della produzione di altre duecento varianti di risorse creative.

Manteniamo deliberatamente manuale l'interpretazione dei risultati, tornando così all'incrementalità. Ogni test prevede una soglia minima di volume stabilita prima del lancio e non agiamo sui risultati al di sotto di tale soglia, indipendentemente da quanto appaiano positivi. Se esegui 100 esperimenti in cui la metà ha un effetto reale e li esegui con una potenza del 10%, ottieni circa dieci risultati significativi, circa la metà dei quali è falsa. Aumentare semplicemente la potenza riduce il tasso di false scoperte dal 50% all'11%, senza apportare altre modifiche.

Oltre il piano operativo, qualsiasi iniziativa che intendiamo scalare in modo significativo viene validata causalmente anziché sulla base delle prestazioni riportate dalla piattaforma, perché la piattaforma ha tutti gli incentivi e le ragioni strutturali per fornire un dato lusinghiero. Questa validazione deriva da studi sull’incremento condotti nativamente nei canali e da gruppi di controllo geografici analizzati rispetto ai dati di misurazione della piattaforma e dei dispositivi mobili. La misurazione è nativa, l’analisi non è automatizzata e credo che questa distinzione diventerà sempre più importante nel tempo. Tutto ciò che precede la lettura diventa più veloce ogni trimestre, il che significa che la lettura deve rimanere coerente.

Come l’IA può aumentare la velocità di apprendimento, ma rendere inaffidabili gli insegnamenti

Il principale vantaggio dell’IA è la velocità. Idee che un tempo rimanevano arretrate per un trimestre ora vengono sviluppate e analizzate in un singolo ciclo. Questo effetto si amplifica nel tempo, poiché la rapidità con cui impari dipende in larga misura dalla rapidità con cui riesci a fare i test.

I risultati negativi si presentano in due forme, la seconda delle quali è più interessante.

La prima è semplice e l’ho già accennata. Abbiamo condotto una campagna in cui i numeri della parte alta del funnel sembravano solidi, ma la conversione a valle si è mossa nella direzione opposta. I sistemi avevano fatto esattamente ciò che avevamo chiesto. Avevamo chiesto la cosa sbagliata: si è trattato di un errore nella definizione dell’obiettivo, non di un errore dell’IA, anche se l’esecuzione è stata insolitamente efficiente.

La seconda è che la velocità moltiplica le abitudini epistemiche già esistenti. Se la tua lettura predefinita delle prestazioni è correlazionale — e per la maggior parte dei team lo è — allora test più rapidi non producono un apprendimento più rapido. Producono un’accumulazione più rapida di convinzioni sostenute da ragioni insufficienti. Le linee guida pubblicate da Adobe sui test sottolineano un punto correlato, osservando che i responsabili marketing assegnano una potenza statistica insufficiente a un numero sorprendente di test. Se continui a farlo, i falsi positivi possono arrivare a rivaleggiare con i veri positivi o addirittura superarli. Considera cosa succede quando aumenta il numero di varianti e diminuisce il traffico per variante. Non ottieni più vincitori; ottieni più elementi che sembrano in modo convincente dei vincitori.

In sostanza, quindi, l’IA ha aumentato la nostra velocità di apprendimento e, contemporaneamente, il nostro onere di dimostrare che ciò che avevamo appreso fosse reale.

Perché l’IA fatica a comprendere il contesto e la fiducia dei clienti

Questi sistemi hanno difficoltà perché non hanno accesso al «perché», che fornisce la maggior parte delle informazioni in un’attività basata sugli abbonamenti dei consumatori.

Due persone possono cercare lo stesso termine, fare clic sullo stesso annuncio e arrivare con motivazioni completamente diverse, eppure i dati non distinguono nulla tra loro. Un modello che legge i segnali comportamentali le raggruppa con sicurezza perché sono identiche sotto ogni dimensione misurabile. Il raggruppamento è corretto, ma la conclusione che ne viene tratta può comunque essere sbagliata. Questa è una modalità di errore particolarmente scomoda perché non c’è alcun errore da rilevare.

Ad esempio, nell’analisi di mercato, gli agenti hanno prodotto narrazioni chiare, plausibili e ben argomentate su un cambiamento nella categoria — riepiloghi che sembrano scritti da un analista competente. Tuttavia, il movimento sottostante si è rivelato un artefatto: una modifica nella reportistica, un andamento stagionale o un cambiamento definitorio nel modo in cui qualcosa veniva conteggiato. La narrazione era coerente perché il modello eccelle nella costruzione di narrazioni coerenti, ma la coerenza non equivale all’accuratezza. Ciò che l’ha resa pericolosa, anziché semplicemente sbagliata, è stato il suo tono compiuto.

Questo, in una frase, è il problema della fiducia. Questi sistemi non registrano l’incertezza. Una conclusione tratta da dati esigui viene restituita con lo stesso tono di una tratta da dati solidi. Un analista umano avrebbe usato formule più caute, segnalato dati insoliti o verificato qualcosa prima di metterlo per iscritto. Il modello lo mette semplicemente per iscritto.

La versione specifica degli abbonamenti presenta una sfida ancora più ardua. Quando qualcuno annulla l’abbonamento, l’evento appare identico sia che non abbia ottenuto ciò che cercava, sia che abbia avuto pieno successo e sia passato oltre. Si tratta di risultati opposti con la stessa firma nei dati, e nessuna quantità di modelli riesce a separarli, perché la differenza risiede interamente in un contesto che il sistema non ha mai avuto.

Perché le previsioni hanno bisogno di una riprogettazione basata sull’IA

L'istinto è rendere le previsioni più accurate applicando modelli migliori, e credo che questo sia il redesign sbagliato dell'IA. Gartner stima che la percentuale delle organizzazioni di vendita che raggiungono un'accuratezza delle previsioni pari o superiore al 90% sia del 7%, e questo numero è rimasto ostinatamente invariato per molti anni nonostante gli enormi investimenti negli strumenti. Quando un problema resiste a una quantità simile di denaro e tecnologia, di solito è un segnale che il problema è stato inquadrato in modo errato, non che le soluzioni fossero troppo deboli.

L'errore di impostazione consiste nel trattare le previsioni come un problema di predizione, quando in realtà sono un problema decisionale. Ciò di cui ha bisogno un responsabile dei ricavi non è un numero più preciso per il prossimo trimestre, ma una risposta difendibile su cosa dovrebbe fare diversamente questa settimana. Le due cose sono correlate, ma non rappresentano la stessa domanda, e la seconda è molto più gestibile. Si può condurre un esperimento che dica se un cambiamento ha causato un risultato. Non si può condurre un esperimento che dica come sarà il mondo tra novanta giorni.

Perciò, sosterrei un redesign che sposti il centro di gravità dalla predizione verso le prove causali. Invece di chiedere a un modello di interpolare il futuro a partire da segnali deteriorati, chiedetevi cosa potreste tenere da parte, cosa potreste testare e quale risultato cambierebbe la vostra allocazione. Questo produce artefatti meno impressionanti e decisioni considerevolmente migliori. Inoltre fallisce in modo onesto, perché un test inconcludente vi dice di essere inconcludente, mentre una previsione errata non vi dice nulla finché il trimestre non si conclude.

La seconda metà del redesign consiste nel rendere l'incertezza un output di primo livello, invece di eliminarla prima che il numero arrivi alla leadership. La maggior parte dei processi di previsione comprime un'ampia gamma in un'unica cifra perché una singola cifra è più facile da presentare, e tutto ciò che viene dopo tratta quella cifra come se fosse nota. Una previsione che includesse il proprio livello di confidenza e dichiarasse chiaramente quali parti si basano su misurazioni solide e quali su segnali modellati o inferiti sarebbe meno rassicurante e molto più utile.

L'AI può aiutare in tutto questo, tra l'altro. È efficace nel mantenere aggiornata la base delle evidenze, nel segnalare quando un'ipotesi alla base di una proiezione è cambiata e nello svolgere il lavoro tedioso di mantenere aggiornata una visione d'insieme. Quello che non dovrebbe fare è fabbricare una falsa precisione alla fine di una catena di input deboli, che purtroppo è la maggior parte di ciò che le persone la vendono per fare in questa fase del ciclo di vita.

I pensieri di Jon

Attualmente efficienza e differenziazione lavorano l’una contro l’altra, quindi ogni leader deve scegliere deliberatamente un rapporto, perché il rapporto predefinito non è neutrale.

Perché i modelli generativi impongono una scelta tra differenziazione ed efficienza

Ecco un altro problema. I modelli generativi non inventano nulla; producono l'output statisticamente più probabile sulla base dei dati di addestramento, il che significa che riproducono le convenzioni dominanti e spingono tutto verso una media comune.

Attualmente efficienza e differenziazione lavorano l'una contro l'altra, quindi ogni leader deve scegliere deliberatamente un rapporto, perché il rapporto predefinito non è neutrale.

Come unificare e misurare le attività relative ai ricavi e al marketing

Nella maggior parte delle aziende, un team è responsabile dell'annuncio mentre un altro team è responsabile della pagina, della demo o della prima conversazione. Entrambi i team vengono misurati e tendono a ottenere buoni risultati. Nessuno è responsabile del collegamento tra loro, che è esattamente il punto in cui l'intento si disperde. Di conseguenza, ogni funzione comunica un trimestre solido mentre il tessuto connettivo perde il cliente.

Circa la metà delle organizzazioni segnala un disallineamento nel passaggio di consegne tra marketing e vendite, con campagne sviluppate separatamente e venditori che apprendono dai potenziali clienti i cambiamenti nei messaggi invece di venirne informati internamente. Sembra un problema di comunicazione, ma è un problema di responsabilità.

Abbiamo cambiato il modo in cui consideravamo l'annuncio e la sua destinazione, trattandoli come un'unica unità sviluppata, pubblicata e misurata insieme, anziché come due risorse appartenenti a due team. Il vantaggio non è stato solo la conversione, ma anche l'interpretabilità, perché quando la promessa e il risultato sono un unico oggetto, si può finalmente effettuare una lettura chiara dell'insieme. Due team che ottimizzano separatamente due metà produrranno ciascuno numeri dall'aspetto positivo, ma nessuno dei due insiemi dirà cosa ha prodotto la combinazione.

La domanda equivalente per un responsabile dei ricavi è se la storia che un potenziale cliente ascolta dal marketing resiste al confronto con la prima chiamata di vendita e se qualcuno è in grado di misurare causalmente questa transizione, invece di limitarsi a contare le attività svolte da entrambe le parti. Se questi aspetti vengono gestiti e misurati separatamente, l'IA renderà ciascuna metà più efficiente, ampliando al contempo il divario tra loro. Avere team più snelli che si muovono più velocemente lungo una zona di confine senza un responsabile designato è un modo prevedibile per perdere denaro mentre ogni dashboard continua ad apparire in salute.

Perché i CRO devono assumersi la responsabilità della funzione obiettivo invece di delegarla

In generale, ecco il mio consiglio: assumiti personalmente la responsabilità della funzione obiettivo invece di delegarla o di accettare quella predefinita dalla piattaforma.

Questi sistemi sono eccellenti nel massimizzare qualsiasi obiettivo tu specifichi, il che significa che la specifica diventa la strategia. Se il numero che fornisci alla macchina è un indicatore indiretto del risultato invece del risultato stesso, ti ritroverai con un grafico impeccabile e un'azienda in condizioni peggiori, e ci arriverai più velocemente di quanto sarebbe stato possibile prima dell'esistenza dell'IA.

La disciplina complementare, e quella su cui insisterei maggiormente, consiste nel sapere in anticipo quali evidenze ti convincerebbero che qualcosa ha funzionato. La maggior parte delle organizzazioni che si occupano dei ricavi ha una risposta molto sofisticata alla domanda su cosa sia successo e una risposta sorprendentemente debole alla domanda su cosa lo abbia causato; l'IA amplia questo divario perché rende più economico il primo tipo di risposta. Se non sai descrivere in modo chiaro come dovrebbe apparire un risultato interpretabile prima del lancio, finirai per convalidare qualunque risultato ti restituisca la reportistica.

L'indagine di PwC sui CEO del 2026 ha rilevato che solo il 12% dei CEO ha visto l'IA generare sia una crescita dei ricavi sia una riduzione dei costi, mentre il 56% non aveva ancora osservato benefici finanziari significativi. Non interpreto questo dato come una prova che la tecnologia stia offrendo risultati inferiori alle aspettative; piuttosto, è la dimostrazione che la maggior parte delle organizzazioni l'ha indirizzata verso qualcosa che non aveva definito con sufficiente precisione e poi l'ha misurata in un modo che non poteva stabilire se l'IA avesse prodotto un valore finanziario significativo.

Segui gli aggiornamenti

Puoi seguire il lavoro di Jon Chang su LinkedIn e nella sua newsletter, Riflessioni sul marketing della crescita.

Altre interviste con esperti arriveranno su The CRO Club!