VP Growth zegt dat het grootste risico van AI is dat je gelooft wat de gegevens lijken te bewijzen

Jon Chang is de VP Marketing voor groeidoelstellingen bij MyFitnessPal. Daarvoor omvatte zijn carrière IBM Watson, Kickstarter en Klarna. En hij werkt al met AI sinds lang voordat het mainstream werd.

We spraken met Jon om te begrijpen hoe AI de reclame verandert. Onderweg vertelde hij ons welke omzetfuncties dringend een AI-transformatie nodig hebben.

Werken aan AI voordat het de winst-en-verliesrekening van iemand raakte

Ik ben Jon Chang, VP Marketing voor groeidoelstellingen bij MyFitnessPal, en ik richt me op de vraagzijde van het bedrijf als het gaat om omzet. Dit omvat betaalde acquisitie, conversie in appstores en de kloof tussen de belofte van een advertentie en de daadwerkelijke ervaring van een nieuwe gebruiker bij aankomst.

Mijn loopbaan omvat IBM Watson, Kickstarter en Klarna, en naast mijn operationele werk heb ik lesgegeven aan NYU. Die eerste halte is belangrijker dan misschien lijkt, omdat ik aan commerciële AI-toepassingen werkte in een tijd waarin de discussies gingen over wat deze systemen uiteindelijk zouden kunnen doen, niet over wat ze met iemands winst-en-verliesrekening deden. Toen ik zag hoe het vakgebied van die periode naar het heden verschoof, ontwikkelde ik een blijvend scepticisme over tijdlijnen en een blijvend respect voor wat daadwerkelijk wordt uitgebracht.

De rest van dat traject bracht me al vroeg bij door machines aangestuurde kanalen, lang voordat iemand het AI noemde. Eerst kwam bieden, daarna publieksselectie en vervolgens creatieve rotatie; elk onderdeel verdween veiling na veiling uit menselijke handen. Wat er nu gebeurt, voelt voor mij dan ook niet als een breuk, maar eerder als dezelfde langdurige trend die in één keer tot volle wasdom komt — een wezenlijk andere ervaring dan het zien ontstaan van een volledig nieuwe trend.

Die geschiedenis leerde me dat automatisering uitblinkt in optimaliseren voor correlatie, maar volledig onverschillig blijft voor causaliteit. Naarmate deze systemen sneller werden, werd het duidelijker dat incrementele impact — de vraag of je acties daadwerkelijk de uitkomst hebben veroorzaakt die je claimde — de discipline was waarin niemand investeerde. Ik geloof dat dit nog steeds de meest ondergewaardeerde vaardigheid in groei is, en dat deze alleen maar waardevoller wordt naarmate tools sneller zelfverzekerd ogende cijfers produceren.

Ik schrijf hierover op Growth Marketing Musings op Substack.

Een structuur die tot betere vragen dwingt

MyFitnessPal is een consumentenbedrijf met een abonnementsmodel, waarbij mobiel het uitgangspunt is, dat actief is in een categorie waarin acquisitie vrijwel volledig afhankelijk is van veilinggebaseerde kanalen en ontdekking via appstores.

Die structuur bepaalt alles, omdat we geen lange verkoopcyclus beheren en niet via een inkoopcommissie werken. De afstand van vertoning tot betaalde conversie is kort, wat als een voordeel klinkt maar in de praktijk meer als een beperking werkt: je krijgt bij elke stap één poging en heel weinig ruimte om te herstellen van een zwakke stap.

Het betekent ook dat we actief zijn in een van de moeilijkste meetomgevingen binnen marketing, wat grotendeels verklaart waarom incrementele impact centraal is komen te staan in mijn denken. Multi-touchattributie valt daadwerkelijk uiteen op mobiel, in privacybeperkte omgevingen waar de toestemmingspercentages laag zijn. Daarom vertrouwen teams in deze sector in plaats daarvan op tests voor incrementele impact. Veel organisaties zien dit als een beperking waar ze omheen moeten werken, maar ik zou zeggen dat het eerder een dwingende factor is die tot betere vragen leidt.

Hoe AI reclame veranderde

Jarenlang was het zo duur om voor elk advertentiethema een bestemming op maat te bouwen dat het meeste verkeer naar één algemene pagina ging. Iemand die op een advertentie over het ene onderwerp klikte en iemand die op een advertentie over een ander onderwerp klikte, kwamen op dezelfde plek terecht. Dit betekende dat de advertentie zorgvuldige targeting uitvoerde, maar dat de bestemming die inspanning onmiddellijk tenietdeed.

In de hele sector daalden de kosten voor het produceren van een variant sterk zodra tools als ChatGPT en Claude standaardtools werden. Wanneer een variant goedkoop is, is het afstemmen van de bestemming op de belofte geen luxe meer die je moet rechtvaardigen, maar de vanzelfsprekende standaard.

Het effect is in ons vakgebied beter gedocumenteerd dan de meeste andere effecten. Uit een gepubliceerde analyse van meer dan een miljoen advertentiegroepen in Apple Ads bleek dat advertentiegroepen die naar een aangepaste productpagina met een overeenkomstig zoekwoord verwezen, 23% meer downloads opleverden dan groepen die naar de standaardpagina verwezen, bij dezelfde uitgaven en zoekwoorden.

Het belangrijkste detail is welk type afstemming werkt. Uit een afzonderlijke portfolioanalyse bleek dat apps die de grootste verbeteringen zagen, segmenteerden op gebruikersintentie in plaats van op productfunctie. Pagina's die waren opgebouwd als visueel vernieuwde versies van de standaardpagina, met dezelfde volgorde van screenshots en hetzelfde eerste haakje, bewogen nauwelijks. Dit is de belangrijkste les: een taalmodel maakt het triviaal om veertig versies van één idee te produceren, maar dat is vrijwel niets waard tenzij het intentiewerk eerst komt.

Ik zou daaraan willen toevoegen — en ik denk dat dit onderdeel vaak wordt overgeslagen — dat dit allemaal weinig waard is tenzij je kunt bepalen of de verandering de stijging heeft veroorzaakt. Door platforms gerapporteerde cijfers voor een pagina met een overeenkomstige bestemming zien er bijna altijd goed uit, omdat je beter verkeer naar een betere ervaring stuurt en de rapportage die effecten niet van elkaar kan scheiden. De enige manier om het te weten is door het te vergelijken met een controlegroep. Dat is langzamer en aanzienlijk minder bevredigend, maar het is het enige antwoord dat ik daadwerkelijk zou verdedigen.

Waar AI uitblinkt en waar mensen nodig zijn

AI neemt inmiddels behoorlijk wat taken voor zijn rekening, niet volledig uit vrije keuze. AI verzorgt nu biedings- en budgetoptimalisatie binnen platforms, omdat handmatige regelknoppen grotendeels zijn verwijderd. Daarnaast liggen de nuttige toepassingen van AI voor ons in synthese, niet in productie.

Agents die zijn gebouwd op ChatGPT en Claude blinken uit in het verwerken van grote, rommelige marktinformatie en het teruggeven van iets waar een persoon over kan redeneren. Verschuivingen in de vraag binnen categorieën, bewegingen van concurrenten en de inzichten uit platforms zoals Sensor Tower, AppTweak en Appfigures worden veel bruikbaarder wanneer AI ze allemaal kan lezen en veranderingen kan samenvatten. Dit verkort de afstand tussen het verschijnen van een signaal en het nemen van een beslissing, en in een bedrijf dat op veilingen is gebaseerd, brengt die afstand directe kosten met zich mee.

Drie dingen blijven nadrukkelijk aan de menselijke kant van de grens.

Ten eerste kiezen wij wat we testen en waarom, omdat de machine binnen een vraag optimaliseert, maar geen mening heeft over welke vraag de moeite waard is om te stellen, en die keuze bepaalt of al het andere ertoe doet.

Ten tweede bepalen wij wat als een succes telt. Bij vrijwel elk teleurstellend AI-resultaat dat ik heb gezien, bleek een proxy-metriek nog steeds gezond te zijn terwijl het onderliggende probleem niet was veranderd. McKinsey ontdekte dat 88% van de organisaties AI regelmatig gebruikt in ten minste één functie, maar dat slechts 39% een meetbare impact op de EBIT rapporteert. Ik zou stellen dat die kloof een definitieprobleem is, geen adoptieprobleem.

Ten derde, en het aspect waar ik het sterkst aan zou vasthouden, is de causale interpretatie. Wij automatiseren ons werk rond incrementaliteit niet, en dat wil ik ook niet. Onderzoeken naar merk- en power-lift worden rechtstreeks binnen advertentieplatforms uitgevoerd; geo-holdouts worden afgezet tegen platformgegevens naast de mobiele meetpartner; en de analyse daarbovenop is bewust mensenwerk. Bepalen of een resultaat werkelijk causaal is of slechts gecorreleerd, vereist oordeelsvermogen waaraan echt geld verbonden is. Geen enkel model zal je vertellen dat het getal voor je vertekend is, omdat een vertekend getal er precies hetzelfde uitziet als een zuiver getal.

Een omzetworkflow uit de praktijk

Hier is een workflow van intentie naar bestemming en vervolgens weer terug.

We beginnen met het clusteren van de vraag rond wat iemand probeert op te lossen, in plaats van rond demografische kenmerken of welke functie we ook willen bespreken. Die clustering steunt op zichtbaarheid op categorieniveau vanuit app-meetplatforms, specifiek tools zoals Sensor Tower, AppTweak en Appfigures, omdat die zoekgedrag en bewegingen van concurrenten laten zien die first-partygegevens niet kunnen tonen. Elke cluster wordt een thema, en elk thema krijgt zowel een advertentieconcept als een bijpassende bestemming die is ontworpen om hetzelfde betoog voort te zetten in plaats van opnieuw te beginnen.

ChatGPT en Claude nemen een groot deel van de analytische kern voor hun rekening, waar volgens mij de echte waarde ligt. Ik zou iedereen die dit opbouwt willen benadrukken dat het model op zichzelf het minst interessante onderdeel is. Een agent die alleen kan redeneren, is een dure brainstormpartner, terwijl een agent die is verbonden met de marktgegevens en de prestatierapportages waarvoor je al betaalt, meer gaat lijken op een analist met onbeperkt geduld voor repetitief werk. De integratie is het product, en wat je bereikt hangt veel meer af van waarmee je het verbindt dan van welk model je kiest.

De integratie maakt de uitgaven ook verdedigbaar. We voeren betaalde acquisitie uit in een veiling, dus elk uur tussen het verschijnen van een signaal en het nemen van een beslissing brengt kosten met zich mee. Als je een verschuiving in de vraag binnen een categorie signaleert in de week waarin die plaatsvindt, kun je geld verplaatsen terwijl het nog verschil maakt, en dat is een duidelijk kosteneffectief gebruik van de technologie, in tegenstelling tot het produceren van nog eens tweehonderd varianten van middelen.

We houden de interpretatie bewust handmatig, wat ons terugbrengt bij incrementaliteit. Elke test heeft een minimale volumemaatstaf die vóór de lancering wordt vastgesteld, en we handelen niet op resultaten onder die grens, ongeacht hoe goed ze eruitzien. Als je 100 experimenten uitvoert waarvan de helft een werkelijk effect heeft, en je voert ze uit met een power van 10%, krijg je ongeveer tien significante resultaten, waarvan ongeveer de helft onjuist is. Alleen al door de power te verhogen, daalt het percentage fout-positieve ontdekkingen van 50% naar 11%, zonder andere wijzigingen.

Afgezien van de ondergrens wordt alles wat we daadwerkelijk op betekenisvolle schaal willen uitrollen causaal gevalideerd in plaats van afgezet tegen door het platform gerapporteerde prestaties, omdat het platform alle prikkels en structurele redenen heeft om een gunstig cijfer te presenteren. Die validatie komt uit liftstudies die native in de kanalen worden uitgevoerd en uit geografische holdouts die worden geanalyseerd aan de hand van meetgegevens van het platform en mobiele metingen. De meting is native, de analyse is niet geautomatiseerd, en ik geloof dat dat onderscheid in de loop der tijd belangrijker zal worden. Alles vóór de uitlezing wordt elk kwartaal sneller, wat betekent dat de uitlezing consistent moet blijven.

Hoe AI de leersnelheid kan verhogen, maar die lessen onbetrouwbaar kan maken

Het grootste voordeel van AI is snelheid. Ideeën die vroeger een kwartaal op een backlog bleven staan, worden nu binnen één cyclus gebouwd en uitgelezen. Dit stapelt zich in de loop der tijd op, omdat hoe snel je leert grotendeels afhangt van hoe snel je kunt testen.

De slechte resultaten doen zich in twee vormen voor, waarbij de tweede interessanter is.

De eerste is eenvoudig en ik heb die al aangestipt. We voerden een campagne uit waarbij de cijfers boven in de funnel sterk leken, maar de conversie verderop in de funnel de tegenovergestelde richting opging. De systemen hadden precies gedaan wat we hadden gevraagd. We hadden om het verkeerde gevraagd, wat een fout in de doeldefinitie was en geen AI-fout, hoewel het met ongebruikelijke efficiëntie was uitgevoerd.

De tweede is dat snelheid je bestaande epistemische gewoonten vermenigvuldigt. Als je standaardinterpretatie van prestaties correlatief is — en dat is bij de meeste teams het geval — dan leidt sneller testen niet tot sneller leren. Het leidt tot een snellere opeenstapeling van dingen die je zonder voldoende reden gelooft. De gepubliceerde testrichtlijnen van Adobe maken een vergelijkbaar punt en wijzen erop dat marketeers opmerkelijk veel tests onderbezet uitvoeren. Als je ermee doorgaat, kunnen fout-positieven uiteindelijk echte positieven evenaren of in aantal overtreffen. Bedenk wat er gebeurt wanneer het aantal varianten stijgt en het verkeer per variant daalt. Je krijgt niet meer winnaars; je krijgt meer dingen die overtuigend op winnaars lijken.

Kortom, AI verhoogde onze leersnelheid en verhoogde tegelijkertijd onze bewijslast om aan te tonen dat wat we hadden geleerd echt was.

Waarom AI moeite heeft met klantcontext en vertrouwen

Deze systemen hebben moeite omdat ze geen toegang hebben tot het 'waarom', dat de meeste informatie levert in een bedrijf met consumentenabonnementen.

Twee mensen kunnen op dezelfde term zoeken, op dezelfde advertentie klikken en met volledig verschillende motivaties aankomen, terwijl de gegevens geen onderscheid tussen hen maken. Een model dat gedragssignalen leest, brengt hen vol vertrouwen samen in één cluster omdat ze op elke meetbare dimensie identiek zijn. De clustering klopt, maar de conclusie die eruit wordt getrokken kan nog steeds verkeerd zijn. Dit is een bijzonder ongemakkelijke foutmodus, omdat er geen fout is om op te merken.

In marktanalyse hebben agents bijvoorbeeld heldere, plausibele en goed onderbouwde verhalen geproduceerd over een verschuiving binnen de categorie — samenvattingen die lezen alsof een slimme analist ze heeft geschreven. De onderliggende beweging bleek echter een artefact: een wijziging in de rapportage, een seizoenspatroon of een verschuiving in de definitie van hoe iets werd geteld. Het verhaal was coherent omdat het model uitblinkt in het opbouwen van coherente verhalen, maar coherentie is geen nauwkeurigheid. Wat het gevaarlijk maakte, in plaats van alleen maar onjuist, was de afgewerkte klank ervan.

Dat is, in één zin, het vertrouwensprobleem. Deze systemen registreren onzekerheid niet. Een conclusie die op dun bewijs is gebaseerd, wordt in dezelfde toon weergegeven als een conclusie die op sterk bewijs is gebaseerd. Een menselijke analist zou voorbehouden hebben gemaakt, vreemde gegevens hebben vermeld of iets hebben gecontroleerd voordat die het opschreef. Het model schrijft het simpelweg op.

De abonnementspecifieke versie vormt een nog moeilijkere uitdaging. Wanneer iemand opzegt, ziet de gebeurtenis er identiek uit, ongeacht of die persoon niet heeft gekregen waarvoor die kwam of volledig is geslaagd en verder is gegaan. Dit zijn tegengestelde uitkomsten met dezelfde gegevenssignatuur, en geen enkele hoeveelheid modellering kan ze van elkaar onderscheiden, omdat het verschil volledig ligt in context waarover het systeem nooit beschikte.

Waarom prognoses een AI-herontwerp nodig hebben

Het instinct is om prognoses nauwkeuriger te maken door er betere modellen tegenaan te gooien, en ik denk dat de verkeerde AI-herinrichting is. Gartner stelt dat het aandeel verkooporganisaties dat een prognosenauwkeurigheid van 90% of hoger behaalt, 7% bedraagt. Dat percentage is al jaren hardnekkig stabiel, ondanks enorme investeringen in hulpmiddelen. Wanneer een probleem zoveel geld en technologie weerstaat, is dat meestal een teken dat het probleem verkeerd is gedefinieerd, en niet dat de oplossingen te zwak waren.

De denkfout is dat prognoses worden behandeld als een voorspellingsprobleem, terwijl het in werkelijkheid een beslissingsprobleem is. Wat een omzetleider nodig heeft, is niet een preciezer getal voor het volgende kwartaal, maar een verdedigbaar antwoord op de vraag wat hij deze week anders zou moeten doen. Die twee zaken houden verband met elkaar, maar het zijn niet dezelfde vragen, en de tweede is veel beter hanteerbaar. Je kunt een experiment uitvoeren dat je vertelt of een verandering een uitkomst heeft veroorzaakt. Je kunt geen experiment uitvoeren dat je vertelt hoe de wereld er over negentig dagen uitziet.

Daarom zou ik pleiten voor een herinrichting die het zwaartepunt verschuift van voorspelling naar causaal bewijs. In plaats van een model te vragen de toekomst te interpoleren op basis van een verzwakt signaal, kun je beter vragen wat je kunt achterhouden, wat je kunt testen en welk resultaat je toewijzing zou veranderen. Dat levert minder indrukwekkende resultaten op en aanzienlijk betere beslissingen. Het faalt ook eerlijker, omdat een onduidelijke test je vertelt dat de test geen uitsluitsel gaf, terwijl een slechte prognose je niets vertelt totdat het kwartaal is afgelopen.

De tweede helft van de herinrichting bestaat uit het behandelen van onzekerheid als een volwaardige output, in plaats van die eruit te filteren voordat het getal de leiding bereikt. De meeste prognoseprocessen brengen een brede bandbreedte terug tot één cijfer, omdat één cijfer gemakkelijker te presenteren is. Vervolgens behandelt alles wat daarna komt dat cijfer alsof het vaststaat. Een prognose die haar eigen mate van zekerheid vermeldt en duidelijk aangeeft welke onderdelen gebaseerd zijn op solide metingen en welke op gemodelleerde of afgeleide signalen, zou minder comfortabel en veel nuttiger zijn.

AI kan bij dit alles overigens helpen. AI is goed in het bijhouden van de onderliggende bewijslast, het signaleren wanneer een aanname onder een prognose is veranderd en het uitvoeren van het vervelende werk om een actueel beeld te behouden. Wat AI niet zou moeten doen, is schijnprecisie produceren aan het einde van een keten met zwakke input. Helaas is dat in dit deel van de levenscyclus precies waarvoor mensen AI meestal verkopen.

Jons gedachten

Efficiëntie en differentiatie werken momenteel elkaar tegen. Daarom moet iedere leider bewust een verhouding kiezen, omdat de standaardverhouding niet neutraal is.

Waarom generatieve modellen een keuze tussen differentiatie en efficiëntie afdwingen

Er is nog een probleem. Generatieve modellen bedenken niets; ze produceren de statistisch meest waarschijnlijke output op basis van hun trainingsgegevens. Dat betekent dat ze dominante conventies reproduceren en alles naar een gemeenschappelijk gemiddelde trekken.

Efficiëntie en differentiatie werken momenteel elkaar tegen. Daarom moet iedere leider bewust een verhouding kiezen, omdat de standaardverhouding niet neutraal is.

Hoe omzet- en marketingtaken moeten worden verenigd en gemeten

Bij de meeste bedrijven beheert het ene team de advertentie, terwijl een ander team verantwoordelijk is voor de pagina, de demo of het eerste gesprek. Beide teams worden gemeten en doen het doorgaans goed. Niemand is verantwoordelijk voor de overgang ertussen, en precies daar lekt de intentie weg. Als gevolg daarvan rapporteert elke functie een sterk kwartaal, terwijl het verbindende weefsel de klant verliest.

Ongeveer de helft van de organisaties meldt een gebrekkige afstemming bij de overdracht tussen marketing en verkoop. Campagnes worden geïsoleerd opgebouwd en verkopers horen van berichtgevingswijzigingen via prospects in plaats van intern. Dat klinkt als een communicatieprobleem, maar het is een eigenaarschapsprobleem.

We veranderden de manier waarop we naar de advertentie en de bestemmingspagina keken: we behandelden ze als één geheel dat samen werd ontwikkeld, gepubliceerd en gemeten, in plaats van als twee middelen die bij twee teams hoorden. Het voordeel was niet alleen een hogere conversie, maar ook een betere interpreteerbaarheid. Wanneer de belofte en de opbrengst één object vormen, kun je eindelijk een zuivere analyse van het paar uitvoeren. Twee teams die afzonderlijk twee helften optimaliseren, produceren allebei cijfers die er goed uitzien, maar geen van beide sets vertelt je wat de combinatie heeft gedaan.

De equivalente vraag voor een omzetverantwoordelijke is of het verhaal dat een prospect van marketing hoort, standhoudt tijdens het eerste verkoopgesprek, en of iemand die overgang causaal kan meten in plaats van aan beide kanten ervan alleen de activiteit te tellen. Als die zaken afzonderlijk worden beheerd en gemeten, zal AI beide helften efficiënter maken en tegelijkertijd de kloof ertussen vergroten. Leanere teams sneller laten werken over een grensvlak waarvoor niemand verantwoordelijkheid draagt, is een voorspelbare manier om geld te verliezen terwijl elk dashboard gezond blijft lijken.

Waarom CRO's zelf verantwoordelijk moeten zijn voor de doelfunctie in plaats van die te delegeren

In het algemeen is mijn advies als volgt: neem zelf de verantwoordelijkheid voor de doelfunctie in plaats van die te delegeren of genoegen te nemen met wat het platform standaard instelt.

Deze systemen zijn uitstekend in het maximaliseren van wat je ook maar specificeert, wat betekent dat de specificatie de strategie wordt. Als het getal dat je de machine meegeeft een surrogaat is voor de uitkomst in plaats van de uitkomst zelf, eindig je met een prachtige grafiek en een slechter bedrijf, en bereik je dat sneller dan voordat AI bestond.

De bijbehorende discipline, en degene waar ik het sterkst op zou aandringen, is vooraf weten welk bewijs je ervan zou overtuigen dat iets heeft gewerkt. De meeste omzetorganisaties hebben een zeer geavanceerd antwoord op de vraag wat er is gebeurd en een verrassend zwak antwoord op de vraag wat het heeft veroorzaakt, en AI vergroot die kloof omdat het het eerste soort antwoord goedkoper maakt. Als je niet vóór de lancering kunt verwoorden hoe een zuivere meting eruit zou zien, zul je uiteindelijk alles bevestigen wat de rapportage je voorschotelt.

Uit de CEO-enquête van PwC uit 2026 bleek dat slechts 12% van de CEO's zag dat AI zowel omzetgroei als kostenreductie opleverde, terwijl 56% nog geen noemenswaardig financieel voordeel had gezien. Ik vat dat niet op als een teken dat de technologie onder de verwachtingen presteert; het is eerder bewijs dat de meeste organisaties AI hebben gericht op iets wat ze niet zorgvuldig genoeg hadden gedefinieerd en het vervolgens op een manier hebben gemeten die niet kon vaststellen of AI betekenisvolle financiële waarde had opgeleverd.

Blijf op de hoogte

Je kunt het werk van Jon Chang volgen op LinkedIn en in zijn nieuwsbrief, Overpeinzingen over groeimarketing.

Er volgen nog meer interviews met experts op The CRO Club!