Visepresidenten for vekst sier at den største risikoen med KI er å tro på det dataene ser ut til å bevise

Jon Chang er VP for vekstmarkedsføring hos MyFitnessPal. Før dette strakte karrieren hans seg over IBM Watson, Kickstarter og Klarna. Og han har jobbet med AI siden lenge før det ble allemannseie.

Vi snakket med Jon for å forstå hvordan AI endrer annonsering. Underveis fortalte han oss hvilke inntektsfunksjoner som desperat trenger en AI-overhaling.

Jobbet med AI før det påvirket noens P&L

Jeg heter Jon Chang, er VP for vekstmarkedsføring hos MyFitnessPal, og fokuserer på etterspørselssiden av inntektsvirksomheten. Dette omfatter betalt brukeranskaffelse, konvertering i appbutikken og gapet mellom det en annonse lover, og den faktiske opplevelsen en ny bruker får når vedkommende kommer inn.

Veien min hit går via IBM Watson, Kickstarter og Klarna, og jeg har undervist ved NYU parallelt med arbeidet mitt i virksomhetene. Det første stoppet betyr mer enn det kanskje kan se ut til, fordi jeg jobbet med kommersielle AI-applikasjoner på et tidspunkt da diskusjonene handlet om hva disse systemene kanskje ville gjøre en dag, ikke om hva de gjorde med noens P&L. Å se fagfeltet bevege seg fra den perioden til dagens situasjon har gitt meg en varig skepsis til tidslinjer og en varig respekt for det som faktisk blir lansert.

Resten av denne veien førte meg til maskindrevne kanaler lenge før noen kalte det AI. Budgivning kom først, deretter målgruppeutvelgelse og så rotasjon av kreativt innhold; hvert område ble flyttet ut av menneskehender, én auksjon om gangen. Derfor føles ikke det som skjer nå som et brudd for meg, men snarere som at den samme lange trenden kommer på én gang — en genuint annerledes opplevelse enn å se en helt ny trend oppstå.

Denne historien lærte meg at automatisering er fremragende til å optimalisere mot korrelasjon, men fortsatt er fullstendig likegyldig til årsakssammenheng. Etter hvert som disse systemene akselererte, ble det tydeligere at inkrementalitet — spørsmålet om hvorvidt handlingene dine faktisk forårsaket resultatet du hevdet — var disiplinen ingen investerte i. Jeg mener fortsatt at dette er den mest undervurderte ferdigheten innen vekst, og den blir bare mer verdifull etter hvert som verktøy produserer tall som ser overbevisende ut, stadig raskere.

Jeg skriver om dette på Growth Marketing Musings på Substack.

En struktur som tvinger frem bedre spørsmål

MyFitnessPal er en forbrukerrettet abonnementsvirksomhet, først og fremst mobilbasert, og konkurrerer i en kategori der brukeranskaffelsen nesten utelukkende er avhengig av auksjonsbaserte kanaler og oppdagelse i appbutikker.

Denne strukturen former alt, fordi vi ikke håndterer en lang salgssyklus eller jobber gjennom en innkjøpskomité. Avstanden fra visning til betalt konvertering er kort, noe som høres ut som en fordel, men i praksis fungerer mer som en begrensning. Det betyr at du får ett forsøk på hvert trinn og svært lite rom til å rette opp et svakt trinn.

Det betyr også at vi opererer i et av de vanskeligere målingsmiljøene innen markedsføring, noe som i stor grad forklarer hvorfor inkrementalitet har blitt sentralt i måten jeg tenker på. Flerpunktsattribusjon bryter faktisk sammen på mobil i personvernbegrensede omgivelser der samtykkeraten er lav, og derfor støtter team i dette området seg i stedet på inkrementalitetstesting. Mange organisasjoner behandler dette som en begrensning de må omgå, mens jeg vil hevde at det snarere er en drivkraft som tvinger frem bedre spørsmål.

Hvordan AI endret annonsering

I årevis var det så dyrt å bygge et skreddersydd mål for hvert annonsetema at mesteparten av trafikken gikk til én generell side. En person som klikket på en annonse om én ting, og en person som klikket på en annonse om noe annet, havnet på samme sted. Det betydde at annonsen utførte målrettingen nøye, men at målsiden umiddelbart opphevet denne innsatsen.

På tvers av bransjen kollapset kostnaden ved å produsere en variant da verktøy som ChatGPT og Claude ble standardverktøy. Når en variant er billig, slutter det å være en luksus man må forsvare å tilpasse målsiden til løftet, og blir i stedet det åpenbare utgangspunktet.

Effekten er bedre dokumentert enn de fleste andre ting i fagfeltet vårt. En publisert analyse som omfattet over én million annonsegrupper i Apple Ads, fant at annonsegrupper som pekte til en søkeordstilpasset, egendefinert produktside, ga 23 % flere nedlastinger enn de som pekte til standardsiden, med samme forbruk og søkeord.

Den viktige detaljen er hva slags tilpasning som fungerer. En separat porteføljeanalyse fant at apper som oppnådde de største gevinstene, segmenterte etter brukerintensjon snarere enn etter produktfunksjon. Sider som bare var visuelt oppdaterte versjoner av standarden, med samme rekkefølge på skjermbildene og samme første krok, flyttet knapt nålen. Dette er den viktigste lærdommen: En språkmodell gjør det trivielt å produsere førti versjoner av én enkelt idé, men det er nesten verdiløst med mindre arbeidet med intensjon kommer først.

Jeg vil legge til — og jeg tror denne delen ofte blir hoppet over — at ingenting av dette er særlig verdifullt med mindre du kan avgjøre om endringen faktisk forårsaket løftet. Plattformrapporterte tall for en tilpasset side vil nesten alltid se gode ut, fordi du sender bedre trafikk til en bedre opplevelse, og rapporteringen kan ikke skille disse effektene fra hverandre. Den eneste måten å vite det på er å sammenligne med en kontrollgruppe. Det går saktere og er betydelig mindre tilfredsstillende, men det er det eneste svaret jeg faktisk ville stått inne for.

Der AI utmerker seg, og der mennesker er nødvendige

AI driver ganske mye på dette tidspunktet, ikke helt frivillig. AI håndterer nå bud- og budsjettoptimalisering i plattformene fordi manuelle styringsmuligheter i stor grad er fjernet. Utover dette ligger nyttige bruksområder for AI for oss i sammenstilling, ikke produksjon.

Agenter bygget på ChatGPT og Claude utmerker seg ved å ta stor, uoversiktlig markedsinformasjon og returnere noe en person kan resonnere rundt. Endringer i etterspørselen i kategorien, konkurransebevegelser og innsikten fra plattformer som Sensor Tower, AppTweak og Appfigures blir langt mer anvendelige når AI kan lese på tvers av dem og oppsummere endringer. Dette forkorter avstanden mellom at et signal oppstår og at en beslutning tas, og i en auksjonsbasert virksomhet medfører denne avstanden en direkte kostnad.

Tre ting forblir tydelig på menneskenes side av grensen.

For det første velger vi hva som skal testes, og hvorfor, fordi maskinen optimaliserer innenfor et spørsmål, men ikke har noen oppfatning av hvilket spørsmål det er verdt å stille, og dette valget avgjør om noe annet i det hele tatt betyr noe.

For det andre definerer vi hva som teller som en seier. Nesten alle skuffende AI-resultater jeg har sett, kan spores tilbake til et stedfortredende mål som forble sunt, mens det underliggende problemet ikke endret seg. McKinsey fant at 88 % av organisasjonene regelmessig bruker AI i minst én funksjon, men bare 39 % rapporterer en målbar EBIT-effekt. Jeg vil hevde at dette gapet skyldes et definisjonsproblem, ikke et adopsjonsproblem.

For det tredje, og det jeg ville holdt aller sterkest fast ved, er den kausale tolkningen. Vi automatiserer ikke arbeidet vårt med inkrementalitet, og det ønsker jeg heller ikke å gjøre. Studier av merkevare- og effektløft kjøres direkte i annonseplattformene; geografiske kontrollgrupper analyseres mot plattformdata sammen med den mobile målepartneren; og analysen oppå alt dette er bevisst menneskelig. Å avgjøre om et resultat faktisk er kausalt eller bare korrelert, krever skjønn når reelle penger står på spill. Ingen modell vil fortelle deg at tallet foran deg er påvirket av en konfunderende faktor, fordi et slikt tall ser helt likt ut som et rent tall.

En inntektsarbeidsflyt fra virkeligheten

Her er en arbeidsflyt fra intensjon til destinasjon og tilbake igjen.

Vi begynner med å gruppere etterspørselen rundt det noen prøver å løse, i stedet for etter demografi eller den funksjonen vi ønsker å diskutere. Denne grupperingen bygger på synlighet på kategorinivå fra måleplattformer for apper, spesielt verktøy som Sensor Tower, AppTweak og Appfigures, siden disse viser søkeatferd og konkurransebevegelser som førstepartsdata ikke kan vise. Hver gruppe blir et tema, og hvert tema får både et annonsekonsept og en tilpasset destinasjon utformet for å videreføre det samme argumentet i stedet for å starte på nytt.

ChatGPT og Claude håndterer mye av den analytiske kjernen, som jeg mener er der den virkelige verdien ligger. Jeg vil understreke overfor alle som bygger dette, at modellen i seg selv er den minst interessante delen. En agent som bare kan resonnere, er en dyr idémyldringspartner, mens en agent som er koblet til markedsdataene og resultatrapporteringen du allerede betaler for, blir mer som en analytiker med ubegrenset tålmodighet for repetitivt arbeid. Integrasjonen er produktet, og det du oppnår, avhenger langt mer av hva du kobler den til, enn av hvilken modell du velger.

Integrasjonen gjør også kostnadene forsvarlige. Vi driver betalt kundeanskaffelse i en auksjon, så hver time mellom at et signal oppstår og at en beslutning tas, medfører en kostnad. Å avdekke en endring i etterspørselen i en kategori i samme uke som den skjer, lar deg flytte penger mens det fortsatt har betydning, og det er en åpenbart kostnadseffektiv bruk av teknologien, i motsetning til å produsere ytterligere to hundre variasjoner av materiell.

Vi holder bevisst tolkningen manuell, noe som bringer oss tilbake til inkrementalitet. Hver test har en minstegrense for volum som fastsettes før lansering, og vi handler ikke på resultater under denne grensen, uansett hvor gode de ser ut. Hvis du gjennomfører 100 eksperimenter der halvparten har en reell effekt, og du gjennomfører dem med 10 % styrke, får du omtrent ti signifikante resultater, hvorav omtrent halvparten er falske. Bare det å øke styrken reduserer andelen falske oppdagelser fra 50 % til 11 %, uten andre endringer.

Utover gulvet valideres alt vi har til hensikt å skalere betydelig, kausalt snarere enn mot plattformrapportert ytelse, fordi plattformen har både insentiver og strukturelle grunner til å oppgi et smigrende tall. Denne valideringen kommer fra løftestudier som gjennomføres innebygd i kanalene, og fra geografiske kontrollgrupper som analyseres mot plattform- og mobilmåledata. Målingen er innebygd, analysen er ikke automatisert, og jeg tror dette skillet vil bli viktigere over tid. Alt som skjer før avlesningen, blir raskere for hvert kvartal, noe som betyr at selve avlesningen må forbli konsistent.

Hvordan KI kan øke læringstakten, men gjøre læringen upålitelig

Den største fordelen med KI er tempo. Ideer som tidligere ble liggende i et etterslep i et kvartal, blir nå utviklet og analysert i løpet av én enkelt syklus. Dette forsterkes over tid, ettersom hvor raskt du lærer i stor grad avhenger av hvor raskt du kan teste.

De dårlige resultatene kommer i to former, og den andre er mer interessant.

Den første er enkel, og jeg har allerede vært inne på den. Vi kjørte en kampanje der tallene øverst i trakten så sterke ut, men konverteringen lenger ned i trakten beveget seg i motsatt retning. Systemene hadde gjort nøyaktig det vi ba dem om. Vi hadde bedt om feil ting, noe som er en feil i målformuleringen snarere enn en KI-feil, selv om det ble gjennomført med uvanlig høy effektivitet.

Den andre er at hastighet forsterker dine eksisterende erkjennelsesvaner. Hvis din standardtolkning av resultater er korrelasjonell – og det gjelder de fleste team – fører ikke raskere testing til raskere læring. Det fører til raskere opphopning av ting du tror på uten tilstrekkelig grunnlag. Adobes publiserte veiledning for testing peker på noe lignende og påpeker at markedsførere underdimensjonerer et bemerkelsesverdig stort antall tester. Hvis du fortsetter med det, kan falske positiver ende opp med å konkurrere med eller overstige ekte positiver. Tenk på hva som skjer når antallet varianter øker og trafikken per variant faller. Du får ikke flere vinnere; du får flere ting som overbevisende ligner på vinnere.

Så i praksis økte KI læringstakten vår og økte samtidig kravet om å bevise at det vi hadde lært, faktisk var reelt.

Hvorfor KI har problemer med kundekontekst og tillit

Disse systemene har problemer fordi de ikke har tilgang til «hvorfor», som utgjør mesteparten av informasjonen i en abonnementsbasert forbrukervirksomhet.

To personer kan søke etter det samme begrepet, klikke på den samme annonsen og komme med helt forskjellige motiver, men dataene skiller ikke mellom dem. En modell som leser atferdssignaler, grupperer dem selvsikkert sammen fordi de er identiske på alle målbare dimensjoner. Grupperingen er korrekt, men konklusjonen som trekkes fra den, kan likevel være feil. Dette er en spesielt ubehagelig feilmåte fordi det ikke finnes noen feil å oppdage.

For eksempel har agenter innen markedsanalyse produsert ryddige, plausible og velargumenterte fortellinger om en endring i kategorien – sammendrag som høres ut som om de er skrevet av en dyktig analytiker. Den underliggende bevegelsen viste seg imidlertid å være en artefakt: en endring i rapporteringen, et sesongmønster eller en definisjonsendring i hvordan noe ble talt. Fortellingen var sammenhengende fordi modellen er svært god til å bygge sammenhengende fortellinger, men sammenheng er ikke det samme som nøyaktighet. Det som gjorde dette farlig, snarere enn bare feil, var hvor ferdig og overbevisende det hørtes ut.

Det er tillitsproblemet oppsummert i én setning. Disse systemene registrerer ikke usikkerhet. En konklusjon basert på et tynt datagrunnlag kommer tilbake i samme tone som en konklusjon basert på solide bevis. En menneskelig analytiker ville ha tatt forbehold, påpekt merkelige data eller kontrollert noe før det ble skrevet ut. Modellen skriver det ganske enkelt ut.

Den abonnementsspesifikke varianten byr på en enda vanskeligere utfordring. Når noen avslutter abonnementet, ser hendelsen identisk ut enten de ikke fikk det de kom for, eller de oppnådde akkurat det de ønsket og gikk videre. Dette er motsatte utfall med samme datasignatur, og ingen mengde modellering kan skille dem, fordi forskjellen utelukkende ligger i en kontekst systemet aldri hadde tilgang til.

Hvorfor prognoser trenger en KI-omforming

Instinktet er å gjøre prognoser mer nøyaktige ved å bruke bedre modeller, og jeg mener at det er feil AI-redesign. Gartner anslår at andelen salgsorganisasjoner som oppnår 90 % eller bedre prognosenøyaktighet, er 7 %, og dette tallet har holdt seg hardnakket stabilt i mange år til tross for enorme investeringer i verktøy. Når et problem motstår så store mengder penger og teknologi, er det vanligvis et tegn på at problemet ble formulert feil, snarere enn at løsningene var for svake.

Feilen i innrammingen er at man behandler prognostisering som et prediksjonsproblem, når det egentlig er et beslutningsproblem. Det en inntektsleder trenger, er ikke et mer presist tall for neste kvartal, men et forsvarlig svar på hva de bør gjøre annerledes denne uken. Dette er relaterte spørsmål, men de er ikke det samme, og det andre er langt enklere å håndtere. Du kan gjennomføre et eksperiment som forteller deg om en endring forårsaket et utfall. Du kan ikke gjennomføre et eksperiment som forteller deg hvordan verden ser ut om nitti dager.

Derfor vil jeg argumentere for et redesign som flytter tyngdepunktet fra prediksjon mot kausale bevis. I stedet for å be en modell interpolere fremtiden ut fra et svekket signal, bør du spørre hva du kan holde utenfor, hva du kan teste, og hvilket resultat som ville endre ressursfordelingen din. Det gir mindre imponerende resultater og betydelig bedre beslutninger. Det mislykkes også på en ærlig måte, fordi en uavklart test forteller deg at den var uavklart, mens en dårlig prognose ikke forteller deg noe før kvartalet er over.

Den andre halvdelen av redesignet er å gjøre usikkerhet til et førsteklasses resultat, i stedet for å fjerne den før tallet når ledelsen. De fleste prognoseprosesser komprimerer et bredt spekter til ett enkelt tall fordi ett enkelt tall er enklere å presentere, og alt nedstrøms behandler deretter dette tallet som om det var kjent. En prognose som bar med seg sin egen konfidens og tydelig oppga hvilke deler som bygget på solide målinger, og hvilke som bygget på modellert eller utledet signal, ville vært mindre behagelig og langt mer nyttig.

AI kan for øvrig hjelpe med alt dette. Det er godt egnet til å vedlikeholde kunnskapsgrunnlaget, varsle når en antakelse som ligger til grunn for en projeksjon har endret seg, og gjøre det kjedelige arbeidet med å holde et oppdatert bilde. Det bør ikke brukes til å produsere falsk presisjon på slutten av en kjede med svake inndata, noe som dessverre er det meste av det folk selger det inn som i denne delen av livssyklusen.

Jons tanker

Effektivitet og differensiering motarbeider for tiden hverandre, så alle ledere må bevisst velge et forhold mellom dem, fordi standardforholdet ikke er nøytralt.

Hvorfor generative modeller tvinger frem et valg mellom differensiering og effektivitet

Her er et annet problem. Generative modeller finner ikke opp noe; de produserer det statistisk mest sannsynlige resultatet basert på treningsdataene sine, noe som betyr at de gjengir dominerende konvensjoner og trekker alt mot et felles gjennomsnitt.

Effektivitet og differensiering motarbeider for tiden hverandre, så alle ledere må bevisst velge et forhold mellom dem, fordi standardforholdet ikke er nøytralt.

Hvordan inntekts- og markedsføringsoppgaver må samordnes og måles

I de fleste selskaper eier ett team annonsen, mens et annet team eier siden, demonstrasjonen eller den første samtalen. Begge teamene blir målt og har en tendens til å gjøre det bra. Ingen eier overgangen mellom dem, som nettopp er der intensjonen lekker ut. Følgelig rapporterer hver funksjon et solid kvartal, mens bindeleddet mister kunden.

Omtrent halvparten av organisasjonene rapporterer om manglende samsvar i overleveringen mellom markedsføring og salg, med kampanjer som bygges isolert og selgere som får vite om endringer i budskapet fra potensielle kunder i stedet for internt. Det ser ut som et kommunikasjonsproblem, men det er et eierskapsproblem.

Vi endret hvordan vi behandlet annonsen og destinasjonen den ledet til, ved å se på dem som én samlet enhet som ble utviklet, publisert og målt sammen, i stedet for som to ressurser som tilhørte to team. Fordelen var ikke bare konvertering, men også tolkbarhet, fordi du endelig kan analysere helheten på en ryddig måte når løftet og utbyttet er ett og samme objekt. To team som optimaliserer hver sin halvdel separat, vil begge produsere tall som ser fine ut, men ingen av settene vil fortelle deg hva kombinasjonen oppnådde.

Det tilsvarende spørsmålet for en inntektsleder er om historien en potensiell kunde hører fra markedsføringen, står seg i møte med den første salgssamtalen, og om noen kan måle denne overgangen kausalt i stedet for å telle aktivitet på begge sider av den. Hvis disse tingene eies og måles separat, vil AI gjøre hver halvdel mer effektiv samtidig som avstanden mellom dem øker. Å la slankere team jobbe raskere på tvers av en grense ingen eier, er en forutsigbar måte å tape penger på, mens hvert dashbord fortsatt ser sunt ut.

Hvorfor CRO-er må eie målfunksjonen i stedet for å delegere den

Alt i alt er rådet mitt dette: Ta selv eierskap til målfunksjonen i stedet for å delegere den eller arve det plattformen har satt som standard.

Disse systemene er svært gode til å maksimere det du spesifiserer, noe som betyr at spesifikasjonen blir strategien. Hvis tallet du gir maskinen, er en indikator på utfallet i stedet for selve utfallet, ender du opp med et vakkert diagram og en dårligere virksomhet, og du kommer dit raskere enn før AI eksisterte.

Den tilhørende disiplinen, og den jeg ville lagt størst vekt på, er å vite på forhånd hvilke bevis som ville overbevise deg om at noe fungerte. De fleste inntektsorganisasjoner har et svært sofistikert svar på hva som skjedde, og et overraskende svakt svar på hva som forårsaket det. AI gjør dette gapet større fordi den gjør den første typen svar billigere. Hvis du ikke kan beskrive hvordan et entydig måleresultat ville sett ut før du setter i gang, ender du med å godkjenne det rapporteringen gir deg tilbake.

PwCs CEO-undersøkelse for 2026 viste at bare 12% av toppsjefene så at AI leverte både inntektsvekst og kostnadsreduksjon, mens 56% ennå ikke hadde sett noen meningsfull økonomisk gevinst. Jeg tolker ikke dette som at teknologien leverer dårligere enn forventet; snarere er det et tegn på at de fleste organisasjoner rettet den mot noe de ikke hadde definert godt nok, og deretter målte det på en måte som ikke kunne fastslå om AI hadde levert en meningsfull økonomisk verdi.

Følg med videre

Du kan følge arbeidet til Jon Chang på LinkedIn og i nyhetsbrevet hans, Betraktninger om vekstmarkedsføring.

Flere ekspertintervjuer kommer i CRO-klubben!