Vækstdirektøren siger, at den største risiko ved AI er at tro på det, dataene ser ud til at bevise

Jon Chang er vicepræsident for vækstmarketing hos MyFitnessPal. Før det omfattede hans karriere IBM Watson, Kickstarter og Klarna. Og han har arbejdet med AI, siden længe før det blev mainstream.

Vi talte med Jon for at forstå, hvordan AI ændrer annoncering. Undervejs fortalte han os, hvilke indtægtsfunktioner der har desperat brug for en AI-overhaling.

Arbejde med AI, før det påvirkede nogens P&L

Jeg hedder Jon Chang, er vicepræsident for vækstmarketing hos MyFitnessPal, og jeg fokuserer på efterspørgselssiden af forretningen i relation til indtjening. Det omfatter betalt kundeanskaffelse, konvertering i appbutikker og afstanden mellem en annonces løfte og den faktiske oplevelse, en ny bruger får ved ankomsten.

Min vej hertil omfatter IBM Watson, Kickstarter og Klarna, og jeg har undervist på NYU sideløbende med mit arbejde i virksomheder. Det første stop betyder mere, end det måske ser ud til, fordi jeg arbejdede med kommercielle AI-anvendelser på et tidspunkt, hvor diskussionerne handlede om, hvad disse systemer måske ville kunne gøre på et tidspunkt, ikke om hvad de gjorde ved nogens P&L. At se feltet bevæge sig fra den periode til den nuværende har indprentet mig en vedvarende skepsis over for tidsplaner og en vedvarende respekt for det, der faktisk bliver lanceret.

Resten af den vej førte mig til maskindrevne kanaler, længe før nogen kaldte det AI. Budgivning kom først, derefter målgruppeudvælgelse og så rotation af kreativt materiale; hvert område blev flyttet ud af menneskehænder én auktion ad gangen. Så det, der sker nu, føles ikke som et brud for mig, men snarere som den samme lange tendens, der ankommer på én gang — en helt anden oplevelse end at se en helt ny tendens opstå.

Den historie lærte mig, at automatisering er fremragende til at optimere mod korrelation, men forbliver fuldstændig ligeglad med kausalitet. Efterhånden som disse systemer blev hurtigere, blev det mere tydeligt, at inkrementalitet — spørgsmålet om, hvorvidt dine handlinger faktisk forårsagede det resultat, du hævdede — var den disciplin, ingen investerede i. Jeg mener, at det stadig er den mest undervurderede færdighed inden for vækst, og den bliver kun mere værdifuld, efterhånden som værktøjer hurtigere producerer tal, der ser overbevisende ud.

Jeg skriver om dette på Growth Marketing Musings på Substack.

En struktur, der tvinger os til at stille bedre spørgsmål

MyFitnessPal er en abonnementsvirksomhed rettet mod forbrugere, med mobilen i centrum, og konkurrerer i en kategori, hvor kundeanskaffelse næsten udelukkende afhænger af auktionsbaserede kanaler og synlighed i appbutikker.

Den struktur præger alt, fordi vi hverken håndterer en lang salgscyklus eller arbejder gennem en indkøbskomité. Afstanden fra eksponering til betalt konvertering er kort, hvilket lyder som en fordel, men i praksis fungerer mere som en begrænsning. Det betyder, at du kun får ét forsøg på hvert trin og meget lidt plads til at rette op på et svagt trin.

Det betyder også, at vi arbejder i et af de vanskeligere målingsmiljøer inden for marketing, hvilket i høj grad forklarer, hvorfor inkrementalitet er blevet central for min tænkning. Flerpunktstilskrivning bryder reelt sammen på mobilen i privatlivsbegrænsede miljøer, hvor samtykkeraterne er lave, og derfor baserer teams på dette område sig i stedet på inkrementalitetstest. Mange organisationer betragter det som en begrænsning, man må arbejde udenom, men jeg vil hævde, at det snarere er en tvingende faktor, der fører til bedre spørgsmål.

Hvordan AI ændrede annoncering

I årevis var det så dyrt at opbygge en skræddersyet landingsside til hvert annoncetema, at det meste trafik gik til én generel side. En person, der klikkede på en annonce om én ting, og en person, der klikkede på en annonce om noget andet, landede samme sted. Det betød, at annoncen udførte en omhyggelig målretning, men at landingssiden straks ophævede den indsats.

På tværs af branchen faldt omkostningerne ved at producere en variant drastisk, da værktøjer som ChatGPT og Claude blev standardværktøjer. Når en variant er billig, holder det op med at være en luksus, der skal retfærdiggøres, at matche landingssiden med løftet, og bliver i stedet det oplagte standardvalg.

Effekten er bedre dokumenteret end de fleste andre steder i vores felt. En offentliggjort analyse, der dækkede over en million annoncegrupper i Apple Ads, viste, at annoncegrupper, der pegede på en søgeordsmatchet, tilpasset produktside, genererede 23 % flere downloads end dem, der pegede på standardsiden, med det samme forbrug og de samme søgeord.

Den afgørende detalje er, hvilken form for matchning der virker. En separat porteføljeanalyse viste, at apps, der oplevede de største gevinster, segmenterede efter brugerintention snarere end efter produktfunktion. Sider, der blot var visuelt opdaterede versioner af standarden, med samme rækkefølge af skærmbilleder og samme første budskab, flyttede næsten ingenting. Det er den vigtigste læring: En sprogmodel gør det trivielt at producere fyrre versioner af en enkelt idé, men det er næsten værdiløst, medmindre arbejdet med intention kommer først.

Jeg vil tilføje — og jeg synes, at denne del ofte bliver sprunget over — at intet af dette er særlig meget værd, medmindre du kan afgøre, om ændringen forårsagede løftet. Platformens rapporterede tal for en matchet side vil næsten altid se gode ud, fordi du sender bedre trafik til en bedre oplevelse, og rapporteringen kan ikke adskille disse effekter. Den eneste måde at vide det på er at sammenligne med en kontrolgruppe, hvilket er langsommere og betydeligt mindre tilfredsstillende, men det er det eneste svar, jeg faktisk ville forsvare.

Hvor AI udmærker sig, og hvor mennesker er nødvendige

AI driver efterhånden en hel del, ikke helt efter eget valg. AI håndterer nu optimering af bud og budgetter på platformene, fordi de manuelle greb i vid udstrækning er fjernet. Derudover ligger AI's nyttige anvendelser for os i syntese, ikke produktion.

Agenter bygget på ChatGPT og Claude er fremragende til at tage store, rodede markedsoplysninger og returnere noget, en person kan ræsonnere over. Skift i efterspørgslen på kategoriniveau, konkurrencebevægelser og indsigterne fra platforme som Sensor Tower, AppTweak og Appfigures bliver langt mere anvendelige, når AI kan læse på tværs af dem og opsummere ændringer. Det forkorter afstanden mellem, at et signal opstår, og at der træffes en beslutning, og i en auktionsbaseret forretning medfører den afstand en direkte omkostning.

Tre ting hører fortsat helt klart til på den menneskelige side af skellet.

For det første vælger vi, hvad der skal testes, og hvorfor, fordi maskinen optimerer inden for et spørgsmål, men ikke har nogen holdning til, hvilket spørgsmål der er værd at stille, og det valg afgør, om noget af det andet overhovedet betyder noget.

For det andet definerer vi, hvad der tæller som en succes. Næsten alle skuffende AI-resultater, jeg har set, kan spores tilbage til et stedfortrædende mål, der forblev sundt, mens det underliggende problem ikke ændrede sig. McKinsey fandt, at 88 % af organisationerne regelmæssigt bruger AI i mindst én funktion, men kun 39 % rapporterer en målbar EBIT-effekt. Jeg vil hævde, at den forskel skyldes et definitionsproblem, ikke et adoptionsproblem.

For det tredje, og det, jeg ville holde hårdest fast i, er den kausale vurdering. Vi automatiserer ikke vores arbejde med inkrementalitet, og det ønsker jeg heller ikke. Brand- og styrkeløftstudier kører indbygget i annonceplatformene; geografiske kontrolgrupper aflæses op imod platformdata sammen med den mobile målepartner; og analysen oven på alt dette er bevidst menneskelig. At afgøre, om et resultat reelt er kausalt eller blot korreleret, kræver dømmekraft, hvor der står rigtige penge på spil. Ingen model fortæller dig, at tallet foran dig er påvirket af en konfunderende faktor, fordi et konfunderet tal ser præcis ud som et rent tal.

En indtægtsarbejdsgang fra den virkelige verden

Her er en arbejdsgang fra intention til destination og tilbage igen.

Vi begynder med at gruppere efterspørgslen omkring det, nogen forsøger at løse, i stedet for efter demografi eller den funktion, vi gerne vil tale om. Denne gruppering trækker på synlighed på kategoriniveau fra platforme til appmåling, specifikt værktøjer som Sensor Tower, AppTweak og Appfigures, eftersom de viser søgeadfærd og konkurrencebevægelser, som førstepartsdata ikke kan. Hver klynge bliver til et tema, og hvert tema får både et annoncekoncept og en tilsvarende destination, der er designet til at fortsætte det samme argument i stedet for at begynde forfra.

ChatGPT og Claude håndterer en stor del af den analytiske kerne, hvor jeg mener, at den reelle værdi ligger. Jeg vil understrege over for alle, der bygger dette, at modellen i sig selv er den mindst interessante del. En agent, der kun kan ræsonnere, er en dyr brainstormpartner, mens en agent, der er forbundet med de markedsdata og den resultatrapportering, du allerede betaler for, bliver mere som en analytiker med ubegrænset tålmodighed til gentaget arbejde. Integrationen er produktet, og det, du opnår, afhænger langt mere af, hvad du forbinder den med, end af hvilken model du vælger.

Integrationen gør også forbruget forsvarligt. Vi kører betalt kundeanskaffelse i en auktion, så hver time mellem det tidspunkt, hvor et signal opstår, og det tidspunkt, hvor der træffes en beslutning, medfører en omkostning. Hvis du opdager et skift i efterspørgslen på kategoriniveau i den uge, det sker, kan du flytte penge, mens det stadig har betydning, og det er en helt oplagt omkostningseffektiv anvendelse af teknologien, i modsætning til at producere yderligere to hundrede variationer af aktiver.

Vi holder bevidst vurderingen manuel, hvilket bringer os tilbage til inkrementalitet. Hver test har en minimumsgrænse for volumen, der fastsættes før lancering, og vi handler ikke på resultater under denne grænse, uanset hvor gode de ser ud. Hvis du kører 100 eksperimenter, hvor halvdelen har en reel effekt, og du kører dem med 10 % statistisk styrke, får du omtrent ti signifikante resultater, hvoraf cirka halvdelen er falske. Blot ved at øge styrken falder andelen af falske opdagelser fra 50 % til 11 % uden andre ændringer.

Ud over bundniveauet valideres alt, hvad vi har til hensigt at skalere meningsfuldt, kausalt frem for ud fra platformenes rapporterede resultater, fordi platformen både har alle incitamenter og strukturelle grunde til at levere et flatterende tal. Denne validering kommer fra løftestudier, der gennemføres direkte i kanalerne, samt fra geografiske kontrolgrupper, der analyseres op imod platform- og mobilmålingsdata. Målingen sker direkte i kanalerne, analysen er ikke automatiseret, og jeg mener, at den forskel vil få større betydning med tiden. Alt, hvad der sker før aflæsningen, bliver hurtigere hvert kvartal, hvilket betyder, at aflæsningen skal forblive konsekvent.

Hvordan AI kan øge læringstempoet, men gøre læringen upålidelig

Den største fordel ved AI er tempoet. Idéer, der tidligere blev liggende i en opgavekø i et kvartal, bliver nu udviklet og evalueret i løbet af én enkelt cyklus. Dette forstærkes over tid, eftersom hvor hurtigt du lærer, i høj grad afhænger af, hvor hurtigt du kan teste.

De dårlige resultater kommer i to former, hvor den anden er mere interessant.

Den første er ligetil, og jeg har allerede berørt den. Vi kørte en kampagne, hvor tallene øverst i tragten så stærke ud, men konverteringen længere nede bevægede sig i den modsatte retning. Systemerne havde gjort præcis det, vi bad dem om. Vi havde bedt om det forkerte, hvilket er en fejl i definitionen af målet snarere end en AI-fejl, selvom det blev udført med usædvanlig effektivitet.

Den anden er, at hastighed forstærker dine eksisterende erkendelsesmæssige vaner. Hvis din standardfortolkning af resultater er korrelativ — og det er den for de fleste teams — så skaber hurtigere testning ikke hurtigere læring. Den skaber en hurtigere ophobning af ting, som du tror på uden tilstrækkelig grund. Adobes offentliggjorte vejledning om testning fremhæver et beslægtet forhold og bemærker, at marketingfolk giver et bemærkelsesværdigt stort antal tests for lidt statistisk styrke. Hvis du bliver ved, kan falske positive resultater ende med at matche eller overstige ægte positive resultater. Overvej, hvad der sker, når antallet af varianter stiger, og trafikken pr. variant falder. Du får ikke flere vindere; du får flere ting, der overbevisende ligner vindere.

Så grundlæggende øgede AI vores læringstempo og øgede samtidig vores byrde med at bevise, at det, vi havde lært, var virkeligt.

Hvorfor AI har svært ved kundekontekst og tillid

Disse systemer har svært ved det, fordi de ikke har adgang til »hvorfor«, som indeholder størstedelen af informationen i en forretning baseret på forbrugerabonnementer.

To personer kan søge på det samme udtryk, klikke på den samme annonce og ankomme med helt forskellige motiver, men dataene skelner ikke mellem dem. En model, der læser adfærdssignaler, grupperer dem selvsikkert sammen, fordi de er identiske på alle målbare dimensioner. Grupperingen er korrekt, men konklusionen, der drages ud fra den, kan stadig være forkert. Dette er en særligt ubehagelig fejltilstand, fordi der ikke er nogen fejl at opdage.

Et eksempel er markedsanalyse, hvor agenter har produceret rene, plausible og velargumenterede fortællinger om en ændring i kategorien — opsummeringer, der lyder, som om en dygtig analytiker har skrevet dem. Den underliggende bevægelse viste sig imidlertid at være et artefakt: en ændring i rapporteringen, et sæsonmønster eller en definitionsændring i den måde, noget blev talt på. Fortællingen var sammenhængende, fordi modellen er fremragende til at opbygge sammenhængende fortællinger, men sammenhæng er ikke nøjagtighed. Det, der gjorde den farlig snarere end blot forkert, var dens færdige og overbevisende lyd.

Det er i én sætning tillidsproblemet. Disse systemer registrerer ikke usikkerhed. En konklusion, der er draget på baggrund af tyndt evidensgrundlag, bliver leveret i samme tone som en, der er draget på baggrund af solid dokumentation. En menneskelig analytiker ville have taget forbehold, bemærket mærkelige data eller undersøgt noget, før det blev skrevet. Modellen skriver det bare.

Abonnementsversionen af problemet er endnu vanskeligere. Når nogen opsiger, ser hændelsen identisk ud, uanset om de ikke fik det, de kom efter, eller om de fik fuldt udbytte og gik videre. Det er modsatrettede resultater med samme datasignatur, og ingen mængde modellering kan adskille dem, fordi forskellen udelukkende ligger i en kontekst, som systemet aldrig havde adgang til.

Hvorfor prognoser kræver et nyt AI-design

Instinktet er at gøre prognoser mere præcise ved at anvende bedre modeller, og jeg mener, at det er den forkerte AI-omlægning. Gartner angiver, at andelen af salgsorganisationer, der opnår en prognosenøjagtighed på 90 % eller derover, er 7 %, og dette tal har været bemærkelsesværdigt stabilt i mange år trods enorme investeringer i værktøjer. Når et problem modstår så mange penge og så meget teknologi, er det normalt et tegn på, at problemet er blevet formuleret forkert, snarere end at løsningerne var for svage.

Fejlen i problemformuleringen består i at behandle prognoser som et forudsigelsesproblem, selv om det i virkeligheden er et beslutningsproblem. Det, en omsætningsansvarlig har brug for, er ikke et mere præcist tal for næste kvartal, men et forsvarligt svar på, hvad vedkommende bør gøre anderledes i denne uge. De to ting hænger sammen, men de er ikke det samme spørgsmål, og det andet er langt mere håndterbart. Du kan gennemføre et eksperiment, der fortæller dig, om en ændring forårsagede et resultat. Du kan ikke gennemføre et eksperiment, der fortæller dig, hvordan verden ser ud om halvfems dage.

Derfor vil jeg argumentere for en omlægning, der flytter tyngdepunktet fra forudsigelse til kausale beviser. I stedet for at bede en model om at interpolere fremtiden ud fra et forringet signal bør du spørge, hvad du kan holde ude, hvad du kan teste, og hvilket resultat der ville ændre din allokering. Det skaber mindre imponerende resultater og betydeligt bedre beslutninger. Det fejler også ærligt, fordi en uafgørende test fortæller dig, at den var uafgørende, mens en dårlig prognose ikke fortæller dig noget, før kvartalet er afsluttet.

Den anden del af omlægningen er at gøre usikkerhed til et førsteklasses output i stedet for at fjerne den, før tallet når frem til ledelsen. De fleste prognoseprocesser sammenfatter et bredt interval til ét tal, fordi ét tal er lettere at præsentere, hvorefter alt efterfølgende behandler tallet, som om det var kendt. En prognose, der medtog sin egen sikkerhed og klart angav, hvilke dele der byggede på solide målinger, og hvilke der byggede på modellerede eller udledte signaler, ville være mindre behagelig og langt mere nyttig.

AI kan i øvrigt hjælpe med alt dette. Den er god til at vedligeholde evidensgrundlaget, markere, når en antagelse, der ligger til grund for en projektion, har ændret sig, og udføre det kedelige arbejde med at holde et aktuelt billede ved lige. Den bør ikke fremstille falsk præcision ved afslutningen af en kæde af svage input, hvilket desværre er det meste af det, folk sælger den til at gøre på dette tidspunkt i livscyklussen.

Jons tanker

Effektivitet og differentiering arbejder i øjeblikket mod hinanden, så enhver leder må vælge et forhold med fuldt overlæg, fordi standardforholdet ikke er neutralt.

Hvorfor generative modeller tvinger dig til at vælge mellem differentiering og effektivitet

Her er et andet problem. Generative modeller opfinder ikke noget; de producerer det statistisk mest sandsynlige output baseret på deres træningsdata, hvilket betyder, at de gengiver dominerende konventioner og trækker alt hen imod et fælles gennemsnit.

Effektivitet og differentiering arbejder i øjeblikket mod hinanden, så enhver leder må vælge et forhold med fuldt overlæg, fordi standardforholdet ikke er neutralt.

Sådan skal omsætnings- og markedsføringsopgaver samles og måles

I de fleste virksomheder ejer ét team annoncen, mens et andet team ejer siden, demonstrationen eller den første samtale. Begge teams bliver målt og klarer sig typisk fint. Ingen ejer overgangen mellem dem, og det er netop dér, intentionen går tabt. Derfor rapporterer alle funktioner et solidt kvartal, mens det bindende led mister kunden.

Omtrent halvdelen af organisationerne rapporterer om manglende koordinering ved overleveringen mellem marketing og salg, hvor kampagner bliver udviklet isoleret, og sælgerne hører om ændringer i budskaber fra potentielle kunder i stedet for internt. Det ligner et kommunikationsproblem, men det er et ejerskabsproblem.

Vi ændrede vores måde at behandle annoncen og dens destination på og betragtede dem som én samlet enhed, der blev udviklet, lanceret og målt sammen, i stedet for som to aktiver, der tilhørte to teams. Fordelen var ikke kun konvertering, men også fortolkelighed, fordi du endelig kan foretage en ren analyse af helheden, når løftet og udbyttet er ét objekt. To teams, der optimerer hver sin halvdel separat, vil hver især skabe tal, der ser fine ud, men ingen af datasættene vil fortælle dig, hvad kombinationen gjorde.

Det tilsvarende spørgsmål for en omsætningsansvarlig er, om den historie, en potentiel kunde hører fra marketing, holder ved det første salgsopkald, og om nogen kan måle denne overgang kausalt i stedet for blot at tælle aktiviteter på begge sider af den. Hvis disse ting ejes og måles separat, vil AI gøre hver halvdel mere effektiv, samtidig med at afstanden mellem dem bliver større. At have slankere teams, der bevæger sig hurtigere på tværs af en grænse, som ingen ejer, er en forudsigelig måde at tabe penge på, mens alle dashboards fortsat ser sunde ud.

Hvorfor CRO'er selv skal eje målfunktionen i stedet for at uddelegere den

Overordnet set er mit råd følgende: Ej selv målfunktionen i stedet for at uddelegere den eller overtage det, platformen som standard har valgt.

Disse systemer er fremragende til at maksimere det, du angiver, hvilket betyder, at specifikationen bliver strategien. Hvis det tal, du giver maskinen, er en stedfortræder for resultatet i stedet for selve resultatet, ender du med et flot diagram og en dårligere forretning, og du når dertil hurtigere end før AI fandtes.

Den ledsagende disciplin, og den jeg ville lægge størst vægt på, er på forhånd at vide, hvilken evidens der ville overbevise dig om, at noget virkede. De fleste omsætningsorganisationer har et meget sofistikeret svar på, hvad der skete, og et overraskende svagt svar på, hvad der forårsagede det, og AI udvider dette gab, fordi det gør den første type svar billigere. Hvis du ikke kan beskrive, hvordan en entydig aflæsning ville se ud, før du lancerer, ender du med at godkende det, som rapporteringen giver dig tilbage.

PwC's CEO-undersøgelse fra 2026 viste, at kun 12 % af CEO'erne så AI levere både omsætningsvækst og omkostningsreduktion, mens 56 % endnu ikke havde set nogen meningsfuld økonomisk gevinst. Jeg opfatter ikke dette som et tegn på, at teknologien leverer under forventning; snarere er det et bevis på, at de fleste organisationer rettede den mod noget, de ikke havde defineret tilstrækkeligt præcist, og derefter målte det på en måde, der ikke kunne fastslå, om AI havde leveret meningsfuld økonomisk værdi.

Følg med

Du kan følge Jon Changs arbejde på LinkedIn og i hans nyhedsbrev, Overvejelser om vækstmarketing.

Der kommer flere ekspertinterviews på The CRO Club!