Tillväxtchefen säger att den största risken med AI är att tro på det som data verkar bevisa

Jon Chang är VP för tillväxtmarknadsföring på MyFitnessPal. Innan dess omfattade hans karriär IBM Watson, Kickstarter och Klarna. Och han har arbetat med AI sedan långt innan det blev etablerat.

Vi pratade med Jon för att förstå hur AI förändrar annonsering. Under samtalet berättade han vilka intäktsfunktioner som desperat behöver en AI-översyn.

Att arbeta med AI innan det påverkade någons P&L

Jag heter Jon Chang, är VP för tillväxtmarknadsföring på MyFitnessPal och fokuserar på efterfrågesidan av verksamhetens intäkter. Det omfattar betald kundanskaffning, konvertering i appbutiker och gapet mellan en annons löfte och den faktiska upplevelsen för en ny användare när denne anländer.

Min väg hit omfattar IBM Watson, Kickstarter och Klarna, och jag har undervisat vid NYU parallellt med mitt operativa arbete. Det första steget betyder mer än det kanske verkar, eftersom jag arbetade med kommersiella AI-tillämpningar när diskussionerna handlade om vad dessa system så småningom skulle kunna göra, inte om vad de gjorde med någons P&L. Att se branschen röra sig från den perioden till dagens läge gav mig en varaktig skepsis mot tidsplaner och en varaktig respekt för det som faktiskt lanseras.

Resten av den vägen ledde mig till maskindrivna kanaler långt innan någon kallade det AI. Budgivning kom först, därefter målgruppsval och sedan rotation av annonsmaterial; varje del flyttades ur människors händer, en auktion i taget. Så det som händer nu känns inte som ett avbrott för mig, utan snarare som att samma långsiktiga trend anländer på en gång — en genuint annorlunda upplevelse än att se en helt ny trend växa fram.

Den historien lärde mig att automatisering är utmärkt på att optimera mot korrelation, men förblir helt likgiltig inför kausalitet. När dessa system accelererade blev det allt tydligare att inkrementalitet — frågan om huruvida dina åtgärder faktiskt orsakade det resultat du hävdade — var det område som ingen investerade i. Jag anser att det fortfarande är den mest undervärderade färdigheten inom tillväxt, och den blir bara mer värdefull när verktyg producerar siffror som ser övertygande ut allt snabbare.

Jag skriver om detta på Growth Marketing Musings på Substack.

En struktur som tvingar fram bättre frågor

MyFitnessPal är en konsumentinriktad prenumerationsverksamhet med mobilen i centrum, som konkurrerar i en kategori där kundanskaffningen nästan helt bygger på auktionsbaserade kanaler och upptäckt i appbutiker.

Den strukturen formar allt, eftersom vi inte hanterar en lång säljcykel eller arbetar genom en inköpskommitté. Avståndet från visning till betald konvertering är kort, vilket låter som en fördel men i praktiken fungerar mer som en begränsning: du får ett försök i varje steg och mycket litet utrymme att återhämta dig från ett svagt sådant.

Det innebär också att vi verkar i en av de svårare mätmiljöerna inom marknadsföring, vilket till stor del förklarar varför inkrementalitet har blivit central i mitt tänkande. Attribuering över flera kontaktpunkter faller verkligen samman i mobila, integritetsbegränsade miljöer där samtyckesgraden är låg, vilket är anledningen till att team inom detta område i stället förlitar sig på inkrementalitetstester. Många organisationer ser det som en begränsning att hantera, men jag skulle hävda att det snarare är en drivande kraft som leder till bättre frågor.

Hur AI förändrade annonseringen

I flera år var det så dyrt att bygga en anpassad landningssida för varje annonstema att den mesta trafiken gick till en enda generell sida. Någon som klickade på en annons om en sak och någon som klickade på en annons om en annan sak hamnade på samma ställe. Det innebar att annonsen genomförde en noggrann målgruppsanpassning, men att landningssidan omedelbart omintetgjorde det arbetet.

I hela branschen föll kostnaden för att producera en variant när verktyg som ChatGPT och Claude blev standardverktyg. När en variant är billig slutar det att vara en lyx som måste motiveras att matcha landningssidan med budskapet och blir i stället det uppenbara standardvalet.

Effekten är bättre dokumenterad än de flesta andra inom vårt område. En publicerad analys som omfattade över en miljon annonsgrupper i Apple Ads visade att annonsgrupper som ledde till en anpassad produktsida matchad mot sökord genererade 23 % fler nedladdningar än de som ledde till standardsidan, med samma budget och sökord.

Den viktiga detaljen är vilken typ av matchning som fungerar. En separat portföljanalys visade att appar som såg de största förbättringarna segmenterade efter användarens avsikt snarare än efter produktfunktion. Sidor som byggts som visuellt uppdaterade versioner av standardsidan, med samma ordning på skärmbilderna och samma första krok, ger knappt någon förändring alls. Det här är den viktigaste lärdomen: en språkmodell gör det trivialt att producera fyrtio versioner av en enda idé, men det är nästan värdelöst om arbetet med användarens avsikt inte kommer först.

Jag skulle lägga till — och jag tror att den här delen ofta hoppas över — att inget av detta är särskilt värdefullt om du inte kan avgöra om förändringen orsakade ökningen. Plattformarnas rapporterade siffror för en matchad sida kommer nästan alltid att se bra ut eftersom du styr bättre trafik till en bättre upplevelse, och rapporteringen kan inte skilja dessa effekter åt. Det enda sättet att veta är att jämföra med en kontrollgrupp, vilket är långsammare och betydligt mindre tillfredsställande, men det är det enda svar jag faktiskt skulle kunna försvara.

Där AI utmärker sig och där människor behövs

AI driver en hel del vid det här laget, inte helt av eget val. AI hanterar nu optimering av bud och budget inom plattformarna eftersom manuella justeringar till stor del har tagits bort. Utöver det ligger AI:s användbara tillämpningar för oss i sammanställning, inte produktion.

Agenter som bygger på ChatGPT och Claude är utmärkta på att ta stora, röriga marknadsdata och återge något som en person kan resonera kring. Förändringar i efterfrågan inom kategorier, konkurrensrörelser och insikterna från plattformar som Sensor Tower, AppTweak och Appfigures blir betydligt mer användbara när AI kan läsa igenom dem och sammanfatta förändringar. Det förkortar avståndet mellan att en signal uppstår och att ett beslut fattas, och i en auktionsbaserad verksamhet medför det avståndet en direkt kostnad.

Tre saker förblir tydligt på den mänskliga sidan av gränsen.

För det första väljer vi vad som ska testas och varför, eftersom maskinen optimerar inom ramen för en fråga men inte har någon uppfattning om vilken fråga som är värd att ställa, och det valet avgör om något annat spelar roll.

För det andra definierar vi vad som räknas som ett lyckat resultat. Nästan varje nedslående AI-resultat jag har sett kan spåras tillbaka till ett proxymått som förblev stabilt medan det underliggande problemet inte förändrades. McKinsey fann att 88 % av organisationerna regelbundet använder AI inom minst en funktion, men endast 39 % rapporterar en mätbar EBIT-effekt. Jag skulle hävda att det gapet beror på ett definitionsproblem, inte ett användningsproblem.

För det tredje, och det jag skulle hålla hårdast fast vid, är den kausala tolkningen. Vi automatiserar inte vårt arbete med inkrementalitet, och det vill jag inte heller göra. Studier av varumärkes- och effektlyft genomförs direkt i annonsplattformarna; geografiska kontrollgrupper analyseras mot plattformsdata tillsammans med partnern för mobilmätning; och analysen ovanpå allt detta är medvetet mänsklig. Att avgöra om ett resultat verkligen är kausalt eller bara korrelerat kräver omdöme när riktiga pengar står på spel. Ingen modell kommer att tala om för dig att siffran framför dig påverkas av störfaktorer, eftersom en sådan siffra ser exakt likadan ut som en ren siffra.

Ett verklighetsnära intäktsarbetsflöde

Här är ett arbetsflöde från avsikt till destination och sedan tillbaka igen.

Vi börjar med att gruppera efterfrågan kring det någon försöker lösa, snarare än utifrån demografi eller vilken funktion vi vill diskutera. Grupperingen bygger på synlighet på kategorinivå från plattformar för appmätning, specifikt verktyg som Sensor Tower, AppTweak och Appfigures, eftersom de visar sökbeteende och konkurrensrörelser som data från första part inte kan visa. Varje grupp blir ett tema, och varje tema får både ett annonskoncept och en matchad destinationssida som är utformad för att fortsätta samma resonemang i stället för att börja om.

ChatGPT och Claude hanterar en stor del av den analytiska kärnan, där jag anser att det verkliga värdet ligger. Jag vill betona för alla som bygger detta att modellen i sig är den minst intressanta delen. En agent som bara kan resonera är en dyr brainstormingpartner, medan en agent som är ansluten till marknadsdata och den resultatrapportering du redan betalar för blir mer som en analytiker med obegränsat tålamod för repetitivt arbete. Integrationen är produkten, och vad du uppnår beror mycket mer på vad du ansluter den till än på vilken modell du väljer.

Integrationen gör också utgifterna försvarbara. Vi bedriver betald kundanskaffning i en auktion, så varje timme mellan att en signal uppstår och att ett beslut fattas medför en kostnad. Att synliggöra en förändring i efterfrågan inom en kategori samma vecka som den inträffar gör att du kan flytta pengar medan det fortfarande spelar roll, och det är ett uppenbart kostnadseffektivt användningsområde för tekniken, till skillnad från att producera ytterligare tvåhundra variationer av annonsmaterial.

Vi håller medvetet analysen manuell, vilket för oss tillbaka till inkrementalitet. Varje test har en miniminivå för volym som fastställs före lansering, och vi agerar inte på resultat under den nivån, oavsett hur bra de ser ut. Om du genomför 100 experiment där hälften har en verklig effekt, och genomför dem med 10 % statistisk styrka, får du ungefär tio signifikanta resultat, varav omkring hälften är falska. Genom att helt enkelt öka den statistiska styrkan sjunker andelen falska upptäckter från 50 % till 11 % utan andra förändringar.

Utöver golvet valideras allt som vi avser att skala på ett meningsfullt sätt kausalt, snarare än mot plattformsrapporterade resultat, eftersom plattformen har alla incitament och strukturella skäl att presentera en smickrande siffra. Den valideringen kommer från lyftstudier som genomförs inbyggt i kanalerna och från geografiska kontrollgrupper som analyseras mot plattforms- och mobil mätdata. Mätningen sker inbyggt, analysen är inte automatiserad, och jag tror att den uppdelningen kommer att bli viktigare med tiden. Allt före avläsningen blir snabbare för varje kvartal, vilket innebär att avläsningen måste förbli konsekvent.

Hur AI kan öka inlärningstakten men göra dessa lärdomar opålitliga

Den största fördelen med AI är tempot. Idéer som tidigare låg i en backlogg i ett kvartal byggs och avläses nu under en enda cykel. Detta förstärks över tid, eftersom hur snabbt du lär dig i stor utsträckning beror på hur snabbt du kan testa.

De dåliga resultaten kommer i två former, där den andra är mer intressant.

Den första är enkel, och jag har redan berört den. Vi körde en kampanj där siffrorna högst upp i tratten såg starka ut, men konverteringen längre ner rörde sig i motsatt riktning. Systemen hade gjort exakt det vi bad dem om. Vi hade bett om fel sak, vilket är ett misslyckande i målformuleringen snarare än ett AI-misslyckande, även om det genomfördes med ovanlig effektivitet.

Den andra är att hastigheten mångfaldigar dina befintliga kunskapsteoretiska vanor. Om din standardtolkning av resultat är korrelativ – och det gäller de flesta team – leder snabbare tester inte till snabbare lärande. De leder till en snabbare ansamling av sådant som du tror på utan tillräckliga skäl. Adobes publicerade vägledning om testning påpekar något närliggande och konstaterar att marknadsförare ger anmärkningsvärt många tester för låg statistisk styrka. Om du fortsätter med det kan falska positiva resultat till slut bli lika många som eller fler än de sanna positiva resultaten. Tänk på vad som händer när antalet varianter ökar och trafiken per variant minskar. Du får inte fler vinnare; du får fler saker som övertygande ser ut som vinnare.

Så i grunden ökade AI vår inlärningstakt och ökade samtidigt vår skyldighet att bevisa att det vi hade lärt oss var verkligt.

Varför AI har svårt med kundkontext och förtroende

Dessa system har svårt eftersom de saknar tillgång till ”varför”, vilket står för den största delen av informationen i en konsumentbaserad prenumerationsverksamhet.

Två personer kan söka på samma term, klicka på samma annons och komma dit med helt olika motiv, men datan gör ingen skillnad mellan dem. En modell som läser beteendesignaler grupperar dem självsäkert tillsammans eftersom de är identiska på varje mätbar dimension. Grupperingen är korrekt, men slutsatsen som dras av den kan ändå vara fel. Detta är ett särskilt obehagligt felsätt eftersom det inte finns något fel att upptäcka.

I marknadsanalyser har agenter till exempel tagit fram välformulerade, rimliga och välargumenterade berättelser om en förändring i kategorin – sammanfattningar som låter som om en skicklig analytiker hade skrivit dem. Den underliggande rörelsen visade sig dock vara en artefakt: en förändring i rapporteringen, ett säsongsmönster eller en förändring i definitionen av hur något räknades. Berättelsen var sammanhängande eftersom modellen är skicklig på att bygga sammanhängande berättelser, men sammanhang är inte detsamma som träffsäkerhet. Det som gjorde den farlig, snarare än bara felaktig, var att den lät färdig och övertygande.

Det är, sammanfattat i en mening, förtroendeproblemet. Dessa system registrerar inte osäkerhet. En slutsats som dras från tunt underlag återges med samma ton som en som dras från solida bevis. En mänsklig analytiker skulle ha uttryckt sig med förbehåll, noterat märkliga data eller kontrollerat något innan det skrevs ner. Modellen skriver helt enkelt ner det.

Den prenumerationsspecifika versionen innebär en ännu svårare utmaning. När någon säger upp sin prenumeration ser händelsen identisk ut oavsett om personen inte fick det den sökte eller lyckades helt och gick vidare. Det är motsatta utfall med samma datasignatur, och ingen mängd modellering kan skilja dem åt, eftersom skillnaden helt och hållet ligger i en kontext som systemet aldrig hade tillgång till.

Varför prognostisering behöver en AI-omgestaltning

Instinkten är att göra prognoser mer exakta genom att använda bättre modeller, och jag tycker att det är fel sätt att omforma AI. Gartner uppskattar andelen säljorganisationer som uppnår 90 procent eller bättre prognosprecision till 7 procent, och den siffran har envist legat kvar på samma nivå i många år trots enorma investeringar i verktyg. När ett problem står emot så mycket pengar och teknik är det vanligtvis ett tecken på att problemet har formulerats fel, snarare än att lösningarna varit för svaga.

Formuleringsfelet består i att behandla prognostisering som ett prediktionsproblem när det egentligen är ett beslutsproblem. En intäktsansvarig behöver inte en mer exakt siffra för nästa kvartal, utan ett välgrundat svar på vad de bör göra annorlunda den här veckan. Frågorna hänger ihop, men de är inte samma fråga, och den andra är betydligt lättare att hantera. Du kan genomföra ett experiment som visar om en förändring orsakade ett resultat. Du kan inte genomföra ett experiment som visar hur världen ser ut om nittio dagar.

Därför skulle jag argumentera för en omformning som flyttar tyngdpunkten från prediktion till kausala belägg. I stället för att be en modell interpolera framtiden utifrån försämrade signaler bör man fråga vad man kan hålla utanför, vad man kan testa och vilket resultat som skulle förändra resursfördelningen. Det ger mindre imponerande artefakter och betydligt bättre beslut. Det misslyckas också på ett ärligt sätt, eftersom ett oavgjort test talar om att resultatet var oavgjort, medan en dålig prognos inte säger någonting förrän kvartalet är slut.

Den andra halvan av omformningen är att göra osäkerhet till ett förstahandsresultat i stället för att avlägsna den innan siffran når ledningen. De flesta prognosprocesser pressar ihop ett brett spann till en enda siffra eftersom en enda siffra är enklare att presentera, och allt som kommer därefter behandlar sedan siffran som om den vore känd. En prognos som bar med sig sin egen tillförlitlighet och tydligt angav vilka delar som byggde på solida mätningar och vilka som byggde på modellerade eller härledda signaler skulle vara mindre bekväm och betydligt mer användbar.

AI kan för övrigt hjälpa till med allt detta. AI är bra på att underhålla evidensunderlaget, flagga när ett antagande som ligger till grund för en projektion har förändrats och utföra det tråkiga arbetet med att hålla en aktuell bild. Det AI inte bör göra är att skapa falsk precision i slutet av en kedja med svaga indata, vilket tyvärr är det mesta av det människor säljer AI för att göra i den här delen av livscykeln.

Jons tankar

Effektivitet och differentiering motverkar för närvarande varandra, så varje ledare måste medvetet välja en kvot, eftersom standardkvoten inte är neutral.

Varför generativa modeller tvingar fram ett val mellan differentiering och effektivitet

Här är ett annat problem. Generativa modeller uppfinner ingenting; de producerar det statistiskt mest sannolika resultatet utifrån sina träningsdata, vilket innebär att de återskapar dominerande konventioner och drar allt mot ett gemensamt genomsnitt.

Effektivitet och differentiering motverkar för närvarande varandra, så varje ledare måste medvetet välja en kvot, eftersom standardkvoten inte är neutral.

Hur intäkts- och marknadsföringsuppgifter måste förenas och mätas

I de flesta företag äger ett team annonsen medan ett annat team äger sidan, demonstrationen eller det första samtalet. Båda teamen mäts och tenderar att prestera bra. Ingen äger övergången mellan dem, vilket är exakt där avsikten går förlorad. Följaktligen rapporterar varje funktion ett starkt kvartal medan det sammanbindande ledet förlorar kunden.

Ungefär hälften av organisationerna uppger att det finns bristande samordning vid överlämningen mellan marknadsföring och försäljning, med kampanjer som byggs isolerat och säljare som får reda på förändringar i budskapet från potentiella kunder i stället för internt. Det låter som ett kommunikationsproblem, men det är ett ägarskapsproblem.

Vi förändrade hur vi behandlade annonsen och dess destination genom att se dem som en enda enhet som byggdes, lanserades och mättes tillsammans, i stället för som två tillgångar som tillhörde två team. Fördelen var inte bara konvertering utan även tolkningsbarhet, eftersom man äntligen kan göra en tydlig analys av helheten när löftet och utfallet är ett och samma objekt. Två team som optimerar varsin halva separat kommer båda att producera siffror som ser bra ut, men inget av resultaten kommer att tala om vad kombinationen åstadkom.

Den motsvarande frågan för en intäktsansvarig är om berättelsen en potentiell kund hör från marknadsföringen överlever kontakten med det första säljsamtalet, och om någon kan mäta den övergången kausalt i stället för att räkna aktiviteter på båda sidor av den. Om dessa saker ägs och mäts separat kommer AI att göra varje halva mer effektiv, samtidigt som avståndet mellan dem ökar. Att ha slimmade team som arbetar snabbare över en oägd skarv är ett förutsägbart sätt att förlora pengar medan varje instrumentpanel fortsätter att se hälsosam ut.

Varför CRO:er måste äga målfunktionen i stället för att delegera den

Sammantaget är mitt råd följande: Äg målfunktionen själv i stället för att delegera den eller ärva det som plattformen har som standard.

De här systemen är utmärkta på att maximera vad du än anger, vilket innebär att specifikationen blir strategin. Om siffran du ger maskinen är en indirekt mätare av resultatet i stället för själva resultatet, kommer du att få ett snyggt diagram och en sämre verksamhet, och du kommer dit snabbare än innan AI fanns.

Den kompletterande disciplinen, och den jag skulle betona mest, är att i förväg veta vilken evidens som skulle övertyga dig om att något fungerade. De flesta intäktsorganisationer har ett mycket sofistikerat svar på vad som hände och ett förvånansvärt svagt svar på vad som orsakade det, och AI ökar detta gap eftersom det gör den första typen av svar billigare. Om du inte kan beskriva hur ett entydigt resultat skulle se ut innan du lanserar, kommer du att sluta med att bekräfta vad rapporteringen än ger tillbaka.

PwC:s globala vd-undersökning 2026 visade att endast 12 % av vd:arna såg att AI både ökade intäkterna och minskade kostnaderna, medan 56 % ännu inte hade sett någon betydande ekonomisk nytta. Jag tolkar inte det som att tekniken presterar sämre än förväntat; snarare är det ett tecken på att de flesta organisationer riktade den mot något som de inte hade definierat tillräckligt noggrant och sedan mätte det på ett sätt som inte kunde fastställa om AI hade skapat ett betydande ekonomiskt värde.

Följ med

Du kan följa Jon Changs arbete på LinkedIn och hans nyhetsbrev, Tankar om tillväxtmarknadsföring.

Fler expertintervjuer kommer på The CRO Club!