Le vice-président de la croissance affirme que le plus grand risque lié à l’IA est de croire ce que les données semblent démontrer

Jon Chang est le vice-président du marketing de croissance chez MyFitnessPal. Avant cela, sa carrière l’a mené chez IBM Watson, Kickstarter et Klarna. Et il travaille avec l’IA depuis bien avant qu’elle ne se généralise.

Nous avons discuté avec Jon pour comprendre comment l’IA transforme la publicité. Au fil de la conversation, il nous a indiqué quelles fonctions génératrices de revenus ont désespérément besoin d’une refonte par l’IA.

Travailler sur l’IA avant qu’elle n’ait un impact sur les résultats financiers de qui que ce soit

Je m’appelle Jon Chang, je suis vice-président du marketing de croissance chez MyFitnessPal, et je me concentre sur le volet demande de l’activité en matière de revenus. Cela comprend l’acquisition payante, la conversion sur les boutiques d’applications et l’écart entre la promesse d’une publicité et l’expérience réelle d’un nouvel utilisateur à son arrivée.

Mon parcours comprend IBM Watson, Kickstarter et Klarna, et j’ai enseigné à NYU parallèlement à mes activités opérationnelles. Cette première étape compte plus qu’il n’y paraît, car j’ai travaillé sur des applications commerciales de l’IA à une époque où les discussions portaient sur ce que ces systèmes pourraient éventuellement faire, et non sur ce qu’ils faisaient aux résultats financiers de qui que ce soit. Voir le secteur passer de cette période à la période actuelle m’a inculqué un scepticisme durable à l’égard des calendriers annoncés, ainsi qu’un respect durable pour ce qui est effectivement mis en production.

La suite de ce parcours m’a conduit vers des canaux pilotés par les machines, bien avant que quiconque ne parle d’IA. Les enchères sont venues en premier, puis la sélection des audiences, puis la rotation des créations publicitaires ; chacune de ces étapes a progressivement échappé aux mains des humains, une enchère après l’autre. Ainsi, ce qui se passe aujourd’hui ne me semble pas constituer une rupture, mais plutôt l’aboutissement soudain d’une même longue tendance — une expérience véritablement différente de celle qui consiste à voir émerger une tendance entièrement nouvelle.

Cette histoire m’a appris que l’automatisation excelle à optimiser en fonction des corrélations, mais reste totalement indifférente à la causalité. À mesure que ces systèmes se sont accélérés, il est devenu plus évident que l’incrémentalité — la question de savoir si vos actions ont réellement causé le résultat que vous leur attribuez — était la discipline dans laquelle personne n’investissait. Je pense qu’elle demeure la compétence la plus sous-évaluée dans la croissance, et elle ne fait que gagner en valeur à mesure que les outils produisent plus rapidement des chiffres à l’apparence convaincante.

J’écris à ce sujet dans Growth Marketing Musings sur Substack.

Une structure qui impose de poser de meilleures questions

MyFitnessPal est une entreprise d’abonnement grand public, axée sur le mobile, qui évolue dans une catégorie où l’acquisition repose presque entièrement sur des canaux fondés sur les enchères et sur la découverte dans les boutiques d’applications.

Cette structure façonne tout, car nous ne gérons pas un long cycle de vente et ne travaillons pas avec un comité d’achat. La distance entre l’impression et la conversion payante est courte, ce qui semble être un avantage mais fonctionne davantage comme une contrainte : vous n’avez qu’une seule tentative à chaque étape et très peu de marge pour vous remettre d’une étape défaillante.

Cela signifie également que nous opérons dans l’un des environnements de mesure les plus difficiles du marketing, ce qui explique en grande partie pourquoi l’incrémentalité est devenue centrale dans ma réflexion. L’attribution multipoint s’effondre véritablement dans les environnements mobiles soumis à des restrictions en matière de confidentialité, où les taux de consentement sont faibles ; c’est pourquoi les équipes de ce secteur s’appuient plutôt sur des tests d’incrémentalité. De nombreuses organisations considèrent cela comme une limitation à contourner, mais je dirais qu’il s’agit plutôt d’un mécanisme qui nous force à poser de meilleures questions.

Comment l’IA a transformé la publicité

Pendant des années, créer une page de destination personnalisée pour chaque thème publicitaire coûtait si cher que la plupart du trafic était envoyé vers une seule page générale. Une personne cliquant sur une publicité à propos d’un sujet et une autre cliquant sur une publicité à propos d’un autre sujet arrivaient au même endroit. Cela signifiait que la publicité effectuait un ciblage précis, mais que la destination annulait immédiatement cet effort.

Dans tout le secteur, le coût de production d’une variante s’est effondré lorsque des outils comme ChatGPT et Claude sont devenus courants. Lorsqu’une variante est peu coûteuse, faire correspondre la destination à la promesse cesse d’être un luxe à justifier et devient le choix par défaut évident.

L’effet est mieux documenté que la plupart des phénomènes dans notre secteur. Une analyse publiée portant sur plus d’un million de groupes d’annonces Apple Ads a révélé que les groupes d’annonces renvoyant vers une page produit personnalisée correspondant aux mots-clés généraient 23 % de téléchargements supplémentaires par rapport à ceux renvoyant vers la page par défaut, avec les mêmes dépenses et les mêmes mots-clés.

Le point essentiel concerne le type de correspondance qui fonctionne. Une analyse distincte d’un portefeuille a révélé que les applications enregistrant les gains les plus importants segmentent les utilisateurs selon leur intention plutôt que selon la fonctionnalité du produit. Les pages conçues comme des versions visuellement actualisées de la page par défaut, avec le même ordre de captures d’écran et le même accroche initiale, évoluent à peine. Voici la leçon essentielle : un modèle de langage rend trivial le fait de produire quarante versions d’une même idée, mais cela ne vaut presque rien si le travail sur l’intention n’est pas effectué en premier.

J’ajouterais — et je pense que cette partie est souvent négligée — que rien de tout cela ne vaut grand-chose si vous ne pouvez pas déterminer si le changement a entraîné la hausse observée. Les chiffres communiqués par la plateforme pour une page adaptée auront presque toujours l’air bons, car vous dirigez un meilleur trafic vers une meilleure expérience, et les rapports ne peuvent pas distinguer ces effets. La seule manière de le savoir consiste à comparer cette page à un groupe témoin, ce qui est plus lent et nettement moins satisfaisant, mais c’est la seule réponse que je serais réellement prêt à défendre.

Quand l'IA excelle et quand l'intervention humaine est nécessaire

L'IA prend désormais en charge une part importante des opérations, pas entièrement par choix. Elle gère maintenant l'optimisation des enchères et des budgets au sein des plateformes, car les leviers manuels ont en grande partie disparu. Au-delà de cela, les applications utiles de l'IA pour nous relèvent de la synthèse, et non de la production.

Les agents fondés sur ChatGPT et Claude excellent lorsqu'il s'agit de prendre d'importantes quantités d'informations désordonnées sur le marché et de restituer quelque chose sur lequel une personne peut s'appuyer pour raisonner. Les évolutions de la demande dans une catégorie, les mouvements de la concurrence et les informations issues de plateformes comme Sensor Tower, AppTweak et Appfigures deviennent bien plus exploitables lorsque l'IA peut les analyser de manière transversale et résumer les changements. Cela réduit le délai entre l'apparition d'un signal et la prise de décision, et dans une activité fondée sur les enchères, ce délai a un coût direct.

Trois éléments restent fermement du côté humain de la ligne.

Premièrement, nous choisissons ce qu'il faut tester et pourquoi, car la machine optimise à l'intérieur d'une question, mais n'a aucune opinion sur la question qui mérite d'être posée, et ce choix détermine si le reste a une quelconque importance.

Deuxièmement, nous définissons ce qui constitue une réussite. Presque tous les résultats décevants de l'IA que j'ai vus remontent à une métrique indirecte restée saine alors que le problème sous-jacent n'avait pas évolué. McKinsey a constaté que 88 % des organisations utilisent régulièrement l'IA dans au moins une fonction, mais que seules 39 % déclarent un impact mesurable sur l'EBIT. Je dirais que cet écart relève d'un problème de définition, et non d'adoption.

Troisièmement, et c'est le point auquel je m'accrocherais le plus, il y a l'interprétation causale. Nous n'automatisons pas nos travaux sur l'incrémentalité, et je ne le souhaite pas. Les études de brand lift et de power lift sont menées nativement au sein des plateformes publicitaires ; les groupes témoins géographiques sont analysés par rapport aux données de la plateforme, conjointement avec le partenaire de mesure mobile ; et l'analyse de l'ensemble de ces éléments reste volontairement humaine. Déterminer si un résultat est véritablement causal ou simplement corrélé exige un jugement associé à de véritables enjeux financiers. Aucun modèle ne vous dira que le chiffre sous vos yeux est faussé par un facteur de confusion, car un chiffre ainsi faussé ressemble exactement à un chiffre fiable.

Un processus de génération de revenus concret

Voici un processus qui va de l'intention à la destination, puis revient au point de départ.

Nous commençons par regrouper la demande autour de ce que quelqu'un cherche à résoudre, plutôt que selon des critères démographiques ou en fonction de la fonctionnalité dont nous voulons parler. Ce regroupement s'appuie sur la visibilité au niveau de la catégorie fournie par les plateformes de mesure des applications, notamment des outils comme Sensor Tower, AppTweak et Appfigures, car ceux-ci montrent les comportements de recherche et les mouvements de la concurrence que les données de première partie ne peuvent pas révéler. Chaque groupe devient un thème, et chaque thème reçoit à la fois un concept publicitaire et une destination correspondante conçue pour poursuivre le même argument plutôt que de le reprendre depuis le début.

ChatGPT et Claude prennent en charge une grande partie du cœur analytique, là où je pense que se trouve la véritable valeur. J'insisterais auprès de toute personne qui construit ce type de système sur le fait que le modèle lui-même est l'élément le moins intéressant. Un agent capable uniquement de raisonner est un partenaire de réflexion coûteux, tandis qu'un agent connecté aux données de marché et aux rapports de performance que vous payez déjà devient davantage un analyste doté d'une patience illimitée pour les tâches répétitives. L'intégration est le produit, et ce que vous obtenez dépend bien davantage de ce à quoi vous le connectez que du modèle que vous choisissez.

L'intégration rend également les dépenses défendables. Nous menons l'acquisition payante dans un environnement d'enchères, de sorte que chaque heure entre l'apparition d'un signal et la prise de décision a un coût. Faire émerger une évolution de la demande dans une catégorie la semaine où elle se produit vous permet de déplacer les budgets tant que cela a encore de l'importance, et c'est une utilisation rentable de la technologie, contrairement à la production de deux cents variantes supplémentaires de créations.

Nous conservons volontairement une interprétation manuelle, ce qui nous ramène à l'incrémentalité. Chaque test comporte un seuil minimal de volume défini avant son lancement, et nous n'agissons pas sur des résultats inférieurs à ce seuil, quelle que soit leur apparence. Si vous réalisez 100 expériences dont la moitié produit un effet réel, et que vous les menez avec une puissance statistique de 10 %, vous obtenez environ dix résultats significatifs, dont environ la moitié sont faux. Il suffit d'augmenter la puissance statistique pour faire passer ce taux de fausses découvertes de 50 % à 11 %, sans autre modification.

Au-delà du plancher, tout ce que nous entendons développer de manière significative est validé de manière causale plutôt que par rapport aux performances rapportées par les plateformes, car celles-ci ont toutes les incitations et toutes les raisons structurelles de fournir un chiffre flatteur. Cette validation repose sur des études d’impact menées nativement dans les canaux, ainsi que sur des groupes témoins géographiques analysés par rapport aux données de mesure des plateformes et des appareils mobiles. La mesure est native, l’analyse n’est pas automatisée, et je pense que cette distinction prendra de plus en plus d’importance avec le temps. Tout ce qui précède la lecture devient plus rapide à chaque trimestre, ce qui signifie que la lecture doit rester cohérente.

Comment l’IA peut accélérer l’apprentissage tout en rendant ces enseignements peu fiables

Le principal avantage de l’IA est la rapidité. Les idées qui restaient autrefois en attente pendant un trimestre sont désormais développées et évaluées au cours d’un seul cycle. Cet effet se cumule avec le temps, car la vitesse à laquelle vous apprenez dépend largement de la vitesse à laquelle vous pouvez tester.

Les mauvais résultats prennent deux formes, la seconde étant la plus intéressante.

La première est simple, et je l’ai déjà évoquée. Nous avons mené une campagne dans laquelle les chiffres du haut de l’entonnoir semblaient bons, mais où la conversion en aval a évolué dans la direction opposée. Les systèmes avaient fait exactement ce que nous leur avions demandé. Nous leur avions demandé la mauvaise chose, ce qui relève d’un échec dans la définition de la cible plutôt que d’un échec de l’IA, même si l’exécution s’est faite avec une efficacité inhabituelle.

La seconde est que la rapidité multiplie vos habitudes épistémiques existantes. Si votre lecture par défaut des performances est corrélationnelle — et c’est le cas de la plupart des équipes — alors des tests plus rapides ne produisent pas un apprentissage plus rapide. Ils entraînent une accumulation plus rapide de convictions reposant sur des raisons insuffisantes. Les recommandations publiées par Adobe en matière de tests soulignent un point connexe, en notant que les spécialistes du marketing manquent de puissance statistique dans un nombre remarquable de tests. Si vous continuez ainsi, les faux positifs peuvent finir par rivaliser avec les vrais positifs, voire les dépasser en nombre. Imaginez ce qui se passe lorsque le nombre de variantes augmente et que le trafic par variante diminue. Vous n’obtenez pas davantage de gagnants ; vous obtenez davantage d’éléments qui ressemblent de manière convaincante à des gagnants.

En résumé, l’IA a augmenté notre vitesse d’apprentissage tout en accroissant simultanément notre obligation de démontrer que ce que nous avions appris était réel.

Pourquoi l’IA peine à comprendre le contexte client et à instaurer la confiance

Ces systèmes rencontrent des difficultés parce qu’ils n’ont pas accès au « pourquoi », qui fournit la majeure partie des informations dans une activité d’abonnement grand public.

Deux personnes peuvent rechercher le même terme, cliquer sur la même publicité et arriver avec des motivations complètement différentes, alors que les données ne font aucune distinction entre elles. Un modèle qui lit les signaux comportementaux les regroupe avec assurance parce qu’elles sont identiques sur chaque dimension mesurable. Le regroupement est correct, mais la conclusion qui en est tirée peut tout de même être erronée. Il s’agit d’un mode de défaillance particulièrement inconfortable, car il n’y a aucune erreur à détecter.

Par exemple, dans l’analyse de marché, des agents ont produit des récits clairs, plausibles et bien argumentés sur une évolution de la catégorie — des synthèses qui donnent l’impression d’avoir été rédigées par un analyste compétent. Pourtant, le mouvement sous-jacent s’est révélé être un artefact : une modification du reporting, un phénomène saisonnier ou un changement dans la définition de la manière dont un élément était comptabilisé. Le récit était cohérent parce que le modèle excelle à construire des récits cohérents, mais la cohérence n’est pas l’exactitude. Ce qui le rendait dangereux, plutôt que simplement erroné, c’était son ton définitif.

Voilà, en une phrase, le problème de confiance. Ces systèmes n’expriment pas l’incertitude. Une conclusion tirée d’éléments peu nombreux revient avec le même ton qu’une conclusion fondée sur des éléments solides. Un analyste humain aurait nuancé son propos, signalé des données étranges ou vérifié certains points avant de rédiger son analyse. Le modèle, lui, la rédige simplement.

La version propre aux abonnements pose un défi encore plus difficile. Lorsqu’une personne résilie, l’événement semble identique, qu’elle n’ait pas obtenu ce pour quoi elle était venue ou qu’elle ait pleinement réussi et soit passée à autre chose. Il s’agit de résultats opposés présentant la même signature dans les données, et aucune modélisation ne permet de les distinguer, car la différence réside entièrement dans un contexte auquel le système n’a jamais eu accès.

Pourquoi les prévisions nécessitent une refonte fondée sur l’IA

L’instinct consiste à rendre les prévisions plus précises en leur appliquant de meilleurs modèles, et je pense que c’est la mauvaise refonte de l’IA. Gartner estime à 7 % la part des organisations commerciales qui atteignent une précision des prévisions de 90 % ou plus, et ce chiffre reste obstinément stable depuis de nombreuses années malgré des investissements considérables dans les outils. Lorsqu’un problème résiste à autant d’argent et de technologie, c’est généralement le signe qu’il a été mal posé, plutôt que celui de solutions trop faibles.

L’erreur de cadrage consiste à traiter les prévisions comme un problème de prédiction, alors qu’il s’agit en réalité d’un problème de décision. Ce dont un responsable des revenus a besoin, ce n’est pas d’un chiffre plus précis pour le trimestre prochain ; c’est d’une réponse défendable à la question de savoir ce qu’il devrait faire différemment cette semaine. Ces deux questions sont liées, mais elles ne sont pas identiques, et la seconde est bien plus abordable. Vous pouvez mener une expérience qui vous indique si un changement a causé un résultat. Vous ne pouvez pas mener une expérience qui vous indique à quoi ressemblera le monde dans quatre-vingt-dix jours.

Je défendrais donc une refonte qui déplace le centre de gravité de la prédiction vers les preuves causales. Au lieu de demander à un modèle d’interpoler l’avenir à partir d’un signal dégradé, demandez-vous ce que vous pourriez mettre de côté, ce que vous pourriez tester et quel résultat modifierait votre allocation. Cela produit des artefacts moins impressionnants et de bien meilleures décisions. Cela échoue également de manière honnête, car un test non concluant vous indique qu’il n’est pas concluant, tandis qu’une mauvaise prévision ne vous apprend rien avant la clôture du trimestre.

La seconde moitié de la refonte consiste à faire de l’incertitude un résultat à part entière, plutôt que de l’éliminer avant que le chiffre n’atteigne la direction. La plupart des processus de prévision réduisent une large plage à un chiffre unique, parce qu’un chiffre unique est plus facile à présenter, puis tout ce qui suit traite ce chiffre comme s’il était connu. Une prévision qui intégrerait son propre niveau de confiance et indiquerait clairement quelles parties reposent sur des mesures solides et lesquelles s’appuient sur un signal modélisé ou déduit serait moins confortable et bien plus utile.

L’IA peut accessoirement contribuer à tout cela. Elle est efficace pour maintenir la base de données probantes, signaler lorsqu’une hypothèse sous-jacente à une projection a évolué et effectuer le travail fastidieux qui consiste à maintenir une vision à jour. En revanche, elle ne devrait pas fabriquer une fausse précision au terme d’une chaîne alimentée par des données faibles, ce qui constitue malheureusement l’essentiel de ce qu’on vend aux entreprises dans ce domaine du cycle.

Les réflexions de Jon

L’efficacité et la différenciation jouent actuellement l’une contre l’autre ; chaque dirigeant doit donc choisir délibérément un ratio, car le ratio par défaut n’est pas neutre.

Pourquoi les modèles génératifs imposent un choix entre différenciation et efficacité

Voici un autre problème. Les modèles génératifs n’inventent rien ; ils produisent le résultat statistiquement le plus probable à partir de leurs données d’entraînement, ce qui signifie qu’ils reproduisent les conventions dominantes et ramènent tout vers une moyenne commune.

L’efficacité et la différenciation jouent actuellement l’une contre l’autre ; chaque dirigeant doit donc choisir délibérément un ratio, car le ratio par défaut n’est pas neutre.

Comment les tâches liées aux revenus et au marketing doivent être unifiées et mesurées

Dans la plupart des entreprises, une équipe est responsable de la publicité, tandis qu’une autre s’occupe de la page, de la démonstration ou du premier échange. Les deux équipes sont évaluées et ont tendance à obtenir de bons résultats. Personne ne s’occupe de la jonction entre elles, qui est précisément l’endroit où l’intention se perd. Par conséquent, chaque fonction fait état d’un trimestre solide, tandis que le lien entre elles fait perdre le client.

Environ la moitié des organisations signalent un manque d’alignement lors du transfert entre le marketing et les ventes, les campagnes étant conçues en vase clos et les commerciaux découvrant les changements de message par l’intermédiaire des prospects plutôt qu’en interne. Cela ressemble à un problème de communication, mais c’est un problème de responsabilité.

Nous avons changé notre manière de considérer la publicité et sa destination, en les voyant comme une seule et même unité conçue, publiée et mesurée ensemble, plutôt que comme deux éléments appartenant à deux équipes. Le bénéfice ne s’est pas limité à la conversion, mais a également concerné l’interprétabilité, car lorsque la promesse et le résultat sont réunis en un seul objet, vous pouvez enfin analyser clairement l’ensemble. Deux équipes qui optimisent séparément deux moitiés produiront chacune des chiffres qui semblent corrects, mais aucun de ces ensembles ne vous indiquera ce que la combinaison a produit.

La question équivalente pour un responsable du chiffre d'affaires est de savoir si le récit qu'un prospect entend du marketing résiste au contact du premier appel commercial, et si quelqu'un peut mesurer cette transition de manière causale plutôt qu'en comptant l'activité de chaque côté. Si ces éléments sont gérés et mesurés séparément, l'IA rendra chaque moitié plus efficace tout en creusant l'écart entre elles. Faire en sorte que des équipes plus légères avancent plus vite à travers une zone de transition dont personne n'est responsable est un moyen prévisible de perdre de l'argent, tandis que tous les tableaux de bord continuent d'afficher des résultats satisfaisants.

Pourquoi les CRO doivent assumer la fonction objectif plutôt que la déléguer

Globalement, voici mon conseil : assumez vous-même la fonction objectif plutôt que de la déléguer ou d'adopter celle définie par défaut par la plateforme.

Ces systèmes excellent dans l'optimisation de tout ce que vous leur demandez, ce qui signifie que la spécification devient la stratégie. Si le nombre que vous donnez à la machine est un indicateur indirect du résultat plutôt que le résultat lui-même, vous obtiendrez un magnifique graphique et une entreprise en moins bonne santé, et vous y arriverez plus vite qu'avant l'existence de l'IA.

La discipline complémentaire, et celle sur laquelle j'insisterais le plus, consiste à savoir à l'avance quelles preuves vous convaincraient qu'une action a fonctionné. La plupart des organisations générant du chiffre d'affaires ont une réponse très sophistiquée à la question de savoir ce qui s'est passé et une réponse étonnamment faible à celle de savoir ce qui l'a causé, et l'IA creuse cet écart parce qu'elle rend le premier type de réponse moins coûteux. Si vous ne pouvez pas expliquer à quoi ressemblerait une lecture fiable avant de lancer une initiative, vous finirez par valider tout ce que les rapports vous renverront.

L'enquête 2026 de PwC auprès des PDG a révélé que seuls 12 % des PDG avaient constaté que l'IA avait généré à la fois une croissance du chiffre d'affaires et une réduction des coûts, tandis que 56 % n'avaient pas encore observé de bénéfice financier significatif. Je n'interprète pas cela comme un échec de la technologie ; c'est plutôt la preuve que la plupart des organisations l'ont appliquée à un objectif qu'elles n'avaient pas suffisamment défini avec précision, puis l'ont mesuré d'une manière qui ne permettait pas d'établir si l'IA avait généré une valeur financière significative.

Suivez la suite

Vous pouvez suivre le travail de Jon Chang sur LinkedIn ainsi que dans sa newsletter, Réflexions sur le marketing de croissance.

D'autres entretiens avec des experts seront bientôt publiés sur Le CRO Club !