El vicepresidente de Crecimiento afirma que el mayor riesgo de la IA es creer lo que los datos parecen demostrar

Jon Chang es el vicepresidente de Marketing de Crecimiento de MyFitnessPal. Antes de esto, su trayectoria profesional abarcó IBM Watson, Kickstarter y Klarna. Y ha trabajado con IA desde mucho antes de que se convirtiera en algo generalizado.

Hablamos con Jon para entender cómo la IA está cambiando la publicidad. Durante la conversación, nos contó qué funciones de ingresos necesitan urgentemente una renovación basada en IA.

Trabajar con IA antes de que afectara a la cuenta de resultados de nadie

Soy Jon Chang, vicepresidente de Marketing de Crecimiento de MyFitnessPal, y me centro en el lado de la demanda del negocio en lo que respecta a los ingresos. Esto incluye la adquisición de pago, la conversión en las tiendas de aplicaciones y la brecha entre la promesa de un anuncio y la experiencia real de un nuevo usuario al llegar.

Mi trayectoria hasta aquí incluye IBM Watson, Kickstarter y Klarna, y he dado clases en NYU mientras desarrollaba mi trabajo operativo. Esa primera etapa importa más de lo que podría parecer, porque trabajé en aplicaciones comerciales de IA cuando las conversaciones se centraban en lo que estos sistemas podrían llegar a hacer, no en lo que estaban haciendo en la cuenta de resultados de nadie. Ver cómo el sector pasó de aquel periodo al actual me inculcó un escepticismo duradero sobre los plazos y un respeto duradero por lo que realmente llega a ponerse en marcha.

El resto de ese recorrido me llevó a los canales impulsados por máquinas mucho antes de que nadie lo llamara IA. Primero llegaron las pujas, después la selección de audiencias y luego la rotación de creatividades; cada elemento fue saliendo de las manos humanas, una subasta cada vez. Por eso, lo que está ocurriendo ahora no me parece una ruptura, sino la llegada simultánea de la misma tendencia de largo recorrido: una experiencia realmente diferente de ver surgir una tendencia completamente nueva.

La historia me enseñó que la automatización destaca a la hora de optimizar en función de la correlación, pero sigue siendo completamente indiferente a la causalidad. A medida que estos sistemas se aceleraban, se hizo más evidente que la incrementalidad —la cuestión de si tus acciones realmente causaron el resultado que afirmabas— era la disciplina en la que nadie invertía. Creo que sigue siendo la habilidad más infravalorada en el crecimiento, y solo adquiere más valor a medida que las herramientas producen números de aspecto convincente con mayor rapidez.

Escribo sobre esto en Growth Marketing Musings, en Substack.

Una estructura que obliga a plantear mejores preguntas

MyFitnessPal es un negocio de suscripción para consumidores, centrado en dispositivos móviles y que compite en una categoría en la que la adquisición depende casi por completo de los canales basados en subastas y del descubrimiento en las tiendas de aplicaciones.

Esa estructura lo condiciona todo porque no gestionamos un ciclo de ventas largo ni trabajamos a través de un comité de compras. La distancia entre la impresión y la conversión de pago es corta, lo que parece una ventaja y funciona más bien como una limitación: tienes un intento en cada paso y muy poco margen para recuperarte de uno débil.

También significa que operamos en uno de los entornos de medición más difíciles del marketing, lo que explica en gran medida por qué la incrementalidad se ha convertido en un elemento central de mi forma de pensar. La atribución multitáctil se desmorona de verdad en dispositivos móviles y en entornos con restricciones de privacidad donde las tasas de consentimiento son bajas, por lo que los equipos de este ámbito recurren en su lugar a las pruebas de incrementalidad. Muchas organizaciones consideran esto una limitación que deben sortear, pero yo diría que se parece más a un mecanismo de presión que conduce a mejores preguntas.

Cómo la IA cambió la publicidad

Durante años, crear un destino adaptado para cada tema publicitario era tan caro que la mayor parte del tráfico se dirigía a una única página general. Una persona que hacía clic en un anuncio sobre un tema y otra que hacía clic en un anuncio sobre otro terminaban en el mismo lugar. Esto significaba que el anuncio realizaba una segmentación cuidadosa, pero el destino anulaba inmediatamente ese esfuerzo.

En todo el sector, el coste de producir una variante se desplomó cuando herramientas como ChatGPT y Claude se convirtieron en herramientas estándar. Cuando una variante es barata, adaptar el destino a la promesa deja de ser un lujo que haya que justificar y se convierte en la opción predeterminada obvia.

El efecto está mejor documentado que la mayoría de los fenómenos de nuestro sector. Un análisis publicado que abarcó más de un millón de grupos de anuncios de Apple Ads descubrió que los grupos de anuncios que dirigían a una página de producto personalizada y adaptada a la palabra clave generaban un 23% más de descargas que los que dirigían a la página predeterminada, con el mismo gasto y las mismas palabras clave.

El detalle clave es qué tipo de adaptación funciona. Un análisis independiente de una cartera descubrió que las aplicaciones que obtenían los mayores beneficios segmentaban por la intención del usuario, en lugar de hacerlo por la funcionalidad del producto. Las páginas creadas como versiones visualmente renovadas de la página predeterminada, con el mismo orden de capturas de pantalla y el mismo primer gancho, apenas cambian los resultados. Esta es la lección clave: un modelo de lenguaje hace que sea trivial producir cuarenta versiones de una misma idea, pero eso no vale casi nada a menos que el trabajo sobre la intención se realice primero.

Añadiría —y creo que esta parte se suele omitir— que nada de esto vale mucho a menos que puedas determinar si el cambio provocó el incremento. Las cifras comunicadas por la plataforma en una página adaptada casi siempre tendrán buen aspecto porque diriges un tráfico mejor a una experiencia mejor, y los informes no pueden separar esos efectos. La única forma de saberlo es compararlo con un grupo de control, lo que es más lento y considerablemente menos satisfactorio, pero es la única respuesta que yo defendería realmente.

Dónde destaca la IA y dónde se necesitan personas

La IA gestiona una parte considerable en este momento, aunque no enteramente por elección. La IA se encarga ahora de la optimización de pujas y presupuestos dentro de las plataformas porque las palancas manuales se han eliminado en gran medida. Más allá de eso, las aplicaciones útiles de la IA para nosotros están en la síntesis, no en la producción.

Los agentes desarrollados sobre ChatGPT y Claude destacan a la hora de tomar grandes cantidades de información de mercado desordenada y devolver algo sobre lo que una persona pueda razonar. Los cambios en la demanda de categorías, los movimientos de la competencia y la información de plataformas como Sensor Tower, AppTweak y Appfigures se vuelven mucho más utilizables cuando la IA puede leerlas en conjunto y resumir los cambios. Esto acorta la distancia entre la aparición de una señal y la toma de una decisión y, en un negocio basado en subastas, esa distancia tiene un coste directo.

Tres cosas permanecen firmemente del lado humano de la línea.

Primero, elegimos qué probar y por qué, porque la máquina optimiza dentro de una pregunta, pero no tiene opinión sobre qué pregunta merece la pena plantear, y esa elección determina si todo lo demás importa.

Segundo, definimos qué cuenta como un éxito. Casi todos los resultados decepcionantes de la IA que he visto se remontan a una métrica indirecta que se mantuvo saludable mientras el problema subyacente no cambiaba. McKinsey descubrió que el 88 % de las organizaciones utilizan habitualmente la IA en al menos una función, pero solo el 39 % informa de un impacto medible en el EBIT. Yo diría que esa brecha es un problema de definición, no de adopción.

Tercero, y lo que más defendería, está la interpretación causal. No automatizamos nuestro trabajo de incrementalidad, ni quiero hacerlo. Los estudios de incremento de marca y de impacto se ejecutan de forma nativa dentro de las plataformas publicitarias; los grupos de control geográfico se analizan frente a los datos de la plataforma junto con el socio de medición móvil; y el análisis de todo ello es deliberadamente humano. Decidir si un resultado es realmente causal o simplemente correlativo requiere criterio, con dinero real en juego. Ningún modelo te dirá que el número que tienes delante está confundido por otros factores, porque un número afectado por factores de confusión tiene exactamente el mismo aspecto que uno limpio.

Un flujo de trabajo de ingresos del mundo real

Este es un flujo de trabajo desde la intención hasta el destino y de vuelta.

Comenzamos agrupando la demanda en torno a lo que alguien intenta resolver, en lugar de hacerlo por datos demográficos o por la característica de la que queramos hablar. Esta agrupación se basa en la visibilidad a nivel de categoría de las plataformas de medición de aplicaciones, concretamente en herramientas como Sensor Tower, AppTweak y Appfigures, ya que muestran el comportamiento de búsqueda y los movimientos de la competencia que los datos propios no pueden mostrar. Cada grupo se convierte en un tema, y cada tema recibe tanto un concepto publicitario como un destino correspondiente diseñado para continuar el mismo argumento en lugar de empezar de nuevo.

ChatGPT y Claude se encargan de gran parte del núcleo analítico, donde creo que reside el valor real. Insistiría ante cualquiera que esté desarrollando esto en que el modelo por sí solo es la parte menos interesante. Un agente que solo puede razonar es un compañero de lluvia de ideas caro, mientras que un agente conectado a los datos de mercado y a los informes de rendimiento que ya pagas se parece más a un analista con paciencia ilimitada para el trabajo repetitivo. La integración es el producto, y lo que consigues depende mucho más de aquello a lo que lo conectes que del modelo que elijas.

La integración también hace que el gasto sea defendible. Ejecutamos la adquisición de pago en una subasta, por lo que cada hora entre la aparición de una señal y la toma de una decisión tiene un coste. Detectar un cambio en la demanda de una categoría durante la semana en que ocurre te permite mover el dinero mientras aún importa, y ese es un uso rentable de la tecnología, a diferencia de producir otras doscientas variaciones de recursos.

Mantenemos deliberadamente la interpretación manual, lo que nos devuelve a la incrementalidad. Cada prueba tiene un umbral mínimo de volumen establecido antes del lanzamiento, y no actuamos sobre resultados por debajo de ese umbral, por muy buenos que parezcan. Si ejecutas 100 experimentos en los que la mitad tiene un efecto real y los ejecutas con una potencia estadística del 10 %, obtienes aproximadamente diez resultados significativos, de los cuales cerca de la mitad son falsos. Simplemente aumentar la potencia reduce esa tasa de falsos descubrimientos del 50 % al 11 % sin realizar ningún otro cambio.

Más allá del suelo, todo aquello que pretendemos escalar de forma significativa se valida causalmente en lugar de compararlo con el rendimiento comunicado por la plataforma, porque esta tiene todos los incentivos y razones estructurales para ofrecer una cifra favorable. Esa validación procede de estudios de incrementalidad realizados de forma nativa en los canales y de grupos de control geográficos analizados frente a los datos de medición de la plataforma y de dispositivos móviles. La medición es nativa, el análisis no está automatizado y creo que esa división será más importante con el tiempo. Todo lo que precede a la lectura se vuelve más rápido cada trimestre, lo que significa que la lectura debe seguir siendo coherente.

Cómo la IA puede aumentar el ritmo de aprendizaje, pero hacer que esos aprendizajes no sean fiables

El mayor beneficio de la IA es la velocidad. Las ideas que antes permanecían en una lista de pendientes durante un trimestre ahora se desarrollan y se leen dentro de un único ciclo. Esto se acumula con el tiempo, ya que la rapidez con la que aprendes depende en gran medida de la rapidez con la que puedes probar.

Los malos resultados se presentan de dos formas, y la segunda es más interesante.

La primera es sencilla, y ya la he mencionado. Ejecutamos una campaña en la que las cifras de la parte superior del embudo parecían sólidas, pero la conversión posterior se movió en la dirección opuesta. Los sistemas habían hecho exactamente lo que les pedimos. Les habíamos pedido algo equivocado, lo que constituye un fallo en la definición del objetivo más que un fallo de la IA, aunque se ejecutó con una eficiencia inusual.

La segunda es que la velocidad multiplica tus hábitos epistémicos existentes. Si tu lectura predeterminada del rendimiento es correlacional —y para la mayoría de los equipos lo es—, las pruebas más rápidas no producen un aprendizaje más rápido. Producen una acumulación más rápida de cosas que crees sin razones suficientes. Las directrices de Adobe sobre pruebas publicadas señalan algo relacionado: los profesionales del marketing realizan pruebas con una potencia estadística insuficiente en un número sorprendente de casos. Si sigues haciéndolo, los falsos positivos pueden acabar igualando o superando en número a los verdaderos positivos. Piensa en lo que ocurre cuando aumenta el número de variantes y disminuye el tráfico por variante. No obtienes más ganadores; obtienes más cosas que parecen ganadoras de forma convincente.

Así que, en esencia, la IA aumentó nuestro ritmo de aprendizaje y, al mismo tiempo, incrementó nuestra obligación de demostrar que lo que habíamos aprendido era real.

Por qué la IA tiene dificultades con el contexto y la confianza del cliente

Estos sistemas tienen dificultades porque no tienen acceso al «por qué», que proporciona la mayor parte de la información en un negocio de suscripción para consumidores.

Dos personas pueden buscar el mismo término, hacer clic en el mismo anuncio y llegar con motivaciones completamente distintas, pero los datos no distinguen nada entre ellas. Un modelo que lee señales de comportamiento las agrupa con confianza porque son idénticas en todas las dimensiones medibles. La agrupación es correcta, pero la conclusión extraída de ella puede seguir siendo errónea. Este es un modo de fallo especialmente incómodo porque no hay ningún error que detectar.

Por ejemplo, en el análisis de mercado, los agentes han producido narrativas claras, plausibles y bien argumentadas sobre un cambio en la categoría: resúmenes que parecen escritos por un analista inteligente. Sin embargo, el movimiento subyacente resultó ser un artefacto: un cambio en los informes, un patrón estacional o un cambio definitorio en la forma de contabilizar algo. La narrativa era coherente porque el modelo destaca en la creación de narrativas coherentes, pero la coherencia no es precisión. Lo que la hacía peligrosa, en lugar de simplemente equivocada, era lo acabada que sonaba.

Ese es, en una frase, el problema de la confianza. Estos sistemas no registran la incertidumbre. Una conclusión extraída de pruebas escasas se presenta con el mismo tono que otra extraída de pruebas sólidas. Un analista humano habría expresado reservas, señalado datos extraños o comprobado algo antes de redactarlo. El modelo simplemente lo redacta.

La versión específica del negocio de suscripción plantea un desafío aún mayor. Cuando alguien cancela, el evento parece idéntico tanto si no consiguió lo que buscaba como si lo consiguió por completo y siguió adelante. Son resultados opuestos con la misma firma de datos, y ningún modelo puede separarlos, porque la diferencia reside por completo en un contexto del que el sistema nunca dispuso.

Por qué las previsiones necesitan un rediseño basado en IA

El instinto lleva a intentar hacer las previsiones más precisas aplicando modelos mejores, y creo que ese es el rediseño equivocado de la IA. Gartner sitúa en el 7 % la proporción de organizaciones de ventas que alcanzan una precisión de previsión del 90 % o superior, y esa cifra se ha mantenido obstinadamente estable durante muchos años a pesar de la enorme inversión en herramientas. Cuando un problema se resiste a tanto dinero y tecnología, normalmente es señal de que se ha planteado de forma incorrecta, no de que las soluciones fueran demasiado débiles.

El error de planteamiento consiste en tratar las previsiones como un problema de predicción cuando en realidad es un problema de decisión. Lo que necesita un líder de ingresos no es una cifra más precisa para el próximo trimestre; es una respuesta defendible sobre qué debería hacer de forma diferente esta semana. Son preguntas relacionadas, pero no son la misma, y la segunda es mucho más abordable. Puedes realizar un experimento que te diga si un cambio provocó un resultado. No puedes realizar un experimento que te diga cómo será el mundo dentro de noventa días.

Por eso, defendería un rediseño que desplace el centro de gravedad de la predicción hacia la evidencia causal. En lugar de pedirle a un modelo que interpole el futuro a partir de una señal degradada, hay que preguntarse qué se podría reservar, qué se podría probar y qué resultado cambiaría la asignación de recursos. Eso produce resultados menos impresionantes y decisiones considerablemente mejores. También falla con honestidad, porque una prueba no concluyente te dice que no ha sido concluyente, mientras que una mala previsión no te dice nada hasta que termina el trimestre.

La segunda mitad del rediseño consiste en convertir la incertidumbre en un resultado de primer nivel, en lugar de eliminarla antes de que la cifra llegue a la dirección. La mayoría de los procesos de previsión reducen un rango amplio a una sola cifra porque es más fácil presentar una sola cifra, y todo lo que viene después trata esa cifra como si fuera conocida. Una previsión que incluyera su propio nivel de confianza y declarara claramente qué partes se basan en mediciones sólidas y cuáles en señales modeladas o inferidas sería menos cómoda y mucho más útil.

Por cierto, la IA puede ayudar con todo esto. Es buena manteniendo la base de evidencias, señalando cuándo ha cambiado una suposición subyacente a una proyección y realizando el trabajo tedioso de mantener actualizada una visión general. Lo que no debería hacer es fabricar una falsa precisión al final de una cadena de datos de entrada débiles, que es, por desgracia, la mayor parte de lo que se vende para este fin en esta etapa del ciclo.

Los pensamientos de Jon

La eficiencia y la diferenciación actualmente juegan en contra la una de la otra, por lo que cada líder debe elegir deliberadamente una proporción, porque la proporción predeterminada no es neutral.

Por qué los modelos generativos obligan a elegir entre diferenciación y eficiencia

Aquí hay otro problema. Los modelos generativos no inventan nada; producen el resultado estadísticamente más probable basándose en sus datos de entrenamiento, lo que significa que reproducen las convenciones dominantes y atraen todo hacia una media común.

La eficiencia y la diferenciación actualmente juegan en contra la una de la otra, por lo que cada líder debe elegir deliberadamente una proporción, porque la proporción predeterminada no es neutral.

Cómo deben unificarse y medirse las tareas de ingresos y marketing

En la mayoría de las empresas, un equipo se encarga del anuncio mientras otro se encarga de la página, la demostración o la primera conversación. Ambos equipos se miden y tienden a hacerlo bien. Nadie se encarga de la conexión entre ellos, que es precisamente donde se pierde la intención. En consecuencia, cada función informa de un trimestre sólido mientras el tejido conectivo pierde al cliente.

Aproximadamente la mitad de las organizaciones informa de una falta de alineación en el traspaso entre marketing y ventas, con campañas creadas de forma aislada y vendedores que se enteran de los cambios en los mensajes a través de los posibles clientes en lugar de internamente. Parece un problema de comunicación, pero es un problema de responsabilidad.

Cambiamos la forma de tratar el anuncio y su destino, considerándolos una única unidad creada, publicada y medida conjuntamente, en lugar de dos recursos pertenecientes a dos equipos. El beneficio no fue solo la conversión, sino también la interpretabilidad, porque cuando la promesa y la recompensa son un mismo objeto, por fin puedes analizar la combinación con claridad. Dos equipos que optimizan dos mitades por separado producirán cifras que parecen correctas, pero ninguno de los dos conjuntos te dirá qué hizo la combinación.

La pregunta equivalente para un responsable de ingresos es si la historia que un prospecto escucha de marketing resiste el contacto con la primera llamada comercial, y si alguien puede medir esa transición de forma causal en lugar de limitarse a contar la actividad a ambos lados de ella. Si esas cosas se gestionan y miden por separado, la IA hará que cada mitad sea más eficiente mientras amplía la brecha entre ambas. Hacer que equipos más pequeños avancen más rápido a través de un punto de unión sin un responsable claro es una forma predecible de perder dinero mientras todos los paneles siguen mostrando un estado saludable.

Por qué los CRO deben asumir la función objetivo en lugar de delegarla

En general, este es mi consejo: asume tú mismo la función objetivo en lugar de delegarla o aceptar la que venga configurada por defecto en la plataforma.

Estos sistemas son excelentes para maximizar cualquier cosa que especifiques, lo que significa que la especificación se convierte en la estrategia. Si el número que le das a la máquina es un indicador indirecto del resultado en lugar del resultado mismo, acabarás con un gráfico precioso y un negocio peor, y llegarás ahí más rápido que antes de que existiera la IA.

La disciplina complementaria, y en la que insistiría especialmente, consiste en saber de antemano qué pruebas te convencerían de que algo ha funcionado. La mayoría de las organizaciones de ingresos tienen una respuesta muy sofisticada a qué ocurrió y una respuesta sorprendentemente débil a qué lo causó, y la IA amplía esa brecha porque abarata el primer tipo de respuesta. Si no puedes explicar cómo sería una lectura clara antes de poner algo en marcha, acabarás dando por válido lo que sea que te devuelvan los informes.

La Encuesta de PwC a directores ejecutivos de 2026 reveló que solo el 12 % de los directores ejecutivos consideró que la IA había generado tanto crecimiento de los ingresos como reducción de costes, mientras que el 56 % aún no había observado un beneficio financiero significativo. No interpreto esto como un rendimiento insuficiente de la tecnología; más bien, es una prueba de que la mayoría de las organizaciones la dirigieron hacia algo que no habían definido con suficiente precisión y después lo midieron de una forma que no podía demostrar si la IA había generado un valor financiero significativo.

Sigue la actualidad

Puedes seguir el trabajo de Jon Chang en LinkedIn y en su boletín, Growth Marketing Musings.

¡Próximamente habrá más entrevistas con expertos en The CRO Club!