La atribución en Marketing reparte el crédito de las ventas entre los avisos que el cliente vio antes de comprar; para saber cuántas de esas ventas causó la publicidad hace falta un experimento con grupo de control, y la evidencia de cientos de experimentos en Facebook muestra que los métodos sin control suelen inflar el efecto.

La atribución en Marketing es una de las herramientas más útiles que construyó la industria digital, y rinde todavía más cuando el directorio tiene claro qué pregunta contesta. El dashboard le asigna a cada campaña sus conversiones y calcula un ROAS con dos decimales, así que la cifra se lee como un hecho. La verdad es que ese número contesta una pregunta contable (a qué aviso le anoto esta venta) y el directorio casi siempre está haciendo otra, que es causal: cuántas de estas ventas existen porque pusimos la plata.

LO QUE MIDE EL DASHBOARD Y LO QUE PREGUNTA EL DIRECTORIO

Las métricas de canal son descriptivas y son buenas en lo suyo. El CPM dice cuánto cuesta llegar a mil impresiones, el CPC cuánto cuesta cada clic, el CTR qué porcentaje hizo clic, la tasa de conversión qué parte de esos clics compró y el CPA cuánto costó cada conversión registrada. Con ellas un equipo compra medios con disciplina. Ahora bien, todas describen costo y comportamiento de las personas que pasaron por el aviso, y la pregunta de qué habría hecho esa misma gente si el aviso nunca hubiese aparecido queda fuera de su alcance.

Ese “qué habría pasado” es el contrafactual, y es lo que pesa cuando la decisión es mover presupuesto entre canales o defender la inversión ante finanzas. Un modelo de last click, uno de primer clic o uno multitouch reparten el crédito con reglas distintas (todo al último contacto, todo al primero, en partes según un algoritmo), pero los tres reparten las mismas ventas observadas. Las reglas y su historia ya las revisé en el artículo sobre modelos de medición: MMM, MTA, atribución e incrementalidad; acá el foco está en el sesgo que comparten todas.

EL ALGORITMO LE MUESTRA EL AVISO A QUIEN YA IBA A COMPRAR

Las plataformas optimizan la entrega para conseguir conversiones, y lo hacen muy bien: aprenden qué personas tienen más probabilidad de comprar y les muestran el aviso a ellas. Esa eficiencia, que es justo lo que el anunciante pidió, es la fuente del problema de medición: la gente que vio el aviso y la gente que no lo vio eran distintas desde antes de la campaña. Comparar sus tasas de compra mezcla dos cosas, el efecto del aviso y el hecho de que el algoritmo eligió a los compradores probables. A eso se le llama sesgo de selección.

Gordon, Zettelmeyer, Bhargava y Chapsky (2019) describen tres fuentes de esta distorsión: la actividad del propio usuario (quien entra más a la red ve más avisos y también compra más en línea), la segmentación del sistema, que sobrepondera a quienes predice que van a convertir, y la competencia en la subasta. El dashboard, construido sobre esa misma población expuesta, hereda el sesgo.

El caso típico es el remarketing: la audiencia ya visitó el sitio o dejó productos en el carro, y una parte relevante iba a volver a comprar de todas formas, aunque la atribución le anote esas ventas a la campaña.

LO QUE DICE LA EVIDENCIA: 15 EXPERIMENTOS, Y DESPUÉS 663

Gordon y sus coautores (2019) hicieron la prueba más limpia que conozco sobre este punto. Tomaron 15 campañas corridas en Facebook en Estados Unidos como experimentos aleatorios en 2015, con 500 millones de observaciones y 1.600 millones de impresiones, así que conocían el efecto verdadero de cada una. Después ignoraron el grupo de control, como haría un analista sin experimento, y estimaron el efecto comparando expuestos con no expuestos con seis métodos (emparejamiento exacto, estratificación, propensity score matching y tres variantes de regresión) y cuatro conjuntos de variables cada vez más ricos.

En una de las campañas, el experimento midió que el aviso aumentaba las compras en 73% entre quienes lo vieron. La comparación directa entre expuestos y no expuestos daba 316%, más de cuatro veces el efecto real, y emparejar por edad y género, un atajo muy usado en la industria según los autores, daba 222%. Con el conjunto más completo de variables, varios métodos se acercaron al 73% en esa campaña. El hallazgo que importa viene al mirar las 15 juntas: en siete de las 14 campañas que medían compras, las estimaciones observacionales se alejaron del experimento en más de un factor de tres, en su mayoría hacia arriba y en algunos casos hacia abajo. En uno de los casos más extremos, la estratificación estimó un aumento de 1.724% para una campaña cuyo efecto experimental era de 2,4%. Ningún método ganó de forma consistente, y los autores no pudieron identificar qué rasgos de una campaña anticipan un sesgo grande.

Para un CFO, esa última frase pesa harto: el error es grande e impredecible, así que no se corrige aplicando un descuento fijo al ROAS reportado.

Gordon, Moakler y Zettelmeyer (2023) repitieron la pregunta a otra escala en Close Enough?. Analizaron 663 experimentos corridos en Facebook entre noviembre de 2019 y marzo de 2020, con 1.673 resultados de conversión y más de 5.000 variables por usuario, un nivel de detalle que los autores consideran superior al que tiene un anunciante o su proveedor de medición. Probaron dos métodos de punta, machine learning doble (DML) y propensity score matching estratificado, ambos con modelos de deep learning. La mediana del efecto experimental fue 29% en resultados de parte alta del embudo, 18% en la parte media y 5% en compras. DML estimó medianas de 83%, 58% y 24% para los mismos tramos, y el matching estratificado, 173%, 176% y 64%. Medida como diferencia absoluta, la mediana del error de DML fue de 115, 103 y 57 puntos porcentuales, sobre efectos reales de 29%, 18% y 5%.

El estudio también encontró dónde los métodos se comportan mejor: en campañas de prospección más que de remarketing, cuando la tasa de conversión del grupo de control es baja, cuando hay más usuarios y cuando una parte menor de la audiencia termina expuesta. Aun en esas condiciones el error promedio siguió alto. Los autores lo describen como un problema de datos, porque la selección ocurre en cada subasta con información que las plataformas no guardan, y concluyen que la variación aleatoria de un experimento seguirá siendo necesaria para medir bien el efecto de la publicidad.

QUÉ RESPONDE CADA ENFOQUE

EnfoqueQué responde bienQué deja sin responderDónde usarlo
Last clickQué contacto cerró la venta registradaCuántas de esas ventas habrían ocurrido sin el aviso; el aporte de lo que generó la demanda antesLectura diaria de canales de cierre, con cautela
Multitouch o atribución basada en datosCómo se reparte el crédito entre los contactos observados de un recorridoEl contrafactual: reparte las mismas ventas observadas, incluidas las que iban a llegar igualComparar creatividades, audiencias y palabras clave dentro de un canal
Métodos observacionales (matching, propensity score, DML)Una estimación causal corregida por las variables disponiblesLa selección que no quedó registrada en los datos; el tamaño del sesgo en cada campañaExploración y priorización de hipótesis cuando no hay experimento posible
Experimento con grupo de control (holdout, A/B, test geográfico)Cuántas ventas causó la campaña en ese período y mercadoEl detalle fino de cada contacto; resultados fuera de las condiciones testeadasDecisiones grandes de presupuesto y calibración de los demás modelos

DÓNDE LA ATRIBUCIÓN SÍ RINDE

La atribución tiene un uso donde rinde harto: la optimización táctica dentro de un mismo canal. Cuando un equipo compara dos creatividades que corren en la misma plataforma, con la misma audiencia y en las mismas semanas, el sesgo de selección afecta a ambas de forma parecida, y la diferencia entre ellas suele ser informativa aunque el nivel absoluto esté inflado. Es un supuesto razonable y conviene revisarlo cuando las opciones llegan a públicos muy distintos, porque el hallazgo de Close Enough? sobre remarketing indica que el sesgo crece cuanto más cerca de la compra está la audiencia.

Para comparar canales o estimar cuánto aporta el presupuesto completo hace falta otra herramienta, porque cada plataforma mide con sus reglas y sobre sus propios expuestos, y la suma de lo que cada una se atribuye puede superar las ventas reales de la empresa.

QUÉ SIGNIFICA PARA TU NEGOCIO

La decisión concreta es separar dos tableros: uno táctico, con atribución, para que el equipo optimice a diario dentro de cada canal, y otro para el directorio, con efectos incrementales medidos contra un grupo de control, que sostiene la asignación del presupuesto y la conversación con finanzas y se alimenta de pocos experimentos bien diseñados en los canales donde se juega más plata.

El escepticismo sano frente al dashboard de la plataforma consiste en tratar el ROAS atribuido como una hipótesis con dirección conocida. Como los métodos sin control tienden a sobreestimar en un monto que no se conoce de antemano, el número del dashboard es un techo probable. Esto conversa con el ROAS que la plataforma reporta y cobra: aunque el margen esté bien calculado, el ingreso que entra a la fórmula puede incluir ventas que habrían llegado solas. La pregunta que yo llevaría a la próxima revisión con el equipo de Marketing es una sola: “¿Cuánto de este ROAS se sostiene en un test?”.

Esa pregunta lleva la discusión hacia un plan para medir los canales grandes, el tema del artículo pilar de la serie sobre qué ventas no habrían existido sin la campaña.

CÓMO APLICARLO MAÑANA

  1. Separa las decisiones tácticas dentro de un canal (creatividades, audiencias, palabras clave) de las de asignación entre canales o presupuesto total. Las primeras pueden seguir con atribución; las segundas necesitan evidencia causal.
  2. Elige para el primer experimento el canal con más inversión y más dudas, que suele ser el que tiene más remarketing o el que más se atribuye a sí mismo.
  3. Diseña un test con grupo de control antes de mirar los datos. Puede ser un holdout de audiencia dentro de la plataforma, un test A/B o un test geográfico por zonas. Define la métrica de Negocio, la duración y el criterio de decisión por escrito.
  4. Calcula el factor de ajuste de ese canal: compara el efecto incremental del test con lo que la atribución reportaba en el mismo período. Esa proporción sirve para leer el dashboard hasta el siguiente test, para ese canal y ese momento.
  5. Usa los resultados para calibrar el modelo agregado. Si la empresa tiene o va a construir un MMM, los experimentos son los puntos de anclaje que lo mantienen honesto, como se explica en el artículo sobre MMM con Meridian y Robyn calibrado con experimentos.

Cuando un equipo corre su primer test de incrementalidad en el canal que más se atribuye, la conversación interna cambia de tono, porque aparece un número que no depende de la regla de reparto de nadie. En los proyectos donde he trabajado la medición y la analítica de Marketing, ese primer resultado ordena la casa, porque deja claro qué tablero sirve para optimizar y cuál sirve para decidir. La atribución sigue con su trabajo diario y el directorio por fin recibe respuesta a la pregunta que siempre hizo.

PREGUNTAS FRECUENTES

¿Qué diferencia hay entre atribución y causalidad en Marketing?

La atribución reparte el crédito de las ventas observadas entre los avisos que el cliente vio o cliqueó, según una regla como last click o multitouch. La causalidad mide cuántas ventas existen gracias a la campaña, comparando contra un grupo de control que no vio el aviso. La atribución sirve para optimizar dentro de un canal; la causalidad, para decidir presupuesto.

¿Por qué la atribución suele sobreestimar el efecto de la publicidad?

Por sesgo de selección: los algoritmos de las plataformas muestran el aviso con preferencia a las personas que tienen más probabilidad de comprar, así que parte de las ventas atribuidas habría ocurrido igual. En 15 experimentos en Facebook, Gordon y sus coautores (2019) encontraron que en siete de 14 campañas de compra los métodos observacionales se alejaban del resultado experimental en más de un factor de tres, en general hacia arriba.

¿Pueden los modelos de machine learning reemplazar a un experimento?

Con los datos disponibles hoy, la evidencia dice que no de forma confiable. En 663 experimentos en Facebook, con más de 5.000 variables por usuario, el método DML estimó un aumento mediano de 24% en compras cuando el efecto experimental mediano era 5% (Gordon, Moakler y Zettelmeyer, 2023). Los métodos funcionaron mejor en campañas de prospección que de remarketing, pero el error siguió alto.

¿Cuándo sí conviene usar la atribución?

Para decisiones tácticas dentro de un mismo canal: elegir entre creatividades, audiencias o palabras clave que corren en la misma plataforma y período. Ahí el sesgo afecta de forma parecida a las opciones comparadas y la diferencia entre ellas suele ser útil. Para comparar canales o justificar el presupuesto total conviene un experimento con grupo de control.

REFERENCIAS

  • Gordon, B. R., Zettelmeyer, F., Bhargava, N. y Chapsky, D. (2019). A comparison of approaches to advertising measurement: Evidence from big field experiments at Facebook. Marketing Science, 38(2), 193-225. https://doi.org/10.1287/mksc.2018.1135
  • Gordon, B. R., Moakler, R. y Zettelmeyer, F. (2023). Close enough? A large-scale exploration of non-experimental approaches to advertising measurement. Marketing Science, 42(4), 768-793. https://doi.org/10.1287/mksc.2022.1413

LA SERIE

Escrito por
Rodrigo Orellana.

Founder & CEO de Futture, Co-founder de Thinkr y Keynote Speaker de IA, Negocio, Transformación Digital y Marketing. Conoce sus conferencias en rodrigoorellana.net.