Un geo test activa una campaña en un grupo de zonas, deja otras zonas parecidas como control y compara las ventas de ambas para estimar cuántas ventas causó el canal. Trabaja con ventas agregadas por zona y no con datos de personas, así que una empresa mediana en Chile lo puede pagar y defender el resultado ante su directorio.

LA PREGUNTA QUE LLEGA AL DIRECTORIO

Cuando el directorio revisa el presupuesto de Marketing, la pregunta de fondo casi siempre tiene la misma forma: cuánta venta perderíamos si mañana apagamos este canal. El tablero de la plataforma responde otra cosa, las ventas que el canal tocó dentro de su ventana de atribución, como explico en por qué la atribución no es causalidad. Contestar al directorio exige un contrafactual, una estimación creíble de lo que habría pasado sin la inversión, que es la idea central del artículo pilar sobre qué ventas no habrían existido sin la campaña.

Para una empresa mediana, las dos respuestas clásicas parecen quedar lejos. El test A/B por usuario necesita identificar y asignar personas, algo que la pérdida de cookies y el consentimiento complican cada año. El MMM necesita historia: la documentación de Google Meridian recomienda como mínimo dos años de datos semanales para modelos geográficos y tres años para modelos nacionales. Ahora bien, una marca joven sí tiene desde el primer día sus ventas separadas por ciudad, comuna o región, y con eso alcanza para correr un experimento causal de verdad.

CÓMO FUNCIONA UN GEO TEST

La lógica es la de cualquier experimento, con la geografía como unidad. En vez de sortear personas se eligen zonas (comunas, ciudades o regiones) según dónde se pueda segmentar la inversión y medir las ventas. En el período pre todas las zonas funcionan igual y se aprende cómo se mueven juntas sus ventas. En el período de test el canal se activa, o se sube con fuerza, solo en las zonas tratadas, y las de control siguen como siempre. La distancia entre lo que vendieron las tratadas y lo que se esperaba según las de control es el efecto incremental.

El paso delicado es construir ese “lo que se esperaba”. GeoLift, la herramienta open source de Meta para medir lift a nivel geográfico, lo resuelve con métodos de control sintético: arma una zona artificial como promedio ponderado de las zonas de control, elegida para que antes de la campaña se mueva prácticamente igual que la zona tratada. Usa la versión aumentada del método para corregir el sesgo cuando el calce no es exacto. Es un paquete de R con licencia MIT y trae calculadoras de potencia para seleccionar mercados.

El insumo es la venta diaria o semanal por zona, que la empresa ya tiene en su sistema de ventas, en las direcciones de despacho o en la caja de cada tienda. Ningún identificador individual entra al análisis, y eso lo vuelve una de las piezas más naturales para medir sin cookies y bajo la Ley 21.719.

LO QUE DICE LA EVIDENCIA

Gordon y sus coautores (2019) dejaron bien documentada la razón para tomarse el trabajo de experimentar. Tomaron 15 experimentos publicitarios en Facebook, con 500 millones de observaciones usuario experimento y 1.600 millones de impresiones, y compararon el resultado aleatorizado con lo que entregaban métodos observacionales sofisticados aplicados a los mismos datos. En general esos métodos sobreestimaron el efecto de la publicidad, a veces lo subestimaron, y en la mitad de los estudios la estimación del aumento porcentual de compras se equivocó por un factor de tres en todos los métodos probados.

Kohavi, Tang y Xu (2020) agregan el argumento de humildad: en Microsoft, solo un tercio de las ideas que se testearon mejoró la métrica que buscaba mejorar. Si quienes más experimentan aciertan una de cada tres veces, la intuición sobre qué canal funciona merece la misma prueba. El libro trata experimentos online por usuario, y sus reglas de diseño se trasladan casi intactas a la geografía: una métrica primaria acordada (el OEC, Overall Evaluation Criterion), potencia estadística suficiente, que en la práctica se diseña entre 80% y 90%, un umbral de relevancia para el Negocio definido antes de correr el test y una duración fija decidida de antemano.

Con todo, la propia documentación de GeoLift sugiere experimentar a nivel de personas cuando sea posible, porque tiene mayor potencia estadística. El geo test gana su lugar cuando ese camino no está disponible o cuando importa la venta total de la zona, sumando web y tienda.

GEO TEST, A/B POR USUARIO O MMM

Los tres métodos responden preguntas distintas y se complementan, según los criterios de las fuentes citadas.

CriterioGeo testA/B por usuarioMMM
Datos que exigeVentas por zona, idealmente diarias; GeoLift recomienda historia estable de 4 a 5 veces la duración del test, al menos 25 períodos previos y 20 o más zonasIdentificar y asignar al azar a cada usuario; Kohavi recomienda miles de unidades experimentalesInversión por canal, ventas y variables de control; Meridian recomienda al menos dos años semanales en modelo geográfico y tres en nacional
CostoSoftware open source, horas de análisis y la venta que se deja de estimular en las zonas de control durante el testBajo cuando la plataforma o el sitio ya permiten aleatorizar usuariosPreparación de datos y modelado con equipo estadístico
PlazoSemanas: GeoLift pide al menos un ciclo de compra, 15 días con datos diarios o 4 a 6 semanas con datos semanalesDías a semanas; Kohavi recomienda un mínimo de una semana para cubrir el ciclo semanalMeses de preparación, más la historia que haya que acumular
Qué respondeEl efecto incremental de un canal sobre la venta total de las zonas, en ese períodoEl efecto de una creatividad, oferta o página sobre usuarios identificablesLa contribución de todos los canales y la respuesta a la inversión, para repartir el presupuesto
PrivacidadDatos agregados por zona, sin datos personalesDepende de identificadores individuales y del consentimientoDatos agregados

En una marca con poca historia el geo test llega primero, y cuando acumule los años que pide un MMM, ese resultado será el insumo para calibrarlo. Meridian llama calibración al uso de resultados de experimentos para fijar priors de ROI por canal, y advierte que cada experimento refleja sus propias condiciones de ventana, regiones y campaña. Ese puente lo desarrollo en MMM en 2026 y por qué tu modelo necesita un experimento que lo calibre.

EL CASO: UNA MARCA CHILENA DE DESCANSO

Tomemos una marca chilena de descanso que vende colchones por su sitio y en tiendas propias, con una parte relevante del presupuesto en pauta de prospección en Meta. La serie histórica que pide un MMM todavía está en construcción, porque cambió de sistema de ventas hace poco. Así que la pregunta del gerente general (cuánto aporta de verdad esa pauta) hoy se responde mejor con un experimento que Finanzas pueda firmar.

El diseño que se haría es este. La hipótesis: la pauta de prospección en Meta genera ventas incrementales totales cuyo margen cubre la inversión con la holgura que Finanzas define como mínima. La unidad: ciudades y agrupaciones de comunas fuera del Gran Santiago, porque en la capital la gente vive en una comuna, trabaja en otra y compra en una tercera, y eso contamina la comparación. El OEC: venta neta diaria por zona, por dirección de despacho en la web y por tienda en el canal físico, para capturar al cliente que vio el aviso y fue a probar el colchón. El período pre: el último año de ventas diarias por zona, que cubre la estacionalidad. La duración: al menos un ciclo de compra, que en un colchón es largo, con fecha de término fijada antes de partir.

La decisión que habilita queda escrita antes de mirar. Si el efecto incremental supera el umbral acordado con un intervalo que no lo cruza, la pauta se escala al resto del país. Si el efecto queda cerca de cero, esa inversión se mueve a otro canal o a otra etapa del embudo. Si el resultado es inconcluso, se repite con más zonas o más semanas, en vez de declarar un ganador por intuición. En los tres casos la marca sale con su primer número causal propio.

CÓMO APLICARLO MAÑANA

  1. Escribe la hipótesis y la decisión que habilita. Un canal, una pregunta y qué harás con cada resultado posible.
  2. Define la unidad geográfica y arma la base. Elige el nivel más fino en que puedas segmentar la inversión sin que la gente cruce de una zona a otra, y junta al menos un año de ventas diarias por zona. GeoLift recomienda partir con 20 o más zonas.
  3. Acuerda un solo OEC. Venta neta o margen por zona, medidos igual en tratadas y control.
  4. Calcula muestra y duración con potencia. Usa las calculadoras de potencia de GeoLift para elegir zonas y semanas, con un objetivo de 80% a 90%, y respeta como mínimo un ciclo de compra.
  5. Firma los criterios de decisión antes de mirar. Umbral de relevancia, fecha de término y regla de lectura, aprobados por Marketing y Finanzas. La lógica de hipótesis y significancia está explicada en qué es un test A/B.

LOS TRES ERRORES QUE ARRUINAN UN GEO TEST

El primero es elegir zonas que no se parecen. GeoLift pide que test y control calcen en exactamente la misma métrica que se va a medir, partiendo por las ventas y sumando otras variables relevantes. Poner Antofagasta contra Temuco porque “son ciudades medianas” deja fuera todo lo que mueve la venta de un colchón en cada una. El control sintético ayuda porque obliga a mostrar que, antes de la campaña, la zona tratada y su réplica se movían juntas.

La contaminación es el segundo, y el más silencioso. Kohavi lo plantea como la condición de que las unidades no interfieran entre sí, y en geografía se rompe de varias formas: el aviso que se escapa a la comuna vecina, la promoción local que alguien lanzó solo en las zonas tratadas, el cambio de pauta en televisión nacional en medio del test. La documentación de GeoLift pide mantener constante todo el resto del Marketing, local y nacional, en todas las zonas durante el experimento.

El tercero es terminar antes. Kohavi advierte que vigilar el valor p todos los días y cortar cuando conviene introduce un sesgo de 5 a 10 veces al declarar resultados con significancia estadística, y por eso Google, LinkedIn y Microsoft usan duraciones fijadas de antemano. La tentación crece en un geo test, donde cada día de control es venta sin estimular. Pero cortar en la tercera semana un test diseñado para seis deja a la empresa con un número que nadie puede defender.

Cuando un equipo corre su primer geo test, la conversación con Finanzas cambia de tono, porque pasa a girar en torno a un diseño que ambos firmaron antes de ver un solo dato. En los proyectos donde he medido esto, el costo real está en la disciplina de diseñarlo bien y esperar, un costo bajo al lado de una decisión de presupuesto tomada con un número causal. Es el tipo de trabajo que reúne la medición de incrementalidad y la analítica de Marketing, y para una empresa mediana es probablemente la decisión de Negocio de mejor relación entre costo y valor que tiene disponible este año.

PREGUNTAS FRECUENTES

¿Qué es un geo test en Marketing?

Un geo test es un experimento en que una campaña o canal se activa en un grupo de zonas geográficas, como comunas, ciudades o regiones, mientras otras zonas comparables quedan como control. Comparando las ventas de ambos grupos contra lo que se esperaba según el período previo, se estima cuántas ventas causó la campaña. Usa datos agregados por zona, sin rastrear personas.

¿Cuántas zonas y cuánta historia necesita un geo test?

La documentación de GeoLift, la herramienta open source de Meta, recomienda al menos 25 períodos previos de 20 o más zonas geográficas, una historia de datos estables de 4 a 5 veces la duración del test y, en condiciones normales, información de las últimas 52 semanas. También recomienda datos diarios por sobre semanales.

¿Cuánto dura un geo test?

Un geo test debe cubrir al menos un ciclo de compra del producto. La documentación de GeoLift recomienda un mínimo de 15 días con datos diarios o de 4 a 6 semanas con datos semanales. La duración se fija antes de partir y no se acorta al ver resultados, porque mirar y cortar antes infla los falsos positivos.

¿Un geo test reemplaza a un MMM?

Un geo test y un MMM se complementan. El geo test mide con precisión un canal en un período y unas zonas, y sirve aunque la marca tenga poca historia. El MMM reparte el presupuesto entre todos los canales y necesita varios años de datos. Herramientas como Google Meridian usan resultados de experimentos para calibrar los priors de ROI del modelo.

REFERENCIAS

LA SERIE

Escrito por
Rodrigo Orellana.

Founder & CEO de Futture, Co-founder de Thinkr y Keynote Speaker de IA, Negocio, Transformación Digital y Marketing. Conoce sus conferencias en rodrigoorellana.net.