Todo lo que los marketers necesitan saber sobre las pruebas de incrementalidad

¿Cómo sabes, de verdad, que el dinero que estás gastando en marketing es dinero bien gastado? ¿Cómo sabes si tus anuncios están realmente impactando en el engagement del consumidor?

La verdad es que sólo un cierto tipo de medición puede responder a esta pregunta con absoluta claridad.

Se llama prueba de incrementalidad.

Las pruebas de incrementalidad miden el verdadero, y a menudo oculto, ROI publicitario. ¿Por qué oculto?

Bueno, las líneas que separan el tráfico orgánico y las conversiones pagadas son a menudo confusas. Es muy posible que estés pagando para adquirir nuevos usuarios que se hubieran convertido de todos modos. Las pruebas de incrementalidad son la mejor manera de descubrir esta relación oculta y, en última instancia, conocer el verdadero valor de marketing.

Medir la incrementalidad es más que simplemente suspender la actividad de los medios pagados durante una semana y analizar el efecto. Hacer este tipo de pruebas es un asunto delicado, así que el objetivo de este artículo es mostrarte cómo calcular la incrementalidad y cómo interpretar sus resultados.

También veremos cómo difiere de la atribución de último clic (a través de la optimización posterior a la instalación), y te dejaremos con una comprensión general de esta forma de medición cada vez más importante.

¿Cómo se determina el impacto incremental?

Las pruebas de incrementalidad consisten en dos grupos: prueba y control. El grupo de prueba se expone a los anuncios mientras que el grupo de control se mantiene aparte para el análisis.

Midiendo los resultados de cada grupo se sabe qué conversiones, ya sean relacionadas con la adquisición o con el remarketing, no se habrían producido sin la publicidad. Esto se conoce como incremento de la ganancia.

Por ejemplo, en los términos más sencillos, la pizzería Marco lanza una nueva pizza gruesa y quiere determinar el éxito de su campaña publicitaria. Después de un mes de repartir cupones a los clientes, miden cuántas de las nuevas pizzas se compraron con el cupón de descuento y cuántas se compraron sin él. La diferencia en las ventas entre los dos grupos de clientes es el incremento de ventas.

3 tipos de efecto incremental

Los experimentos de incrementalidad pueden dar una serie de resultados, por ejemplo:

En el primer ejemplo podemos ver que el experimento condujo a un aumento incremental positivo. Eso significa que tu campaña pagada fue efectiva ya que generó un aumento de los ingresos.

En el segundo ejemplo no hay incremento y permanece neutral. Mientras que la campaña está generando ventas, no tiene ningún valor incremental y el equipo de marketing debe considerar la posibilidad de hacer una pausa en la campaña o intentar un enfoque diferente (cambiar la creatividad, actualizar el objetivo, etc.).

En el último ejemplo vemos un incremento negativo. Aunque es raro, es posible que una campaña publicitaria esté haciendo más daño (por ejemplo, la sobreexposición en una campaña de remarketing que lleva a un impacto negativo de la marca). También vale la pena examinar la prueba en sí misma y asegurarse de que esté configurada correctamente.

¿Cómo funciona realmente la prueba de incrementalidad?

Primero, exploremos algunos términos y métricas clave.

A continuación se presentan algunas definiciones de la terminología que rodea a la incrementalidad y que nos ayudará a comprender aún mejor el proceso.

Término	Definición
Indicadores Clave de Rendimiento (KPI)	Un valor medible que demuestra la eficacia con que una compañía de aplicaciones está logrando sus objetivos del KPI de negocio
Grupo de control	Un segmento de usuarios que no estará expuesto a los anuncios del grupo de prueba en una determinado campaña
Grupo de prueba	Un segmento de usuarios que verá los anuncios en una campaña determinada
Significado estadístico	Una medida de la probabilidad de que la diferencia de resultados entre el grupo de control y el grupo de prueba no sea una coincidencia
Aumento incremental	La diferencia porcentual del grupo de prueba con respecto al grupo de control

Pasando al proceso. Una prueba de incrementalidad es similar a otros experimentos científicos. Tienes tu hipótesis, método, colección y análisis de resultados, y tu conclusión. Con la prueba de incrementalidad hay cinco etapas distintas; Definir, segmentar, lanzar, analizar y tomar medidas. Veamos más a fondo cada una de las etapas.

Definiendo tus objetivos

Cuando se inicia un experimento de incrementalidad, es importante definir la hipótesis e identificar los KPI de negocio vitales que se quieren examinar más a fondo. Piensa en lo que estás buscando probar con este método científico.

Por ejemplo, ¿estás examinando el número de instalaciones, ROI, ROAS, o una métrica diferente en conjunto?

Segmentando tu audiencia

Al realizar una prueba de incrementalidad en una campaña de remarketing, selecciona la audiencia con la que deseas realizar este experimento y asegúrate de segmentar adecuadamente una sección de esta audiencia como grupo de control.

Consejo profesional: Tu plataforma de atribución probablemente podrá ayudarte a segmentar tu audiencia como desees y construir tus campañas en consecuencia.

Los grupos (control y prueba) deben tener características similares pero no se superponen.

Esto puede ser difícil cuando se centra en campañas de adquisición de usuarios, ya que no conocemos la audiencia en ausencia de un identificador único. Para explicarlo, un identificador único es exactamente eso. Un identificador particular, es como una identificación o código, que lo diferencia de otros, haciéndolo único.

Sin embargo, hay otros factores de identificación con los que se puede segmentar la audiencia incluyendo parámetros como la geolocalización, el tiempo (similar a los tres tipos de crecimiento incremental anteriores), los productos o la demografía.

Lanzar el experimento

Decide la duración de tu prueba y la ventana de prueba y lánzala.

La mejor práctica establece que la duración de tu experimento debe durar al menos una semana.

La ventana de prueba, es decir, los días de acción del usuario que preceden a la prueba, depende del ciclo comercial de tu aplicación y de los volúmenes de datos con los que tengas que trabajar.

La ventana de pruebas y experimentos debe planificarse para un momento en que el calendario esté despejado y esto dará la representación más exacta de la eficacia de tu campaña.

Analizando los datos

Una vez que hayas recogido todos los datos de tus grupos de control y de prueba, agrégalos y compáralos para identificar el incremento en un KPI específico, de acuerdo con tus objetivos.

Comprender la relación entre los resultados de los grupos de control y de prueba, ayudarán a explicar por qué hubo un incremento positivo, negativo o neutral.

Si notas una gran brecha entre tu grupo de control y el grupo de prueba puede ser un indicador de que hay algo mal en la configuración del experimento y deberías elegir volver a hacer la prueba.

Aunque las pruebas de incrementalidad pueden ser bastante difíciles de establecer por sí solas, hay proveedores de atribución que ofrecen herramientas integradas de pruebas de incrementalidad. A partir de la prueba podrás ingerir todos los datos de la prueba directamente desde tu plataforma de atribución en un dashboard de incrementalidad, una ventaja significativa que hace que el proceso sea más racionalizado y eficiente.

Toma acción

Basándose en la información obtenida, aplica los insights a tus campañas para maximizar el impacto. Este podría ser el mejor mensaje para cada público objetivo, el momento óptimo para el re-engagement, o la fuente de medios más efectiva, por nombrar algunos.

2 métodos clave para medir la incrementalidad

Una vez que se han acumulado y agregado los datos, ¿cómo se calcula el aumento incremental?

Aquí tienes los dos métodos principales:

1) Beneficio incremental

Medir el aumento señalando el beneficio incremental del valor real de un canal de comunicación dado. Esto se puede calcular restando el beneficio del grupo de control del beneficio del canal.

Por ejemplo, digamos que has gastado 2.000 dólares en una campaña. El Canal de Medios A generó 5.000 dólares de ganancias y el Canal de Medios B generó 3.000 dólares. En la superficie, ambos parecen canales rentables. Sin embargo, tu campaña orgánica también generó 3.000 dólares, por lo que el beneficio incremental en el Canal B fue cero.

Canal	Tu inversión	Beneficio	Beneficio incremental
Canal de Medios A	$2000	$5000	$2000
Canal de Medios B	$2000	$3000	$0
Orgánico	$0	$3000	No aplica

Al comprender cuánto beneficio se obtiene a través de tu grupo de control, se ve que cualquier cosa que se genere por debajo de ese valor no te da ningún beneficio incremental.

Básicamente, estarías obteniendo los mismos beneficios sin publicidad para ellos, así que ahorra tu presupuesto e invierte en un canal, actividad, fuente de medios, campaña, etc. que pueda tener más impacto.

2) Aumento incremental

Utiliza la siguiente fórmula para calcular el aumento incremental:

Para mostrar cómo funciona podemos adjuntar valores numéricos. Digamos que tu grupo de prueba generó 10.000 conversiones y el grupo de control resultó en 8000 conversiones. Así que 10.000 menos 8000, dividido por 8000 es 0,25.

Un incremento de un 25% puede ser juzgado como bueno o malo contra tus KPIs y ROAS.

Una forma de probarlo es medirlo con el costo. Dividir el costo de adquisición (CPA) por el incremento para ver si es igual o superior a tu LTV.

Por ejemplo, si tu CPA es de 2 dólares, divídelo por 0,25, lo que equivale a 8 dólares. Si tu LTV es superior a 8 dólares, está bien. Si es menor que eso, puede que tengas que reevaluar tu estrategia de campaña.

Incrementalidad vs. Prueba A/B

Ahora que tienes lo esencial de las pruebas de incrementalidad, te preguntarás, ¿es realmente tan diferente de las pruebas A/B?

Lo primero que hay que destacar es que la incrementalidad es esencialmente un tipo de prueba A/B. La prueba A/B estándar divide tu producto o campaña en dos, A y B, y divide tu audiencia en Audiencia 1 y Audiencia 2. Luego, se aplican diferentes versiones del producto o campaña a las diferentes audiencias y se ve cuál obtiene mejores resultados.

Por ejemplo, un público ve un banner con un botón azul, y el otro ve el mismo banner pero con un botón rojo. Comparar el CTR del banner para cada audiencia es una prueba estándar A/B en marketing.

Donde la prueba A/B difiere de la incrementalidad es en el grupo de control, donde una porción de la audiencia no recibe ningún anuncio durante este tiempo.

Si volvemos al ejemplo anterior, la incrementalidad te informará si es mejor ejecutar un anuncio determinado que no ejecutarlo, compara si el anuncio con un botón azul supera al mismo anuncio pero con el botón rojo.

¿Cómo es que no se sirven anuncios a una audiencia, y aún así “posees” el real-state del anuncio?

Existen tres metodologías:

• Intención de tratar (ITT) – este método calcula los resultados del experimento basándose en la asignación inicial del tratamiento y no en el tratamiento que finalmente se recibió (lo que significa que se marca a cada usuario para la prueba/control por adelantado y no se basa en los datos de atribución. Tienes la “intención” de tratarlos con anuncios/evitar que vean los anuncios, pero no hay garantía de que eso suceda).
• Anuncios/ofertas fantasmas – este es otro ejemplo de una audiencia dividida al azar, pero esta vez se hace justo antes de que el anuncio sea servido. El anuncio es entonces retenido del grupo de control, simulando el proceso de mostrar el anuncio al usuario, conocido como servicio de anuncios, sin pagar por los anuncios de placebo. Esta es una táctica utilizada principalmente por las redes publicitarias que realizan sus propias pruebas de incrementalidad.
• Anuncios de servicio público (PSAs) – Estos están para mostrar anuncios tanto al grupo de prueba como al de control, sin embargo, al grupo de control se le muestra un PSA general mientras que al grupo de prueba se le muestra la variante. Los comportamientos de los usuarios de ambos grupos se comparan para calcular el aumento incremental.

Incrementalidad vs. Optimización del ROAS

Las pruebas de incrementalidad no sustituyen a los modelos de atribución tradicionales. Funciona junto con la atribución para ayudarte a medir mejor tu rendimiento.

Nota: Si sólo estás midiendo las instalaciones, entonces esto es insuficiente cuando se trata de entender tu ROAS.

Los marketers deben medir y optimizar basándose en un rango de métricas posterior a la instalación, y cuanto más abajo en el embudo, mejor. Al enfocarse en la LTV y, más importante, al factorizar los costos de los medios, deberían ser capaces de ver si su ROAS es positivo.

La incrementalidad funciona dentro de este marco y te dice si podrías tener un ROAS aún mejor gastando menos en publicidad y aún así obtener los mismos ingresos de usuarios orgánicos.

El impacto incremental en el ROAS (también llamado de iROAS) se calcula tomando la diferencia entre los ingresos del grupo de prueba y los ingresos del grupo de control y dividiéndolo por el total de los gastos publicitarios. Al eliminar las conversiones orgánicas de la ecuación se puede calcular el verdadero impacto de una campaña y optimizar en consecuencia.

Por ejemplo, si tu iROAS es inferior al 100%, puedes redistribuir los presupuestos a campañas y canales de mejor rendimiento. Si es igual o superior al 100%, sabrás que no estás canibalizando el tráfico orgánico y que tus anuncios son efectivos.

Con el prefijo de la incrementalidad, los marketers tienen una capa adicional y vital de información para optimizar el ROAS a su máximo potencial. Aquí radica la diferencia entre medir simplemente su ROI / ROAS y ver el incremento o el impacto de sus campañas de marketing en el gasto publicitario.

Los beneficios de las pruebas de incrementalidad

Los marketers que utilizan las pruebas de incrementalidad son capaces de destacar, con confianza, exactamente cuán efectiva fue su campaña. No sólo han identificado el impacto de su iROAS, sino que pueden aplicar estos insights a futuras estrategias de marketing.

Por ejemplo, la prueba de incrementalidad será muy útil cuando se pruebe un nuevo canal de medios antes de decidir si se invierte más. También puedes utilizar las pruebas de incrementalidad en pequeñas campañas de medios para ver si hubo un ROAS positivo. Si la respuesta es afirmativa, entonces puedes escalar con confianza los esfuerzos de marketing en ese canal.

Otro ejemplo en el que las pruebas de incrementalidad son útiles es cuando llega el momento de crear una estrategia de re-engagement. Las pruebas de incrementalidad ayudan a destacar el día óptimo, posterior a la instalación, para volver a comprometer a los usuarios y asegurar el mayor incremento de tus esfuerzos de marketing.

Con este conocimiento, tú, como vendedor, podrás tomar decisiones mejor informadas sobre qué canales están teniendo el mayor impacto (real) y dónde invertir tus presupuestos de marketing.

Los desafíos de las pruebas de incrementalidad

Por supuesto, ningún método está libre de desafíos y la incrementalidad no es diferente.

Es importante que al crear los grupos de control y de prueba, se elimine cualquier ruido o factor externo que pueda afectar al comportamiento del usuario. También debes intentar limpiar los datos y asegurarte de que no hay audiencias superpuestas, ya que esto también puede alterar los resultados.

Decidir los parámetros de tu experimento también es un desafío. Cada aplicación tiene diferentes volúmenes de usuarios y por lo tanto necesitas decidir el mejor tamaño de segmento para probar sin dañar tus esfuerzos de marketing existentes.

Tomar un segmento demasiado pequeño hará que tus resultados sean insignificantes, por lo que es un compromiso entre lograr resultados óptimos en los que confíes y el costo de mantener un largo período de prueba.

No siempre es posible hacer una pausa en todas las campañas de marketing durante una semana o un mes, por lo que en este caso, si quieres ver los resultados sin pasar mucho tiempo, se recomienda cerrar la fuente de marketing de más bajo rendimiento y medir allí.

La identificación y exclusión de los valores atípicos es otro paso importante, ya que esto puede alterar los datos y llevar a conclusiones incorrectas. El volumen de datos afectará el impacto de los valores atípicos en los resultados, por lo que, una vez más, es un factor importante a la hora de considerar los benchmarks de tu experimento.

Ten en cuenta la estacionalidad. Las fechas del calendario como el Black Friday, el Cyber Monday, la Pascua y las fiestas afectarán el comportamiento de los usuarios. Por lo tanto, es crucial elegir el momento adecuado para empezar a hacer la prueba.

Comparando estos resultados con períodos más tranquilos se obtendrán resultados muy diferentes. Como marketer de aplicaciones puedes decidir el mejor marco temporal para realizar una prueba de incrementalidad basada en tu modelo de negocio y en las tendencias típicas de los usuarios.

Por último, las pruebas de incrementalidad plantean algunos problemas de ingeniería. Estos experimentos son complicados y requieren de muchos desarrolladores y expertos para crear la tecnología necesaria para obtener los resultados más impactantes.  

Por ejemplo, conectarse a la API de cada red publicitaria, recibir y agregar todos los raw data, eliminar los valores atípicos y calcular la importancia estadística de los resultados es un trabajo muy práctico.

Trabajar con un proveedor de atribuciones para incluir tu herramienta de incrementalidad ayudará a ahorrar tiempo y dinero. Los datos están todos ahí en tu dashboard de atribución, así que puedes fácilmente segmentar y agregar esta información en experimentos de incrementalidad.

Puntos clave

La incrementalidad es una herramienta poderosa que puede darte insights reales y confianza en la selección de tu canal, la asignación de presupuesto y la medición del ROAS, mientras asegura que tus esfuerzos de marketing alcancen su máximo potencial.

Para lograr esto debes recordar:

1) Adopta un enfoque holístico, centrándose tanto en el tráfico pagado como en el orgánico, teniendo en cuenta la compleja relación entre ambos.

2) Asegúrate de que tus datos estén limpios. Elimina el ruido, los valores atípicos y las audiencias superpuestas para asegurar que tu experimento dé resultados estadísticamente significativos.

3) Define tus KPIs antes de construir tus campañas y asegúrate de segmentar adecuadamente tu audiencia.

4) Ingerir, agregar y comparar los datos para identificar el incremento de tus campañas.

5) Optimiza la asignación de presupuestos y maximiza el ROAS con una mejor comprensión de cuáles son los canales que están dando el mayor impulso incremental, cuáles son las cohortes más receptivas a la publicidad y cuál es el momento óptimo para volver a comprometer a los usuarios.

La optimización impulsada por la LTV o el ROAS es vital para medir el valor de tus campañas, pero sólo con la adición de la incrementalidad puedes obtener el sello definitivo de aprobación de la eficacia de la campaña.

Últimas palabras: La medición en la era de la privacidad

La próxima aplicación de Apple del marco ATT, como parte del enfoque basado en la privacidad de iOS 14, eliminará en gran medida la capacidad de medir a través de la comparación de dispositivos.

Pero como el SKAdNetwork de Apple sólo captura alrededor del 68% de las instalaciones impulsadas por actividad no orgánica, otros métodos de medición serán cada vez más importantes para llenar el vacío y permitirte tomar decisiones inteligentes y basadas en datos, métodos que incluyen la atribución probabilística, web-to-app, y, lo adivinaste, ¡la incrementalidad!