Ett klick är inte automatiskt ett inkrementellt besök.
CTR var siffran som vann mötet. Den sa aldrig vem som hade kommit tillbaka ändå.
Mät vad Nudgen faktiskt förändradeCTR berättar bara en del av historien
Klickfrekvens visar vem som svarade på notisen. Den visar inte vem som ändå hade besökt sajten. Lojala läsare kommer ofta tillbaka via sök, e-post eller vana. Utan en jämförelsegrupp går det inte att skilja vilka besök Nudgen faktiskt skapade.
Så fungerar holdouts
- 01
Reservera en liten holdout-grupp
En slumpmässig del av berättigade läsare får inte Nudgen.
- 02
Mät båda grupperna
Följ kvalificerade besök för exponerade och holdout-läsare under samma fönster.
- 03
Jämför utfall
Skillnaden mellan grupperna är den uppskattade inkrementella effekten, med antaganden synliga.
Vad vi mäter idag
Sidvisning
Öppnade de en sida efter nudgen? Tidig signal. Vi visar den mot en jämförelsegrupp, inte som en CTR-trofé.
Kvalificerat besök
Stannade de tillräckligt länge för att räknas? Primärt utfall när urvalet är stort nog och fönstret är stängt.
Mäts inte ännu
Annonsvärde, registreringar, nyhetsbrev och köp finns inte i produkten idag. Vi skriver inte ut dem som bevis.
Ärlig mätning
En holdout är en uppskattning, inte en garanti. Vi påstår lift bara när båda grupperna är tillräckligt stora och fönstret är stängt. Dessförinnan säger rapporten collecting, insufficient eller directional. Aldrig en påhittad procent.
Veta när ni ska nudga.
Veta när en notis faktiskt är värd att skicka.
Den användbara frågan är vem som inte ska få den här.