Multivariate testing vs A/B testing

Aflați despre diferențele cheie dintre testarea A / B și testarea multivariată și despre momentul în care este cel mai bun moment pentru a utiliza fiecare abordare.

Testarea A / B
Testarea A / B, despre care este posibil să fi auzit numită și testarea divizată, este o metodă de optimizare a site-ului web în care ratele de conversie a două versiuni ale unei pagini - versiunea A și versiunea B - sunt comparate între ele folosind trafic live. Vizitatorii site-ului sunt grupați într-o versiune sau alta. Urmărind modul în care vizitatorii interacționează cu pagina pe care o afișează - videoclipurile pe care le vizionează, butoanele pe care dau clic sau dacă se înscriu sau nu la un buletin informativ - puteți stabili ce versiune a paginii este cea mai eficientă.

Utilizări comune
Testarea A / B este cea mai puțin complexă metodă de evaluare a proiectării unei pagini și este utilă într-o varietate de situații.

Unul dintre cele mai comune moduri în care se utilizează testarea A / B este acela de a testa două direcții de proiectare foarte diferite unul împotriva celuilalt. De exemplu, versiunea actuală a paginii de pornire a unei companii ar putea avea apeluri la acțiune în text (CTA), în timp ce noua versiune ar putea elimina majoritatea textului, dar ar include o nouă bară de sus care publică ultimul produs. După ce au fost direcționați suficienți vizitatori către ambele pagini, numărul de clicuri pe versiunea CTA a fiecărei pagini poate fi comparat. Este important să rețineți că, deși multe elemente de design sunt modificate în acest tip de test A / B, este urmărit doar impactul designului în ansamblu asupra obiectivului de afaceri al fiecărei pagini, nu elemente individuale.

Testarea A / B este utilă și ca opțiune de optimizare pentru paginile în care doar un element este dezbătut. De exemplu, un magazin de animale de companie care efectuează un test A / B pe site-ul lor ar putea constata că cu 85% mai mulți utilizatori sunt dispuși să se înscrie la un buletin informativ susținut de un șoarece de desene animate decât pentru unul care iese din bobinele unui boa constrictor. Când testarea A / B este utilizată în acest fel, o a treia sau chiar a patra versiune a paginii este adesea inclusă în test, care este uneori numită test A / B / C / D. Aceasta, desigur, înseamnă că traficul către site trebuie împărțit în treimi sau pătrimi, cu un procent mai mic de vizitatori care vizitează fiecare site.

Avantaje
Simplu ca concept și design, testarea A / B este o metodă de testare puternică și utilizată pe scară largă.

Menținerea numărului mic de variabile urmărite înseamnă că aceste teste pot furniza date fiabile foarte rapid, deoarece nu necesită o cantitate mare de trafic pentru a rula. Acest lucru este util mai ales dacă site-ul dvs. are un număr mic de vizitatori zilnici. Împărțirea traficului în mai mult de trei sau patru segmente ar îngreuna finalizarea unui test. De fapt, testarea A / B este atât de rapidă și ușor de interpretat încât unele site-uri mari o folosesc ca metodă principală de testare, efectuând cicluri de teste unul după altul, mai degrabă decât teste multivariate mai complexe.

Testarea A / B este, de asemenea, o modalitate bună de a introduce conceptul de optimizare prin testare către o echipă sceptică, deoarece poate demonstra rapid impactul cuantificabil al unei modificări simple de proiectare.

Limitări
Testarea A / B este un instrument versatil și, atunci când este asociată cu proiectarea inteligentă a experimentelor și angajamentul față de cicluri iterative de testare și reproiectare, vă poate ajuta să aduceți îmbunătățiri imense site-ului dvs. Cu toate acestea, este important să ne amintim că limitările acestui tip de test sunt rezumate în nume. Testarea A / B este utilizată cel mai bine pentru a măsura impactul a două până la patru variabile asupra interacțiunilor cu pagina. Testele cu mai multe variabile durează mai mult, iar testarea A / B nu va dezvălui informații despre interacțiunea dintre variabile pe o singură pagină.

Dacă aveți nevoie de informații despre câte elemente diferite interacționează între ele, testarea multivariată este abordarea optimă.

Testarea multivariată
Testarea multivariată utilizează același mecanism de bază ca testarea A / B, dar compară un număr mai mare de variabile și dezvăluie mai multe informații despre modul în care aceste variabile interacționează între ele. La fel ca într-un test A / B, traficul către o pagină este împărțit între diferite versiuni ale designului. Scopul unui test multivariat, deci, este de a măsura eficacitatea pe care fiecare combinație de proiectare o are asupra obiectivului final.

Odată ce un site a primit suficient trafic pentru a rula testul, datele din fiecare variantă sunt comparate pentru a găsi nu numai cel mai reușit design, ci și pentru a dezvălui potențialele elemente care au cel mai mare impact pozitiv sau negativ asupra interacțiunii unui vizitator.

Utilizări comune
Exemplul cel mai frecvent citat de testare multivariată este o pagină pe care mai multe elemente sunt în dezbatere - de exemplu, o pagină care include un formular de înscriere, un fel de text antet captivant și un subsol. Pentru a rula un test multivariat pe această pagină, mai degrabă decât să creați un design radical diferit ca în testarea A / B, puteți crea două lungimi diferite de formulare de înscriere, trei titluri diferite și două subsoluri. Apoi, ați canaliza vizitatorii către toate combinațiile posibile ale acestor elemente. Acest lucru este, de asemenea, cunoscut sub numele de testare factorială completă și este unul dintre motivele pentru care testarea multivariată este adesea recomandată numai pentru site-urile care au o cantitate substanțială de trafic zilnic - cu cât mai multe variații trebuie testate, cu atât este nevoie de mai mult timp pentru a obține date semnificative. de la test.

După ce testul a fost rulat, variabilele de pe fiecare variație de pagină sunt comparate între ele și cu performanța lor în contextul altor versiuni ale testului. Ceea ce apare este o imagine clară a paginii care are cea mai bună performanță și a elementelor care sunt cele mai responsabile pentru această performanță. De exemplu, modificarea unui subsol de pagină poate avea un efect foarte mic asupra performanței paginii, în timp ce modificarea lungimii formularului de înscriere are un impact enorm.

Avantaje
Testarea multivariată este un mod puternic de a vă ajuta să vizați eforturile de reproiectare către elementele paginii dvs. unde acestea vor avea cel mai mare impact. Acest lucru este util mai ales atunci când proiectați campanii de pagini de destinație, de exemplu, deoarece datele despre impactul designului unui anumit element pot fi aplicate campaniilor viitoare, chiar dacă contextul elementului s-a schimbat.

Limitări
Cea mai mare limitare a testării multivariate este cantitatea de trafic necesară pentru finalizarea testului. Deoarece toate experimentele sunt pe deplin factoriale, prea multe elemente care se schimbă simultan pot adăuga rapid un număr foarte mare de combinații posibile care trebuie testate. Chiar și un site cu trafic destul de mare ar putea avea probleme la finalizarea unui test cu mai mult de 25 de combinații într-un timp posibil.

Atunci când utilizați teste multivariate, este, de asemenea, important să luați în considerare modul în care acestea se vor încadra în ciclul dvs. de testare și reproiectare în ansamblu. Chiar și atunci când sunteți înarmați cu informații despre impactul unui anumit element, poate doriți să efectuați cicluri suplimentare de testare A / B pentru a explora alte idei radical diferite. De asemenea, uneori este posibil să nu merite timpul suplimentar necesar pentru a rula un test multivariant complet atunci când mai multe teste A / B bine concepute vor face treaba bine.

Linia de jos
Nu lăsați diferențele dintre testarea A / B și testarea multivariantă să vă facă să vă gândiți la ele ca la opuse. În schimb, gândiți-vă la ele ca la două metode puternice de optimizare care se completează reciproc. Alegeți una sau alta sau folosiți-le pe amândouă împreună pentru a vă ajuta să profitați la maximum de site-ul dvs.