A/B-testaus: Menetelmät ja käytännön esimerkkejä

Ota A/B-testaus haltuun ja tutustu konversiotutkimukseen ja ideoiden asettamiseen tärkeysjärjestykseen. Artikkelissamme Googlen, HubSpotin ja Shopifyn asiantuntijiat kertovat myös analyysien testaamisesta ja arkistonhallinnan merkityksestä.

A/B-testaukseen liittyvät artikkelit ja resurssit ovat tuttuja monille yrittäjille. Sinäkin olet jo saattanut testata sähköpostiviestiesi aiheita tai sosiaalisen median julkaisuja A/B-testeillä.

Vaikka A/B-testausta on käsitelty paljon markkinoinnin kentällä, monet yrittäjät kompastelevat silti sen käytännön toteutuksessa. Tämän seurauksena suuretkin liiketoimintapäätökset voivat perustua huonosti toteutetun testin tuottamiin virheellisiin tuloksiin.

Erityisesti kauppiaille suunnatussa sisällössä A/B-testausta on ollut tapana yleistää. Artikkelistamme löydät kaiken tarvittavan mahdollisimman selkeästi mutta hyödyllisesti selitettynä, jotta voit aloittaa verkkokauppaasi koskevien A/B-testien tekemisen. A/B-testauksesta voi olla merkittävää hyötyä muun muassa tuotteen oikean asemoinnin valinnassa ja laskeutumissivun konversion lisäämisessä.

Mitä A/B-testaus on?

A/B-testaus, jota kutsutaan myös jaetuksi testaukseksi tai bucket-testaukseksi, on prosessi, jossa verrataan kahta versiota samasta verkkosivusta, sähköpostiviestistä tai muusta digitaalisesta sisällöstä, jotta voidaan selvittää, kumpiko niistä toimii paremmin käyttäjien käyttäytymisen perusteella.

Tämä on hyödyllinen työkalu markkinointikampanjan suorituskyvyn parantamiseen ja kohdeyleisön konversion ymmärtämiseen. A/B-testaus auttaa vastaamaan tärkeisiin liiketoimintaa koskeviin kysymyksiin, lisäämään tuloja jo olemassa olevasta liikenteestä ja luomaan datavetoisen markkinointistrategian perustan.

Näin A/B-testaus toimii

• Määrittele tavoitteesi. Määritä A/B-testin tavoitteet, kuten konversion, klikkausprosentin tai kokonaismyynnin lisääminen.
• Valitse testattava elementti. Voit testata esimerkiksi otsikoita, kuvia, sähköpostiviestin aiheita, toimintakehotteita (CTA), hinnoittelua tai asetteluja.
• Luo variaatioita. Kehitä elementistä kaksi versiota: Versio A, joka on alkuperäinen versio sisällöstä tai nk. kontrolliversio. Versio B on uusi versio, joka sisältää haluamiasi muutoksia ja joka tunnetaan myös varianttina. Markkinoinnin kontekstissa 50 %:lle kävijöistä näytetään versio A ja 50 %:lle versio B.
• Suorita testi. Altista kukin ryhmä määritellylle versiolleen ennalta määrätyn ajanjakson ajan. Jos testaat esimerkiksi verkkokaupan etusivun CTA-painiketta, voit suorittaa testejä kahden viikon ajan saadaksesi tilastollisesti merkittäviä tuloksia.
• Kerää dataa. Seuraa ja mittaa molempien versioiden konversiota, klikkauksia, sitoutumistasoja ja myyntiä.
• Analysoi tulokset. Vertaa versio A:n ja versio B:n suorituskykyä selvittääksesi, kumpiko niistä täyttää tavoitteesi tehokkaammin. Se versio, jolla on korkein konversioprosentti, voittaa.
• Julista voittaja. Jos versio B:llä on korkein konversioprosentti, julista se voittajaksi ja käytä sitä 100 %:lle kävijöistä. Tästä tulee uusi kontrolliversio, ja tulevia testejä varten on suunniteltava toinen variantti.

💡 Huomio: A/B-testin konversioprosentti voi usein olla epätäydellinen menestyksen mittari.

Jos esimerkiksi määrität tuotteen hinnaksi 50 euroa yhdellä sivulla ja täysin ilmaiseksi toisella, se ei tuota aidosti arvokasta tietoa. Kuten minkä tahansa työkalun tai strategian kanssa, työskentelyn on oltava strategista.

Tämän vuoksi sinun on seurattava konversion arvoa aina lopulliseen myyntiin asti.

Milloin A/B-testausta kannattaa käyttää?

Jos hallinnoit sivustoa tai verkkosovellusta, jolla ei ole kovin paljon liikennettä, A/B-testaus ei todennäköisesti ole paras vaihtoehto sen optimointiin. Sijoitetun pääoman tuotto (ROI) voi osoittautua paremmaksi käyttäjätestauksen tai asiakkaiden kanssa keskustelemisen kautta. Yleisestä uskomuksesta huolimatta konversioprosentin optimointia voi toteuttaa monilla eri tavoilla.

Miksi testausta kannattaa jatkaa kahdesta neljään viikkoa? Siksi, että testejä kannattaa suorittaa vähintään kahden täyden liiketoimintasyklin ajan. Yleensä tämä tarkoittaa kahdesta neljään viikkoa. Tässä vaiheessa voit kenties ajatella: "Ei ongelmaa, suoritan testiä pidempään kuin kahdesta neljään viikkoa saavuttaakseni tarvittavan otoskannan." Tämä ei kuitenkaan ole toimiva strategia.

Mitä pidempään testi on käynnissä, sitä alttiimpi se on ulkoisille pätevyysuhille ja otoksen saastumiselle. Kävijät saattavat esimerkiksi poistaa evästeensä ja päätyä A/B-testiin uusina kävijöinä. Tai joku voi vaihtaa mobiililaitteestaan pöytäkoneeseen ja nähdä vaihtoehtoisen version.

Periaatteessa liian pitkä testiaika voi vääristää tuloksia yhtä paljon kuin liian lyhyt testiaika.

Testaaminen on investoinnin arvoista sellaisille verkkokaupoille, jotka voivat saavuttaa tarvittavan otoskoon kahdesta neljään viikossa. Muiden verkkokauppojen kannattaa harkita muita optimointivaihtoehtoja, kunnes niiden liikenne kasvaa.

A/B-testausprosessin määrittäminen

Aseta A/B-testausideat tärkeysjärjestykseen

A/B-testausesimerkkien suuri määrä voi olla inspiroivaa, mutta hyödytöntä, jos sen vuoksi on vaikeampaa päättää, mitä on tarkoitus testata. Mistä siis kannattaa aloittaa? Tärkeysjärjestyksen määrittäminen auttaa pääsemään liikkeelle.

Voit hyödyntää seuraavia yleisiä A/B-testauksen priorisointikehyksiä:

• ICE. Product Planin mukaan ICE tarkoittaa vaikutusta, luottamusta ja helppoutta. Jokaiselle näistä tekijöistä annetaan arvoksi 1–10. Jos voit esimerkiksi suorittaa testin helposti itse ilman kehittäjän tai suunnittelijan apua, saatat antaa helppoudelle 8. Tässä käytetään omaa arviointia. Jos testejä on suorittamassa useampi henkilö, arviot voivat muuttua liian subjektiivisiksi. Siksi on hyödyllistä olla ohjeita, jotka pitävät ne objektiivisina.
• PIE. PIE tarkoittaa potentiaalia, tärkeyttä ja helppoutta. Taas kerran jokainen tekijä saa arvoksi 1–10. Jos testi tavoittaa esimerkiksi 90 % liikenteestä, sen tärkeydeksi voidaan antaa 8. PIE on yhtä subjektiivinen kuin ICE, joten myös tämän kehyksen osalta ohjeet voivat olla hyödyllisiä.
• PXL. PXL on priorisointikehys CXL-koulutusalustalta. Se on hieman erilainen ja mukautettavampi, ja pakottaa tekemään objektiivisempia päätöksiä. Kolmen tekijän sijaan käytetään Kyllä-/Ei-kysymyksiä ja helppouden toteutumiskysymystä. Kehyksessä saatetaan kysyä esimerkiksi: "Onko testi suunniteltu lisäämään motivaatiota?" Jos kyllä, se saa arvon 1. Jos ei, se saa arvon 0. Voit lukea lisää englanniksi tästä kehyksestä ja ladata taulukon täältä.

Kun sinulla on käsitys siitä, mistä kannattaa aloittaa, myös ideoiden luokittelu voi olla hyödyllistä. Esimerkiksi joidenkin konversiotutkimusten aikana voi käyttää kolmea kategoriaa: toteuttaminen, tutkiminen ja testaaminen.

• Toteuta. Ryhdy työhön. Asia ei toimi tai ongelma on ilmeinen.
• Tutki. Vaatii lisäajattelua ongelman määrittämiseen tai ratkaisun tarkentamiseen.
• Testaa. Idea on järkevä ja datavetoisesti perusteltu. Testaa se!

Tämän luokittelun ja priorisoinnin avulla olet valmis aloittamaan A/B-testauksen.

Laadi hypoteesi

Ennen kuin testaat mitään, sinulla on oltava hypoteesi. Esimerkiksi: "Jos alennan toimituskuluja, konversioprosentti nousee."

Älä huoli – hypoteesin laatiminen tässä tilanteessa ei ole niin monimutkaista kuin miltä se kuulostaa. Periaatteessa sinun on testattava hypoteesia, ei ideaa. Hypoteesi on mitattavissa, pyrkii ratkaisemaan tietyn konversio-ongelman ja keskittyy oivalluksiin voittojen sijaan.

Kun kirjoitat hypoteesia, on hyödyllistä käyttää kaavaa, joka on lainattu Craig Sullivanin Hypoteesipaketista:

• Koska näet [lisää tutkimuksesta saatu data/palaute]
• Odotat, että [lisää testattava muutos] aiheuttaa [lisää odotettava vaikutus], ja
• Mittaat tätä [lisää datan metriikka tai työkalu]

Helppoa, eikö vain? Sinun täytyy vain täyttää tyhjät kohdat, ja A/B-testisi idea on muuttunut hypoteesiksi.

Valitse A/B-testaustyökalu

Nyt voit alkaa valita A/B-testaustyökalua tai jaettavaan testiin käytettävää palvelua. Tässä yhteydessä ajatellaan usein ensimmäisenä Google Optimizea, Optimizelyä ja VWO:ta. Ne kaikki ovat hyviä ja turvallisia vaihtoehtoja.

Tässä on lisätietoja näistä suosituista A/B-testaustyökaluista:

• Google Optimize. Ilmainen, lukuun ottamatta joitakin monimuuttujarajoituksia, jotka eivät vaikuta testausta vasta aloittaviin. Se sopii hyvin Google Analyticsin A/B-testaukseen, mikä on plussaa.
• Optimizely. Pieniä testejä on helppo aloittaa nopeasti, jopa ilman teknisiä taitoja. Stats Engine helpottaa testitulosten analysoimista. Optimizely on tämän kolmikon kallein vaihtoehto.
• VWO. VWO tarjoaa SmartStats-toiminnon helpottamaan analysointia. Lisäksi siinä on loistava WYSIWYG-editori aloittelijoille. Jokainen VWO-tilaus sisältää esimerkiksi lämpökarttoja, sivustoon upotettavia kyselyitä ja lomakeanalytiikkaa.

Shopify App Storessa on myös tarjolla A/B-testaustyökaluja, jotka voivat olla hyödyllisiä.

Kun olet valinnut A/B-testaustyökalun tai jaettavaan testiin käytettävän ohjelmiston, täytä kyseisen työkalun rekisteröitymislomake ja noudata annettuja ohjeita. Prosessi vaihtelee työkalusta toiseen. Tyypillisesti sinua pyydetään asentamaan koodi sivustollesi ja määrittämään tavoitteet.

Päätä, kuinka tulokset analysoidaan

Jos laadit hypoteesisi oikein, jopa häviäjä on voittaja, koska saat oivalluksia, joita voit käyttää tulevissa testeissä ja muilla liiketoiminta-alueilla. Kun siis analysoit testituloksia, sinun on keskityttävä oivalluksiin, ei siihen, voittiko vai hävisikö testi. Aina on jotain opittavaa, aina on jotain analysoitavaa. Älä hylkää häviäviä tuloksia!

Tärkein huomioitava asia on segmentointi. Testi voi olla häviäjä kokonaisuudessaan, mutta todennäköisesti se on toiminut hyvin ainakin yhdellä yleisösegmentillä.

Tässä on joitakin esimerkkejä yleisösegmenteistä:

• Uudet kävijät
• Palaavat kävijät
• iOS-kävijät
• Android-kävijät
• Chrome-kävijät
• Safari-kävijät
• Pöytäkonekävijät
• Tablettikävijät
• Orgaanisen haun kävijät
• Maksulliset kävijät
• Sosiaalisen median kävijät
• Kirjautuneet ostajat

Kuulostaa selkeältä, vai mitä?

On todennäköistä, että hypoteesi todettiin oikeaksi tietyissä segmenteissä. Myös tämä kertoo sinulle jotakin.

Analyysi tarkoittaa paljon muutakin kun sen toteamista, voittiko testi vai hävisikö se. Tietojen segmentointi auttaa löytämään syvällisempiä oivalluksia.

A/B-testausohjelmisto ei tee tätä analyysia puolestasi, joten tätä taitoa on tärkeää kehittää ajan myötä.

Arkistoi testitulokset

Kuvitellaan, että suoritat ensimmäisen testisi huomenna. Muistatko testin yksityiskohdat vielä kahden vuoden kuluttua? Todennäköisesti et.

Tämän vuoksi A/B-testaustulosten arkistointi on tärkeää. Ilman huolellisesti ylläpidettyä arkistoa kaikki saadut oivallukset voivat kadota. Lisäksi ilman arkistointia sama asia tulee helposti testattua useaan kertaan.

Arkistoinnin tekemiseen ei ole vain yhtä oikeaa tapaa. Voit käyttää siihen työkalua, kuten Effective Experiments, tai yksinkertaista taulukkoa. Erityisesti liiketoiminnan alkuvaiheessa päätös on täysin omissa käsissäsi.

Valitusta työkalusta riippumatta kirjaa kannattaa pitää seuraavista tekijöistä:

• testattu hypoteesi
• kuvakaappaukset kontrolliversiosta ja variantista
• voittiko vai hävisikö testi
• analyysin kautta saadut oivallukset

Liiketoiminnan kasvaessa arkistoinnin merkitys korostuu. Se auttaa itse yrittäjän ohella myös mahdollisia uusia työntekijöitä ja neuvonantajia/sidosryhmiä.

A/B-testausesimerkkejä

Tekninen analyysi

Toimiiko verkkokauppasi oikein ja nopeasti kaikilla selaimilla? Entäpä kaikilla laitteilla? Saatat omistaa uuden älypuhelimen, mutta joku muu voi edelleen käyttää vuoden 2005 puhelinta, jonka suorituskyky on aivan eri luokkaa. Jos sivustosi ei toimi oikein ja nopeasti, se ei todennäköisesti konvertoi optimaalisesti.

Sivustolla täytettävät kyselyt

Sivustolla täytettävät kyselyt ponnahtavat esiin, kun verkkokaupan kävijät selaavat sivustoa. Sivustolla olevassa kyselyssä voidaan kysyä jonkin aikaa sivustolla olleilta kävijöiltä, estääkö jokin tekijä heitä tekemästä ostosta tänään. Jos, niin mikä se on? Tätä laadullista dataa voidaan käyttää sisällön ja konversion parantamiseen.

Asiakashaastattelut

Mikään ei korvaa puhelimessa keskustelemista asiakkaiden kanssa. Miksi he valitsivat kauppasi kilpailijoiden sijaan? Minkä ongelman he yrittivät ratkaista saapumalla sivustollesi? Voit kysyä lukemattomia eri asioita päästäksesi asian ytimeen ja saadaksesi selville, miksi he todellisuudessa ostavat verkkokaupastasi.

Asiakaskyselyt

Asiakaskyselyt sopivat erinomaisesti lähetettäväksi henkilöille, jotka ovat jo tehneet ostoksen (toisin kuin muut kävijät). Asiakaskyselyä suunnitellessa kannattaa keskittyä asiakkaiden ja heidän ongelmiensa määrittämiseen, ostamiseen liittyviin epäilyksiin sekä sellaisten sanojen ja lauseiden tunnistamiseen, joita he käyttävät kuvaillessaan kauppaasi.

Analytiikan analyysi

Seuraavatko analytiikkatyökalusi dataa oikein? Tämä saattaa kuulostaa typerältä, mutta voit yllättyä kuullessasi, kuinka monet analytiikkatyökalut on konfiguroitu väärin. Analytiikan analyysi keskittyy selvittämään, miten kävijät käyttäytyvät. Voit keskittyä esimerkiksi myyntisuppiloon: Missä ovat suurimmat konversiosuppilon vuodot? Toisin sanoen, missä kohdassa ostoprosessia useimmat ihmiset putoavat suppilosta? Tämä on hyvä paikka testauksen aloittamiseen.

Käyttäjätestaus

Tässä testissä tarkastellaan oikeita ihmisiä maksullisessa, kontrolloidussa kokeessa yrittämässä suorittaa tehtäviä sivustolla. Voit esimerkiksi pyytää heitä löytämään 40–60 euroa maksavan videopelin ja lisäämään sen ostoskoriinsa. Kun he suorittavat näitä tehtäviä, he kertovat ääneen ajatuksistaan ja toimistaan.

Istuntojen toistaminen

Istuntojen toistaminen on samanlainen testi kuin käyttäjätestaus, mutta tässä testissä tarkastellaan oikeita ihmisiä, joilla on oikeaa rahaa ja todellinen aikomus ostaa. Katso, kuinka kävijät navigoivat sivustollasi. Mitä asioita heillä on vaikeuksia löytää? Missä kohdassa he turhautuvat? Mistä asiasta he vaikuttavat olevan hämmentyneitä?

Näiden lisäksi on olemassa muitakin tutkimustyyppejä, mutta aluksi kannattaa valita liiketoimintaasi parhaiten sopiva A/B-testausmenetelmä. Kun käyt läpi joitakin niistä, saat valtavasti tietoon perustuvia ideoita, joita kannattaa testata.

Ammattilaisten A/B-testausprosessit

Nyt kun olemme käyneet läpi A/B-testauksen perusteet, siirrymme tarkastelemaan ammattilaisten tarkkoja prosesseja.

Krista Seiden, KS Digital

Verkkosivustojen ja sovellusten A/B-testausprosessini alkaa analyysistä, joka on mielestäni minkä tahansa hyvän testausohjelman ydin. Analyysivaiheessa tavoitteena on tarkastella analytiikkadataa, kysely- tai UX-dataa tai mitä tahansa asiakastietolähteitä, jotta voidaan ymmärtää paremmin optimointimahdollisuuksia.

Kun analyysivaiheesta on kertynyt runsaasti ideoita, voidaan siirtyä hypoteesin laatimiseen siitä, mikä saattaa mennä pieleen ja kuinka näitä optimointialueita voidaan mahdollisesti korjata tai parantaa.

Seuraavaksi on aika rakentaa ja suorittaa testi. Ne tulee suorittaa kohtuullisen ajan kuluessa (pidän oletuksena kahta viikkoa, jotta voidaan varmistaa, että siinä huomioidaan viikoittaiset muutokset tai poikkeamat). Kun dataa on kertynyt tarpeeksi, tulos analysoidaan, jotta voittaja saadaan selville.

Tässä vaiheessa on tärkeää käyttää aikaa myös häviäjien analysoimiseen: mitä näistä varianteista voidaan oppia?

Viimeiseksi, ja tähän vaiheeseen saatetaan päästä vasta sitten, kun on käytetty aikaa vahvan optimointiohjelman perustan luomiseen, on aika tarkastella personointia. Tämä ei välttämättä vaadi hienoa työkalupakettia, vaan se voidaan kehittää käyttäjiin perustuvan datan perusteella.

Markkinoinnin personointi voi onnistua niinkin yksinkertaisesti kuin kohdistamalla oikea sisältö oikeisiin paikkoihin tai niinkin monimutkaisesti kuin kohdistamalla se yksittäisten käyttäjien toimien perusteella. Personointiin ei kuitenkaan kannata siirtyä suoraan, vaan ensin on varmistettava, että perusasiat on saatu kuntoon.

Alex Birkett, Omniscient Digital

Yleistasolla yritän noudattaa tätä prosessia:

• Kerää dataa ja varmista, että analytiikka toteutetaan tarkasti.
• Analysoi dataa ja etsi oivalluksia.
• Muuta oivallukset hypoteeseiksi.
• Priorisoi vaikutuksen ja helppouden perusteella, ja maksimoi resurssien (erityisesti teknisten resurssien) allokointi.
• Suorita testi (seuraamalla parhaita käytäntöjä tilastollisessa mielessä parhaan tietämyksen ja kykyjen mukaan).
• Analysoi tulokset ja sen perusteella toteuta tai älä toteuta muutoksia.
• Toista vaiheita löydösten perusteella.

Yksinkertaistettuna: tutki, testaa, analysoi, toista.

Vaikka tämä prosessi voi poiketa tai muuttua kontekstin mukaan (Testaanko liiketoimintakriittistä tuoteominaisuutta? Blogijulkaisun CTA-painiketta? Mikä on riskiprofiili ja innovoinnin ja riskin hallinnan tasapaino?), se on melko hyvin sovellettavissa kaikenkokoisiin tai -tyyppisiin yrityksiin.

Tämä prosessi on helposti mukautettavissa, mutta sen avulla voidaan myös kerätä tarpeeksi dataa eli sekä laadullista asiakaspalautetta että määrällistä analytiikkaa. Näin voidaan kehittää parempia testausideoita ja priorisoida niitä paremmin, jotta verkkokaupan liikennettä saadaan lisättyä.

Ton Wesseling, Online Dialogue

Vastaamme aina ensimmäisenä asiakasmatkan optimoinnin yhteydessä kysymykseen siitä, miten tämä tuote tai palvelu sopii Online Dialoguessa luomaamme ROAR-malliin. Onko se vielä riskivaiheessa, jolloin voimme tehdä paljon tutkimusta, mutta emme voi validoida havaintojamme A/B-testauksen keinoin verkkokokeilla (alle 1 000 konversiota kuukaudessa), vai onko se optimointivaiheessa? Tai jopa sen yläpuolella?

• Riskivaihe: paljon tutkimusta, joka käännetään mistä tahansa liiketoimintamallin käänteestä kokonaan uuteen suunnitteluun ja arvolupaukseen.
• Optimointivaihe: suuret testit, joissa optimoidaan arvolupausta ja liiketoimintamallia, sekä pienet testit validoimaan käyttäytymishypoteeseja, jotka kerryttävät tietoa suurempia suunnittelumuutoksia varten.
• Automaatio: Kokeilukapasiteettia (kävijöitä) on vielä jäljellä, mikä tarkoittaa, että koko testipotentiaalia ei tarvita käyttäjämatkan validoimiseen. Jäljelle jäävä osuus tulisi hyödyntää edistämään liiketoiminnan nopeampaa kasvamista (ilman keskittymistä pitkän aikavälin oppimiseen). Tämä voidaan automatisoida käyttämällä banditteja/algoritmeja.
• Uudelleenajattelu: suuren tutkimusmäärän lisääminen päätetään, ellei tavoitteena ole käänne johonkin uuteen.

Verkkosivuston tai sovelluksen A/B-testaus on siis vain ylätason asia ROAR:n optimointivaiheessa ja sen jälkeen (uudelleenajatteluun saakka).

Lähestymistapamme kokeiden suorittamiseen on FACT & ACT -malli:

Teemme tutkimusta 5V-mallimme perusteella:

Kaikki nämä oivallukset kootaan yhteen, jotta voimme laatia tutkimukseen perustuvan päähypoteesin, joka johtaa alahypoteeseihin, joita priorisoidaan kerätyn datan perusteella joko pöytäkoneilla tai mobiililaitteilla tapahtuvassa A/B-testauksessa. Mitä todennäköisemmin hypoteesi on totta, sitä korkeammalle se luokitellaan paremmuusjärjestyksessä.

Kun saamme selville, onko hypoteesimme totta vai ei, voimme alkaa yhdistää opittuja asioita ja ottaa suurempia askelia suunnittelemalla tai sopeuttamalla asiakasmatkan suurempia osia. Jossakin vaiheessa kaikki voittavat toteutukset johtavat kuitenkin paikalliseen maksimiin. Tämän jälkeen on otettava suurempi askel, jotta voidaan saavuttaa mahdollinen globaali maksimi.

Tärkeimmät opitut asiat leviävät tietenkin koko yritykseen, mikä johtaa kaikenlaisiin laajempiin optimointeihin ja innovaatioihin validoitujen ensikäden oivallusten perusteella.

Markkinoitko kansainväliselle yleisölle? Tällöin voit käyttää prosessin apuna niin kutsuttua pseudo-lokalisointia.

Julia Starostenko, Pinterest

Testin tarkoituksena on validoida, että nykyiseen verkkosivustoon tehtävät muutokset vaikuttavat positiivisesti liiketoimintaan.

Ennen aloittamista on tärkeää määrittää, onko testin suorittaminen todella tarpeen. Kuvittele seuraava skenaario: Jollakin painikkeella on erittäin alhainen klikkausprosentti. Tämän painikkeen suorituskykyä on siis lähes mahdotonta heikentää. Ehdotetun muutoksen tehokkuuden validoiminen painikkeelle (ts. testin suorittaminen) ei siis ole tarpeen.

Samoin, jos painikkeelle ehdotettu muutos on pieni, testin määrittämiseen, toteuttamiseen ja purkamiseen kuluva aika ei todennäköisesti ole sen arvoista. Tässä tapauksessa painikkeen muutokset tulisi vain ottaa käyttöön kaikille käyttäjille, minkä jälkeen painikkeen suorituskykyä voidaan seurata.

Jos todetaan, että testin suorittaminen on hyödyllistä, seuraavana vaiheena on määrittää ne liiketoimintamittarit, joita on tarkoitus parantaa (esim. painikkeen konversioprosentin nostaminen). Näin voimme varmistaa, että käytetään oikeanlaista datankeruuta.

Kun tämä on valmis, yleisö jaetaan satunnaisesti puoliksi ja testi jaetaan kahdelle ryhmälle: yksi ryhmä näkee painikkeen nykyisen version, kun taas toinen ryhmä näkee uuden version. Kunkin yleisön konversioprosenttia seurataan, ja kun tilastollinen merkitsevyys saavutetaan, testitulokset määräytyvät.

Peep Laja, CXL

A/B-testaus on osa suurempaa konversio-optimoinnin kuvaa. Mielestäni siinä on 80 % tutkimusta ja vain 20 % testausta. Konversiotutkimus auttaa määrittämään, mistä testaus kannattaa aloittaa.

Prosessini näyttää tyypillisesti tältä (yksinkertaistettu yhteenveto):

1. Suorita konversiotutkimus käyttämällä kehyksenä esimerkiksi ResearchXL:ää, jotta sivuston ongelmat voidaan tunnistaa.
2. Valitse merkittävä ongelma (sellainen, joka vaikuttaa suureen osaan käyttäjistä ja on vakava ongelma), ja ideoi mahdollisimman monta ratkaisua tähän ongelmaan. Hyödynnä ideointiprosessissa konversiotutkimuksen kautta saatuja oivalluksia. Määritä, millä laitteella testi suoritetaan (mobiililaitteilla suoritettava A/B-testaus on toteutettava erillään pöytäkoneilla suoritettavasta).
3. Määritä, mitä variantteja voidaan testata (liikenteen/maksutapahtumien tason mukaan), ja valitse sitten yksi tai kaksi parasta ideaa, joita testataan kontrolliversiota vastaan.
4. Laadi tarkat käsittelytavat (kirjoita teksti, tee suunnittelumuutokset jne.). Muutosten laajuudesta riippuen saatat myös tarvita suunnittelijaa uusien elementtien suunnittelemiseen.
5. Anna asiakasrajapinnasta vastaavan kehittäjän toteuttaa käsittely valitulla testausvälineellä. Ota käyttöön tarvittavat integraatiot (Google Analytics) ja määritä sopivat tavoitteet.
6. Tarkista testin laatu (rikkinäiset testit ovat ehdottomasti suurin A/B-testauksen este), jotta voit varmistaa sen toimivuuden jokaisella selaimella/laitteella.
7. Käynnistä testi!
8. Kun testi on valmis, suorita testauksen jälkeinen analyysi.
9. Tuloksista riippuen toteuta voittanut versio, toista käsittelyjä tai testaa jotakin muuta.

A/B-testauksen yleisimmät virheet

Liian monien muuttujien testaaminen samanaikaisesti

Kun vertaat kahta muuttujaa kerralla, et ehkä pysty määrittämään, kummanko muutos aiheutti vaikutuksen.

Ajatellaan, että haluat optimoida laskeutumissivua. Sen sijaan, että testaisit vain otsikkoa, testaat:

• kehotetekstiä
• CTA-painikkeen väriä
• otsikon kuvia
• otsikoita
•  

Konversioprosentit nousevat, mutta et voi tarkasti sanoa, mikä muutos aiheutti sen. Jos testaat yhden muuttujan kerrallaan, voit eristää kunkin muutoksen vaikutuksen ja saada tarkempia tuloksia.

💡Huomio: Monimuuttujatestaukset ovat vaihtoehto, jos haluat ymmärtää, kuinka useat muuttujat vaikuttavat toisiinsa. Monimuuttujatestin suorittaminen edellyttää kuitenkin suurempaa liikennettä ja jo hyvin optimoidun sivun, johon tarvitaan vain vähäisiä parannuksia. Prosessi on paljon monimutkaisempi kuin A/B-testin suorittaminen.

Riittämätön otoskoko

A/B-testin tulosten luotettavuus riippuu käytetystä otoskoosta. Pienet otokset voivat aiheuttaa vääriä positiivisia ja negatiivisia tuloksia, minkä seurauksena voi olla vaikeaa päätellä, ovatko erot seurausta tehdyistä muutoksista vai pelkästä sattumasta.

Ajatellaan, että testaat kahta tuotesivun versiota nähdäksesi, kumpi johtaa korkeampaan ostosuhteeseen. Jaat liikenteen, mutta päädyt vain 100 kävijään versio A:lle ja 100 kävijään versio B:lle.

Jos versio A:lla on 6 %:n konversioprosentti ja versio B:llä 5 %, saatat ajatella, että versio A on parempi. Mutta kun testi toteutetaan vain 100 kävijällä per versio, tulos ei ole tilastollisesti merkittävä. On mahdollista, että jos testaisit samaa asiaa suuremmalla kävijämäärällä, tulokset olisivat olleet erilaiset.

Paras tapa terveen otoskoon määrittämiseen on käyttää otoskokolaskuria.

Lyhyet testausajat

A/B-testin suorittamiseen kannattaa käyttää vähintään yksi, ihanteellisesti kaksi täyttä liiketoimintasykliä. Testausta ei tule lopettaa vain merkitsevyyden saavuttamisen vuoksi. Myös ennalta määrätty otoskoko on saavutettava. Älä myöskään unohda suorittaa kaikkia testejä täysistä viikoista koostuvina jaksoina.

Miksi kaksi täyttä liiketoimintasykliä? Ensinnäkin, kaksi sykliä auttaa ottamaan huomioon:

1. "minun täytyy miettiä sitä" -ostajat
2. eri liikenteenlähteet (Facebook, sähköpostiuutiskirje, orgaaninen haku jne.)
3. poikkeamat, kuten perjantaisin lähetettävä sähköpostiuutiskirje

Kaksi liiketoimintasykliä on yleensä tarpeeksi pitkä aika, jotta kohdeyleisön käyttäytymisestä voidaan saada arvokkaita oivalluksia.

Jos olet käyttänyt mitään laskeutumissivun A/B-testausvälinettä, pieni vihreä Tilastollisesti merkittävä -kuvake on sinulle todennäköisesti tuttu.

Tämä kuvake on monille valitettavasti merkki siitä, että "testi on valmis, sen voi lopettaa". Kuten yllä on kerrottu, pelkkä A/B-testin tilastollisen merkitsevyyden saavuttaminen ei tarkoita, että testi tulee lopettaa.

Käyttäjäsegmentoinnin unohtaminen

Jos erilaisia käyttäjäsegmenttejä ei huomioida testauksessa, tuloksena on yleistettyjä tuloksia, jotka eivät välttämättä päde kaikkiin käyttäjiin.

On hyödyllistä jakaa käyttäjät demografisten, käyttäytymisen tai muiden merkityksellisten tekijöiden mukaan. Se, mikä toimii uusille käyttäjille, ei välttämättä toimi palaaville käyttäjille. Jos et segmentoi käyttäjiä, voit vieraannuttaa avainkäyttäjäryhmiä ja vaarantaa testin eheyden.

Optimoi A/B-testaus liiketoiminnallesi

Kun sinulla on prosessi, sinulla on valta! Lähde siis liikkeelle, hanki paras A/B-testausohjelmisto ja aloita verkkokauppasi testaaminen. Ennen kuin uskotkaan, nämä oivallukset alkavat kerryttää lisää rahaa pankkitilillesi.

Jos haluat perehtyä tarkemmin optimointiin, voit osallistua ilmaiselle kurssille, kuten Udacityn Googlen A/B Testing -kurssille. Näin voit oppia lisää verkkosivustojen ja mobiilisovellusten A/B-testauksesta ja parantaa optimointitaitojasi.