Czego dowiesz się z poradnika:

• jak policzyć, jaki ruch w sklepie jest potrzebny do wiarygodnego statystycznie testu;
• jak sprawdzić, ile powinien trwać test;
• jak poprawnie obliczyć średnią dzienną liczbę unikatowych odwiedzin w sklepie;
• jakie są przykładowe możliwości Google Optimize i co możesz przetestować;

Uwaga: Przystępując do konfiguracji Google Optimize, koniecznie załóż wcześniej konto Google Analytics. Po co i jak to zrobić? Wypisaliśmy 10 powodów, dla których sklep powinien korzystać z Google Analytics i objaśniliśmy jak je skonfigurować.

Dla kogo Google Optimize?

Nie sposób jednoznacznie powiedzieć, kiedy nadchodzi odpowiednia pora, aby zacząć optymalizować stronę (i konwersję) z Google Optimize. I mimo że jest to narzędzie darmowe, nie jest przeznaczone dla małych sklepów.

Być może czytasz poradniki lub uczestniczysz w szkoleniach, na których wciąż powtarza się: „testuj, testuj i jeszcze raz testuj!” Niestety w ten sposób łatwo wpaść w pułapkę prawa małych liczb. Co z tego, że przeprowadzisz kilka testów na swojej stronie, jeśli sklep ma kilkanaście zamówień miesięcznie? Może to zabrzmieć brutalnie, ale należy pamiętać, że małe próbki narażają nas na wartości skrajne i na błędne wnioski. 

Dlatego zanim w ogóle zaczniesz przymierzać się do testów na stronie, przyjrzyj się tematowi istotności statystycznej.

Istotność statystyczna w e-commerce

Google Optimize pozwala na prezentację kilku różnych wersji witryny naszym odwiedzającym. Przykładowo pierwsza grupa klientów zobaczy wersję z sekcją bestsellerów na stronie głównej, druga – bez tej sekcji. Nie jesteśmy pewni, ale stawiamy jakąś tezę: konwersja wzrośnie o 10%, jeśli zaprezentujemy na stronie głównej bestsellery. Oczywiście jest to teza fikcyjna postawiona tylko dla przykładu.
Inną przykładową tezą może być chociażby: sprzedaż wzrośnie o X%, jeśli na stronie koszyka zaprezentujemy baner darmowej dostawy.

Czy takie proste testy będą istotne, gdy klienci z pierwszej grupy dokonają sześciu zakupów, a z drugiej – trzech? Nie, przy tak małej próbce może to być kwestia przypadku. To ile wizyt i zakupów będzie w porządku, żeby zrobić test A/B? Jak duże zaufanie możemy mieć do wyników naszego testu?

Nie musimy liczyć tego samodzielnie. Z pomocą przychodzą kalkulatory wielkości próbki testu. To narzędzia, które na bazie odpowiednich wzorów pomogą stwierdzić, jaki test będzie istotny statystycznie.

Zobacz: Kalkulator, który wykorzystaliśmy w poradniku: abtasty.com/sample-size-calculator/

Musimy przyjrzeć się kilku parametrom podawanym w narzędziu.

1. Conversion rate – współczynnik konwersji. Wykorzystujemy Google Analytics do sprawdzenia konwersji za interesujący nas okres (np. w zakładce Pozyskiwanie > Cały ruch > źródło/medium lub kanały). Zakładając, że przeciętna konwersja w sklepie mieści się w przedziale 1-2%, na potrzeby naszego eksperymentu przyjęliśmy 1,65%.
2. Minimum detectable effect – minimalna wykrywalna zmiana. Określamy, jaka różnica będzie dla nas wystarczająca. Przykładowo, interesuje nas sytuacja, w której w jednej z wersji testu konwersja wzrośnie do 1,85%. Taką zmianę chcielibyśmy wykryć. Skok w stosunku do przeciętnego 1,65% w naszym hipotetycznym sklepie wynosi więc 1,85% / 1,65% – wzrost o 12%.
   Kalkulator liczy według notacji stosowanej w USA, użyj więc kropki zamiast przecinka, żeby nie otrzymać błędu NaN (ang. not a number, podany argument nie jest liczbą).
3. Statistical significance – istotność statystyczna. Akceptowalna standardowa istotność statystyczna to 95%. Rekomendujemy pozostawić tę wartość bez zmian.
4. Statistical power – moc statystyczna testu. Upraszczając, moc testu wskazuje nam, na ile nasz test pozwoli podjąć dobrą decyzję odnośnie przyjęcia stawianej hipotezy. Kalkulator online przyjmie tu automatycznie 80%.

Przy tych danych otrzymamy wynik 66 115 unikatowych odwiedzających. Tyle osób powinno zobaczyć każdy z wariantów testu. Jak to się ma do naszego ruchu w sklepie? 

Jak długo powinien trwać test?

Oto kolejne ważne pytanie! Na zaprezentowanej przez nas stronie do uzupełnienia pozostały dwa parametry:

1. Average Daily Visitors – czyli dzienna liczba odwiedzających.
2. Number of variations – czyli ile wariantów strony będziemy testować. Na potrzeby naszego eksperymentu przyjmijmy, że chcemy wykonać dwie różne wersje.

Jak wyliczyć pierwszy parametr? Wydaje się to dość oczywiste: bierzemy np. ostatnie kilka miesięcy, sprawdzamy liczbę użytkowników w Google Analytics i dzielimy przez liczbę dni i voilà! Nic bardziej mylnego. Uzyskalibyśmy bardzo podobną – ale inną wartość.  Sprawdźmy na dwa sposoby, jak policzyć przybliżoną unikatową liczbę użytkowników w ramach całego testu – oraz średnią dzienną. Wybierz ten, który ci odpowiada.

1. Sposób trudniejszy, ale bardziej precyzyjny

Po co to w ogóle badamy to dokładniej? Bo gdy system do testów (np. Google Optimize) raz przypisze użytkownika do danego wariantu eksperymentu, nie wyświetli mu nagle innej wersji strony, gdy drugi raz na nią wejdzie. Potrzebujemy wiedzieć, w przeciągu ilu dni naszą stronę odwiedza mniej więcej tyle osób, ile podał kalkulator.

Wiemy, że chcemy wykonać np. dwa warianty testu. Np. jeden będzie prezentował testowany przez nas moduł, a w drugim użytkownicy nie będą go widzieli.
Musimy więc pomnożyć 66 115 przez 2 i uzyskujemy 132 230. Oczywiście przemnażamy przez tyle, ile wariantów strony chcemy sprawdzić.

Otwieramy Google Analytics > Pozyskiwanie > Cały ruch > Kanały. Zaznaczamy taki czas, w którym do wczoraj (ostatniego „zamkniętego” dnia) odwiedziło nas łącznie 132 230 użytkowników (wynik przemnożenia przez liczbę wariacji). Czy będzie to tydzień? Miesiąc? Dwa kwartały? Czy w ogóle uda się uzyskać tę liczbę?
Poszerzamy zakres tak długo, aż natrafimy na najbardziej zbliżoną wartość.

W wypadku naszego testu okazało się, najbliżej takiej ilości unikatowych odwiedzających byliśmy przez ostatnie 54 dni. 

Przy okazji wiemy, że w tym czasie mamy 132 946 / 54 = 2462 unikalnych użytkowników.

Czy w wypadku twojego sklepu wynik (długość trwania testu) cię zadowolił? Jeśli otrzymana liczba dni jest akceptowalna (np. dwa tygodnie a nie kilka miesięcy) – gratulacje! 👏 Jeśli test okaże się nieracjonalnie długi, pozostaje dołożyć starań, aby działaniami marketingowymi zwiększyć ruch w sklepie.

Uwaga: Powyżej pokazaliśmy, jak policzyć unikatową dzienną liczbę odwiedzających na potrzeby użytego kalkulatora i tworzenia testów. Sprawny analityk spostrzeże, że ta liczba to nie do końca to samo co „średnia dzienna liczba unikalnych użytkowników” odwiedzających stronę. Jeżeli na potrzeby analityki czy współpracy z firmami partnerskimi potrzebujesz ją dokładnie policzyć i chcesz lepiej poznać zawiłości Google Analytics, sprawdź inny sposób, któremu poświęciliśmy błyskawiczny poradnik.

2. Sposób prostszy, ale mniej precyzyjny

Wyznacz średnią liczbę odwiedzających, biorąc pod udwagę reprezentatywny okres. Najprościej będzie zaznaczyć w Google Analytics gotowy zakres „ostatnie 7 dni”. W naszym wypadku dało to 72 106 użytkowników, czyli po podzieleniu na 30 otrzymujemy 2404 odwiedzających dziennie.

Wpisujemy tę wartość w polu „average daily visitors”. W „number of variations” podajemy liczbę wariantów do sprawdzenia – w tym wypadku będzie to 2. Na planszy „required duration in days” czyli „wymagany czas trwania wyrażony w dniach” otrzymamy naszą ostatnią niewiadomą: ile dni powinien potrwać test – w naszym wypadku to 55 dni. (wg bardziej precyzyjnego sposobu były to 54 dni). Jeśli uwzględnilibyśmy tylko tydzień zamiast ostatnich 30 dni, różnica byłaby o wiele większa (71 zamiast 54 dni).

Coś strasznie długi ten test!

W wypadku podanych przez nas liczb otrzymaliśmy wynik 54-55 dni dla dwóch wariantów strony, aby test był wiarygodny statystycznie. To dość długo! Jak potencjalnie skrócić czas trwania testu?

• Im większa zmienna „minimum detectable effect” (procentowa zmiana w konwersji, którą chcielibyśmy wykryć), tym krótszy czas trwania testu.
• Sprowadzając większy ruch na stronę, dostarczamy większą próbkę do testu, dzięki czemu będzie trwał krócej.
• Możemy zbadać inną konwersję. Pamiętajmy, że konwersja to działanie pożądane, które badamy i niekoniecznie musi to być sprzedaż. Możemy spojrzeć na wyższe etapy lejka sprzedażowego i sprawdzić, ile razy dodano produkty do koszyka, czy ile wynosi liczba kliknięć w testowany element (wtedy współczynnik konwersji to liczba kliknięć do liczby użytkowników, którzy zobaczyli daną stronę). Na tym etapie nie powinny ci być obce parametry UTM, które możesz wykorzystać chociażby do badania kliknięć (mimo że nie jest to ich pierwotne zadanie – służą głównie do pokazywania źródła ruchu na stronie). 
• Nie musisz w ogóle mierzyć konwersji. Celem może być np. zwiększenie czasu pobytu na stronie – zbadanie, która wersja jest bardziej atrakcyjna. Wtedy zwracamy uwagę na wszystkich użytkowników, którzy po prostu wejdą do sklepu (nie musimy interesować się tak wąskim zdarzeniem, jak zakup).
• Możesz też badać inne cele, zdefiniowane wcześniej w Google Analytics.

Co mogę testować w sklepie?

Ponieważ na ogół otrzymywane długości testów są niemałe, warto pamiętać, aby nie testować rzeczy błahych. Jeśli prowadzimy sklep, który – z racji obecnego ruchu – nie może pozwolić sobie na wiele testów i ich wariantów, nie testujmy np.:

• koloru przycisku wezwania do działania;
• różnych banerów promocyjnych na stronie głównej – ponieważ grafiki reklamowe są zazwyczaj związane z konkretną porą roku (np. święta, Black Friday), nie zdążymy wykonać testu przed naszą rzeczywistą promocją. Możemy ewentualnie przeprowadzić test na dwóch skrajnie różnych rodzajach grafik, aby w przyszłości wiedzieć, co działało lepiej. Takie testy są miarodajne dla sklepów z potężnym ruchem, przodujących w swojej branży.

Co przykładowo możesz przetestować?

• Dowolną zmianę w kodzie CSS – możesz zaprezentować części klientów stronę w innej odsłonie graficznej, żeby zbadać, jak na nią zareagują. Możesz testować zmianę wyglądu menu, wyświetlanie poszczególnych modułów, zmiany związane z grafiką i wyświetlaniem tekstu itd.
• Zapis na newsletter – zbadaj, dzięki której wersji belki czy wyskakującego okienka zapisało się więcej użytkowników.
• Zmianę w obrębie dowolnego adresu URL: jeśli adres zawiera określony przez Ciebie fragment, możesz wprowadzić zmianę w ramach wszystkich stron z tym fragmentem. Przykład: każda karta produktu z konkretnym słowem w adresie URL może zostać nieco zmieniona. Do dyspozycji masz tutaj wyrażenia regularne określające zasady, według których są dobierane adresy URL do testu.
• W obrębie całej strony możesz uruchomić kod javascript działający tylko wśród uczestników testu.
• Możesz wyświetlić inną wersję testu osobom, które weszły na stronę z konkretnego parametru UTM (przykładowo osoby z newslettera czy reklamy na Facebooku mogłyby zobaczyć inny komunikat na stronie docelowej). Zwróć więc uwagę, że takie działanie pełni nie tyle rolę testu, co dodatkowej funkcjonalności w obrębie całej strony!
• Możesz warunkować wyświetlanie swojego testu urządzeniem (desktop, tablet, mobile), lokalizacją czy systemem operacyjnym.
• Możesz zbadać, jak na stronę reagują zupełnie nowi użytkownicy i porównać to z powracającymi osobami.
• Dostępne są zaawansowane testy na bazie niestandardowych kodów JavaScript czy własnego pliku cookie.

---

Testowanie z Optimize otwiera szereg potężnych możliwości – nie tylko związanych z samymi testami, ale z zachowaniem twojego sklepu wobec różnych użytkowników. Podczas eksperymentów przydatna jest znajomość HTML, CSS czy Google Analytics. Jednak po przeczytaniu poradnika musisz umieć odpowiedzieć sobie na najważniejsze pytanie: czy ruch w moim sklepie pozwala jak najlepiej wykorzystać to narzędzie?