2022-11-08 19:01:25
Червона чи синя кнопка, Нео? Що таке A/B-тестування і як воно допомагає видавцям зростатиОнлайн-журнал для медіабізнесу Digiday і SaaS-компанія Piano опублікували «Посібник видавця з A/B-тестування». У ньому автори покроково описують, чому медіавласникам варто досліджувати реакцію аудиторії на зміни за допомогою цього методу. .
Олександр Крейбіг, директор зі стратегічних послуг у Piano, переконує, що поступові зміни після тестування A/B — одне з основних джерел зростання видавців. Розуміння поведінки аудиторії, як вона реагує на конкретні типи контенту чи пропозиції підписки, допомагає сформувати ефективну стратегію передплати. А визначити, що потрібно кожній групі читачів, допоможе A/B-тестування.
A/B або спліт-тестування порівнює та досліджує результати двох чи більше елементів на вебсторінці видання. Аудиторію випадково ділять на групи, щоби визначити, яка версія сторінки матиме кращий результат і для кого спрацюють зміни.
На практиці це виглядає так: у команди є гіпотеза, що поведінка аудиторії зміниться через ті чи інші нововведення. Її намагаються підтвердити через експеримент над аудиторією. Наприклад, якщо змінити колір кнопки «підписатись» із синьої на червону, читачі почнуть більше підписуватися на видання. A/B-тестування ділить аудиторію на групи, де
А — головна вибірка, яка бачитиме далі синю кнопку. Вибірка
В бачитиме її у новому кольорі. Після визначеного періоду зібрані реакції на зміну кольору порівнюють з іншими групами, й виводиться результат — чи вигідно змінювати колір елементу на сайті.
Олександр Крейбіг пояснює, що A/B-тестування допомагає вирахувати фокус руху медіабізнесу із найвищим відсотком успіху:
«Уявіть, що ви тестуєте ціну, і водночас варіант має ще й інший колір. Тоді ви здобуваєте кращі результати… Утім, ви отримали їх через зміну ціни чи зміни кольору? Є багато таких прикладів, коли кінцевий результат просто не розуміють».Змінних у тестуванні буває більше (A, B, C… N), а гіпотези можуть стосуватися будь-яких пріоритетних для видавця KPI. У підручнику зауважується, що успішні бренди та видавці не обмежують своє тестування, адже будь-яка змінна, якою б малою вона не була, може вплинути на враження читача.
Перед тим, як проводити тестування, маркетологи чи самі видавці розробляють гіпотези на базі стратегічних KPI. Якщо основним KPI є кількість нових підписок, видавець не захоче підвищувати ціну, оскільки це може призвести до зменшення нових підписок, навіть за умов зростання доходу. Тому головне — чітко визначена ціль, якої видавець хоче досягти.
За словами Олександра Крейбіга, A/B тестування зменшує ризик і дає змогу перевірити, чи принесуть зміни статистично переконливі результати.
Також дуже важливим є період дослідження, а особливо — розуміння, коли настав час припинити тестування та використовувати статистичні дані для оптимізації стратегії підписок і переходу до наступного тесту. Автори радять проводити тести не довше, ніж 2 тижні, аби швидко перехопити користь від отриманих даних і рухатися далі.
Є різні моделі A/B тестування. Найпопулярніший — Баєсівський метод статистичного оцінювання висновків. Зібрані дані використовують для оцінювання ймовірностей. Утім, немає єдиного «правильного» способу проведення тестів A/B. Єдина вимога полягає в тому, щоби тестувальник вибрав методологію тестування.
Видавцям не потрібно знати тонкощі методологій A/B-тестування на сучасних платформах. Потрібно лише визначити показники, на які видання орієнтуватиметься у зростанні, та виділити дійсно значущі висновки зі звіту. Такими дослідженнями займаються компанії з маркетингу та аудиту. За словами Крейбіга, важливо шукати фахівців із попереднім досвідом A/B-тестування.
Щоби зрозуміти, як виглядає тестування, можна зайти на блог Google. Тут докладно розповідають, як можна самому створити A/B-тест для певної сторінки чи облікового запису. Зробити це можна у Google Оптимізації, де за основу взято збір даних про активність користувачів із Google Analytics.
73 views16:01