Сколько нужно протестировать пользователей, чтобы обеспечить достаточную для большинства случаев точность исследования?

Сколько нужно протестировать пользователей, чтобы обеспечить достаточную для большинства случаев точность исследования?

Немного матана! Совсем недавно, на интервью я столкнулся с интересным вопросом: «Сколько нужно протестировать пользователей, чтобы обеспечить достаточную для большинства случаев точность исследования?»

И казалось бы, ответ довольно очевидный: мол Нильсен говорит 5. Но почему 5? Откуда это магическое число? Без математики не обошлось.

Автор в статье погружается в тему довольно глубоко, проливая свет на скрытую для многих часть айсберга, и разбирается, так сколько ж нужно-то?

Если прорезюмировать, то можно сказать, что Нильсен не был не прав 🙂 Однако стоит приводить полный ответ:

—————————————————————————

Если во время тестирования эксперименты будут независимыми, а выборка по крайней мере квазислучайной, то мы можем предположить, что при тестировании 5 пользователей мы обнаружим 85% ошибок, с которыми сталкиваются не менее 31% пользователей.

—————————————————————————

Последняя часть, вообще интересная, не правда-ли? ) «Не менее 31% пользователей», то есть в самом неудачном случае 59% пользующихся так и не столкнуться с проблемами. Но это не слишком страшно.

Интересно, что если вы хотите повысить эффективность тестирования, то увеличение выборки не единственный способ это сделать (для приличного уровня понадобиться что-то около 40 испытуемых). Вы можете также повлиять на вероятность появления ошибки. Как не парадоксально, уменьшая случайность выборки (сегментация?), вы можете повысить вероятность возникновения ошибок и тем самым снизить число необходимых пользователей.

http://bit.ly/2UqfhOs

Хочу Молиться На Самостоятельных Людей

Очередной зашквар. Партнёр по бизнесу ругает меня за то что я много делаю руками или переделываю за другими людьми.

Приведу парочку примеров, где для меня было очевидно «хули ты стонешь? пойди и сделай!», а для человека было «а я вот не могу и жду»

Задача: сделать презентацию клиенту
ЦА понятная, есть примеры, структура и часть контента.
Что получаем: набросанные заголовки, бардак и отсутствие оформления, нормального текста.
Что имеем:
— вот преза, я писать текст нормально не могу, может ты его напишешь?
— оформлять я тоже не могу, у нас же куча дизайнеров — давайте им задачу дадим. не вижу смысла это делать мне.
— я сижу без работы два дня и жду от вас действий, что мне делать?

Да ты, сука, сядь и изучи keynote или figma, у тебя есть пример того «как надо» перед глазами, посмотри уроки какие-то. Хули ты сидишь без работы и чего-то ждёшь, если на презе всё завязано?

Мы не корпорация, а студия в 20 человек, ты реально ждёшь чтоб за тебя кто-то хорошо написал текст и подвигал блоки в keynote?

Ещё пример: сделать таблицу проектов, ресурсов и команд в notion, чтоб каждую неделю синхронизироваться.
Что имеем
— Я сделал документ в excel, потому что notion непонятный, мне проще в excell, я так привык.
Всё это плохо грузится, найти в гугл-диксе сложно, потому что база знаний и дашбордов у нас в notion и все там работают.

Давай ещё open office внедрим потому что тебе так привычно? Будем все устанавливать его и страдать каждую неделю, лишь бы тебе удобно было.

Ну и третий: написать инструкцию про внутренний процесс.
Что имеем:
— Я вот вроде написал, но есть моменты, где я не понимаю как написать, потому что я в этих процессах сам не участвовал, это арт-дир делает, поможешь мне — напишешь как надо?

Господи ты боже мой! Подойди к арт-диру и спроси, зачем ты мне пишешь? Я запрещаю тебе с людьми общаться? Привязываю к креслу и рот кляпом затыкаю?

Люди, искусственно создающие себе барьеры — беспомощные люди. Не надо так.

Все ситуации выдуманы, любое совпадение с реальностью случайно 🙂

Очень близкая мне статья про сторифреймы

Да, так и нужно начинать работу над текстом нового продукта и информационным дизайном в целом. Представляем, что пользовательский сценарий — это диалог. Прописываем его в виде реплик. Голос приложения — это продавец-консультант. Голос пользователя — это его внутренняя речь.

— Так, и что тут у вас?
— А вот поглядите, можно сохранять любимые места из книг.
— Хм... а из электронной можно?
— Можно, хотите загрузить?
— Да. Ок загрузил, а где теперь найти?
— А вот, посмотрите в ленте.

Дальше разбираем, какие экраны и элементы нам нужны, чтобы реплики консультанта «зазвучали». И сразу будет понятно, как именно нужно обращаться к пользователю на этих экранах и элементах.

Главное не забывать, что внутреннюю речь пользователя мы только предполагаем. В реальности всё не так. Её нужно проверять ю-тестами, в идеале — с реальным «мышлением вслух».

Зато потом каждый сценарий будет последовательной и логичной историей. И вам не придется придумывать, что писать на очередной подсказке, и гадать, нужна ли она вообще

Презентация CMO Яндекс.Такси Даши Золотухиной

Одна из проблем, с которой борется команда маркетинга Я.Такси — перераспределение трафика между брендами и каналами (каннибализация). Суть — у бизнеса есть 2 сильных бренда (Я.Такси и Убер). Нужно научиться правильно распределять трафик между ними. Кроме того, есть десятки каналов привлечения трафика и нужно понять какие из этих каналов приводят новых пользователей, а не просто "воруют" органический трафик.

Предложенные решения:

  • разное позиционирование для брендов. Например, Uber для более молодых. Запуск и продвижение тарифа Uber Night привел к росту(+55%) ночных поездок и увеличил (+32%) узнаваемость среди ЦА.
  • сделать списки ремаркетинга отвалившихся клиентов одного бренда и предложить им второй бренд,
  • плановое (в несколько этапов или несколько партнеров) отключение рекламной закупки для снижения каннибализации в платном трафике

Интересная информация:

  • более 50% пользователей мультиаппят (используют несколько приложений для вызова такси),
  • конверсия в первую поездку Uber через канал Тик-Ток - 41%,
  • дождь приносит до +22% рост органики в Я.Такси.

Специальные организмы

Специальные организмы

Год назад мы перестроили процесс работы команды с китом в Figma и перестали проебываться с правками по десяткам экранов разом.

Для этого в общей теории атомарности мы вели специальные организмы.

Они отвечают за конкретный текст внутри сценария и позволяют быстро править тексты и иконки внутри этих сценариев. Например, требуются правки в сценарий входа — заменить с Подтвердить на Войти.

В нашей дизайнерской вселенной живут пять сущностей, две из них — наша находка.

1. Атомы
Базовые элементы-одноклеточные. Отвечают за стиль и используются много раз. Атомом бывает фигура или иконка.

2. Молекулы
Сумма атомов, основа дизайна: это целостный элемент, например кнопка, инпут, меню или тапбар. Отвечает за разметку (расстояния).

3. Организмы
Это состояния молекулы, которые передают цвет и отображение атомов. Например, состояния кнопки: при наведении или при нажатии.

4. Специальные организмы
Отвечают за текст и иконки и конкретный текст внутри сценария.

5. Общие организмы
Это специальные организмы, которые используются в неизменном виде в нескольких сценариях.

Не начинать с отмазки и нытья

Плохая практика начинать свой рассказ с отмазки, давления на жалость и запроса преференций:

  • Версия пока сырая, не судите строго.
  • Я, конечно, не профессионал в этом, но пара комментариев у меня есть.
  • Возможно, вам совсем не понравится, главное собрать обратную связь.
  • Я понимаю, что уже много есть статей на эту тему, но у меня ещё не было.
  • Я понимаю, что вы устали — постараюсь рассказать побыстрее.
  • Это мой первый проект, надеюсь, что вы не будете меня сильно критиковать.
  • Мне не рассказать так круто, как это сделал прошлый докладчик, но всё равно послушайте.
  • ... и т.д. и т.п.

Зачем ты мне это показываешь, если не хочешь, чтобы я дал честную обратную связь?
Если сам знаешь, что показываешь откровенное Г., то зачем вообще показываешь?
Если у тебя нет опыта, но ты почему-то взялся и написал/сделал — почему я не должен критиковать?

В общем, или вообще не делайте, или рассказывайте, показывайте и пишите уверенно — появятся вопросы, тогда и поясните. Преждевременные отмазки никому не интересно слушать.