Сколько нужно протестировать пользователей, чтобы обеспечить достаточную для большинства случаев точность исследования?

Сколько нужно протестировать пользователей, чтобы обеспечить достаточную для большинства случаев точность исследования?

Немного матана! Совсем недавно, на интервью я столкнулся с интересным вопросом: «Сколько нужно протестировать пользователей, чтобы обеспечить достаточную для большинства случаев точность исследования?»

И казалось бы, ответ довольно очевидный: мол Нильсен говорит 5. Но почему 5? Откуда это магическое число? Без математики не обошлось.

Автор в статье погружается в тему довольно глубоко, проливая свет на скрытую для многих часть айсберга, и разбирается, так сколько ж нужно-то?

Если прорезюмировать, то можно сказать, что Нильсен не был не прав 🙂 Однако стоит приводить полный ответ:

—————————————————————————

Если во время тестирования эксперименты будут независимыми, а выборка по крайней мере квазислучайной, то мы можем предположить, что при тестировании 5 пользователей мы обнаружим 85% ошибок, с которыми сталкиваются не менее 31% пользователей.

—————————————————————————

Последняя часть, вообще интересная, не правда-ли? ) «Не менее 31% пользователей», то есть в самом неудачном случае 59% пользующихся так и не столкнуться с проблемами. Но это не слишком страшно.

Интересно, что если вы хотите повысить эффективность тестирования, то увеличение выборки не единственный способ это сделать (для приличного уровня понадобиться что-то около 40 испытуемых). Вы можете также повлиять на вероятность появления ошибки. Как не парадоксально, уменьшая случайность выборки (сегментация?), вы можете повысить вероятность возникновения ошибок и тем самым снизить число необходимых пользователей.

http://bit.ly/2UqfhOs

Смена лого Google Maps

Смена лого Google Maps

Карты гугла обновили логотип и я, как преданный пользователь сервиса, ощутил на себе всю "прелесть" этого мероприятия. Под постом будет картинка До обновления и После.

Вопрос редизайна продукта - тонкая материя. Грань между тем, чтобы сделать лучше и не испортить то, что есть, тяжело осязаема. Поэтому подходить к обновлению дизайна нужно осторожно.

Вот мой пользовательский опыт: я, как человек, который часто пользуется google maps, уже раза три ловил себя на том, что не могу найти приложение. Хотя оно находится на том же месте, где и всегда.

Мне приходилось вчитываться в подписи иконок, чтобы найти карты. То есть, вместо того, чтобы считать знакомый образ, я отваливаюсь на том, что не могу его найти.

Позже выпущу отдельный пост про редизайн с догамами, которые усвоил. Но сейчас хочу узнать, какие вы испытываете ощущения, когда меняется дизайн продукта, которым пользуетесь?

Про адаптацию стажеров и младших специалистов

Наш руководитель веб-направления Таня Аладина интересно написала про адаптацию стажеров и младших специалистов:

— Для себя сделала вывод про младших специалистов, который был для меня не очевиден ранее. Младшие специалисты могут работать там, где в рамках их этапа работы они будут действовать с опытным специалистом. Например, когда младший делает верстку на реакте, а затем за ним старший пишет логику js. Или если старший делает дизайн-концепцию, а младший помогает нарисовать внутреннюю страницу, которая затем проходит ревью и подтверждение со старшим, при этом за весь результат отвечает старший.

Но вот в ситуации, когда младший целиком сдает свой этап работы сам, даже если предполагается ревью — есть сильный риск упасть в качестве. Самостоятельно – младшим должна доставаться работа начального уровня сложности. Младшие менеджеры, ответственные за проект целиком — довольно опасная ситуация. Пока не придумала, как можно продюсеров соединять в пары.

Один на один

Самое полезное для меня открытие последнего времени — проведение общения с коллегами в формате один на один.
Прежде всего, формат один на один полезен при общении Старший/Младший, Куратор/Курируемый, Менеджер/Участник и т.д..
У нас в продуктовой команде Велвики один на один работает так:

  • Общение длится 1 час, а общаемся один раз в месяц.
  • С новыми участниками команды общение происходит чаще — раз в неделю.
  • Запросить встречу один на один может кто угодно и с кем угодно (пользуются редко).


В чём польза такого общения:

  • Доверительная беседа в течение часа позволяет обсудить не только рабочие, но и личные темы — помогает понять место работы в жизни коллеги.
  • Прекрасная возможность предоставлять и получать регулярную обратную связь и фиксировать прогресс - обратная связь становится неотъемлемой частью.
  • Когда установлено доверие, то легче и раньше поднимаются финансовые и коммуникационные вопросы — проблема гасится до того, как она становится проблемой.

Что важно для один на один:

  1. Надо готовиться и фиксировать итоги. Каждое новое общение это продолжение прошлого.
  2. Не отвлекаться. Оба участника должны быть сосредоточены на общении, а не на постороннем.
  3. Не ждать многого с первого раза. Первый раз получается скомканным — тот, кто раньше не участвовал в таких форматах, не сразу готов к доверительной беседе.

Кстати, подойти к коллеге и спросить у него: "Ну как дела? Всё хорошо?" или неформально пообщаться в кафе — это не один на один. Это как на улице спросить у знакомого: "Как дела?", на что он ответит: "Нормально! Сам как?". Вот и поговорили.

Найти рынок

Первая причина по которой отваливаются большинство стартапов, это отсутствие платящих пользователей. Вы решаете чьи-то проблемы с помощью продукта и вам платят за это деньги. Все просто. Так бы и выстреливала одна за другой идея, но без рынка это невозможно провернуть.

Часто продукты рождаются из собственной потребности основателя. Это классика. У тебя что-то настолько болит, что ты просто придумываешь решение. Дальше видишь, что у других болит также и они готовы тебе платить (это рынок). Масштабируешь решение, растешь и т.д.

Есть две короткие истории про это.

1. Дженифер классно писала эссе в институте. Ее одногрупница попросила помочь, но Джен была сильно занята. Тогда ей предложили выполнить работу за $20 (нащупывается рынок).

Заказ за заказом и Дженифер наняла себе в помощь других писателей. Так родился продукт EssayService.

2. Джилбоа - парень, который носит очки, как-то потерял их во время своего путешествия. Они просто выпали у него из рюкзака. Он провел небольшой ресерч для покупки новой пары и обнаружил, что наценка составляет Х10-20 от себестоимости.

Вместе со своим одноклассником Нейлом ребята основали небольшую компанию WarbyParker, которая продавала очки гораздо дешевле, чем ее конкуренты. Стоимость их бизнеса оценивается в $200 млн.

Не забывать напоминать

Друзья, заметка про любопытство и тягу к знаниям получается довольно объёмной. Обросла примерами и цитатами — оформлю её отдельной статьёй и скоро поделюсь.
А сегодня немного практичных советов, которые относятся к навыку "умение доставать нужную информацию".

Я встречал многих исполнителей, которые стеснялись запросить лишний раз то, что им требуется для выполнения своей работы: предоплата, тексты для сайта, фирменный стиль, ТЗ и прочее.
Я встречал многих заказчиков, которые стеснялись требовать своё: макеты, релиз на сервер, прототипы и прочее.
День ждут, второй ждут ... злятся, нервничают, но не запрашивают.

Чтобы вас не динамили — надо напоминать, надо делать себя приоритетными.
К счастью, сейчас полно стандартных инструментов, которые позволяют напоминать. Что я использую:

👉 Отправка почты по расписанию. Если кто-то мне что-то должен в определённый день, то я заранее отправляю отложенное письмо, которое придёт адресату за день до срока долга и напомнит. Примерно так: "Напоминаю, завтра жду от вас ...". Отложенная отправка есть и в Gmail, и в Яндекс почте и наверное, много где.

👉 Если долгов много — ставлю мероприятия в Гугл. Календарь, подключаю туда "должника" и в настройки ставлю: уведомить на почту за 1 день" (или несколько интервалов).

👉 Пару раз использовал отложенные сообщения в Телеграм (их недавняя опция) — тот же смысл, что и с почтой, но более личный.

👉 Можно задействовать Trello, подключая "должника" как исполнителя на задачи со сроком — этот путь чуть сложнее, так как требует вовлечения должника в Trello.

В общем, если вам что-то надо — не стесняйтесь это запрашивать и напоминать. Уважительное напоминание — это способ избежать конфликта в дальнейшем. Инструменты отложенной отправки позволяют вам самим не забыть о необходимости напомнить: возник долг — сразу направьте напоминание.