Сколько нужно протестировать пользователей, чтобы обеспечить достаточную для большинства случаев точность исследования?

Сколько нужно протестировать пользователей, чтобы обеспечить достаточную для большинства случаев точность исследования?

Немного матана! Совсем недавно, на интервью я столкнулся с интересным вопросом: «Сколько нужно протестировать пользователей, чтобы обеспечить достаточную для большинства случаев точность исследования?»

И казалось бы, ответ довольно очевидный: мол Нильсен говорит 5. Но почему 5? Откуда это магическое число? Без математики не обошлось.

Автор в статье погружается в тему довольно глубоко, проливая свет на скрытую для многих часть айсберга, и разбирается, так сколько ж нужно-то?

Если прорезюмировать, то можно сказать, что Нильсен не был не прав 🙂 Однако стоит приводить полный ответ:

—————————————————————————

Если во время тестирования эксперименты будут независимыми, а выборка по крайней мере квазислучайной, то мы можем предположить, что при тестировании 5 пользователей мы обнаружим 85% ошибок, с которыми сталкиваются не менее 31% пользователей.

—————————————————————————

Последняя часть, вообще интересная, не правда-ли? ) «Не менее 31% пользователей», то есть в самом неудачном случае 59% пользующихся так и не столкнуться с проблемами. Но это не слишком страшно.

Интересно, что если вы хотите повысить эффективность тестирования, то увеличение выборки не единственный способ это сделать (для приличного уровня понадобиться что-то около 40 испытуемых). Вы можете также повлиять на вероятность появления ошибки. Как не парадоксально, уменьшая случайность выборки (сегментация?), вы можете повысить вероятность возникновения ошибок и тем самым снизить число необходимых пользователей.

http://bit.ly/2UqfhOs

Илья Александров написал о дизайне предсерийного прототипа «Симкомата Х».

«Основная задача на первой стадии дизайна — вместить в минимально возможный корпус все нужные устройства. Параллельно с набросками мы решили сразу делать габаритные модели всех внутренних устройств, чтобы в реальности компоновать, сразу видеть общие размеры, пробовать разное размещение и учитывать эргономику».

«Размещение сканера сверху (человеку не нужно поворачивать телефон экраном вниз) кажется более логичным, и за него были разработчики. Но в нём был огромный недостаток с точки зрения взаимодействия — сканер не виден человеку.

Мы провели быстрый „коридорный“ тест этого варианта со случайными людьми на картонном прототипе. Даже тем, кто понимал, что сканер „должен где-то быть“, требовалось визуальное подтверждение, и некоторые пытались заглянуть снизу.

В то же время решения со сканером, направленным вверх, встречаются в природе, например, для сканирования билетов на турникетах. И похоже, они привычны для людей».

«Одна из основных трудностей: гнутая передняя деталь. Поначалу пытались гнуть её из листового железа на вальцах, но ровной поверхности не получалось — были видны рёбра на месте изгиба. Поэтому в итоге мы перешли на формовку листового пластика. С ним тоже были проблемы — требовалась ручная доводка, но для прототипа можно было потерпеть».

«Стенки корпуса и стойку сделали с помощью фрезерования из МДФ. Для прототипа этого достаточно, но было понятно, что на серии нужно будет делать из металла».

https://vc.ru/design/80772

Нужно ли платить за услуги консультантов и бизнес-трененов?

Увидел такой вопрос вчера в ленте, конечно потерял его из вида ... но хожу размышляю об этом. Думаю да, нужно искать любые внешние импульсы, которые двигают вас вперед. Ценить их и платить за них. Но есть одна проблема.

Практически любой внешний консультант (от психолога, до бизнес-коуча) скажет вам то, что вы прекрасно знаете сами. Потому что задача хорошего консультанта не удивить вас неведомой фигней, а подвести к самостоятельному осознанию этой фигни, ее фиксации и какой-то деятельности вокруг.

Это часто создает иллюзию бесполезности консультаций: мне помогли осознать то, что я и так знал все это время. Еще и за деньги 🙁 Я ведь и сам мог ...

Мог, но не смог. Потому что осознавать реальную ситуацию часто бывает страшно, резкие решения принимать стремно. Поэтому в нас действительно дремлют и не реализуются отличные планы действий. Нереализованные планы.

В принципе, если хорошо расслабиться: взять отпуск, съездить на конференцию, сходить в гости к парочке конкурентов (или от чего вас отпускает?) ... а потом сесть и записать проблемы, тенденции и действия. То да, консультант будет не нужен. Вы действительно сами знали и знаете, что делать в работе/жизни в каждый момент времени.

Помните этот прием? Выйти из комнаты, зайти в нее и сказать самому себе все то, что выдал бы крутой консультант.

Болит за тексты

Вот знаете, есть такая штука, как тексты в интерфейсах. Буквы, слова и даже целые предложения, которые помогают тебе вести пользователя и решать его задачи.

Пример: мы собираем онбординг для мобильного приложения. Набор стартовых экранов, который рассказывает пользователю, как работает наше приложение - маркетплейс трусов.

Логика такая:

1 - экран (приветствие)
2 - экран (рассказываем про топ возможности нашего каталога трусов)
3 - экран (говорим, что можно купить трусняк в один клик без мозговой боли)
4 - кидаем пользователя на каталог, а лучше на топовые труселя с покупкой в один клик

Но вот же беда - нормально написать тексты для этих экранов может быть целой проблемой. Казалось бы, возьми копирайтера и вот тебе все решено. Но не так все просто. Люди, которые пишут статьи или рекламные слоганы, не равно люди, которые пишут для интерфейса.

Все чаще слышу от рынка, что есть UX копирайтеры. Отдельная профессия такая, когда пишут только под интерфейсы. Работают плотно с продактами и дизами. Насыщают текстами кнопки, меню, подсказки, ошибки, заглушки, заголовки, подписи к формам и прочие элементы.

В продуктах, которых работал, тексты к интерфейсам мы писали всем скопом: копирайтер, дизайнер, продакт. А вот то, чтобы прямо отдельный человек, ну не знаю.

Расскажите, как у вас это устроено? Опрос будет под постом.

А я вам статеек накидаю полезных про UX копирайтинг:

1. https://bit.ly/2OLJEKY - подробно разложена тема UX копирайтинга

2. https://bit.ly/2QQ2JhE - опыт Google по написанию текстов

3. https://bit.ly/34oMOed - про UX писателей

Почему мы предпочитаем делать юзабилити-тесты финсервисов вживую?

Почему мы предпочитаем делать юзабилити-тесты финсервисов вживую?

Есть три группы ограничений, которые уводят в общение тет-а-тет.

1. Технические.
– Мы тестируем интерфейсы и важно видеть, как именно люди держат телефоны. Поэтому для удалённых тестов нужны камера и штатив.
– Надо рассылать инструкции, просить пользователя установить необходимое оборудование и подключить наушники. Уходит минут 20 на настройку и технические неполадки.
– Многие респонденты просто технически не продвинуты и не могут всё подготовить.
Эта возня отъедает время общения и терпение респондента.

2. Коммуникация.
– Часто люди волнуются перед тестом, стесняются. Когда разговариваешь с респондентом лично, представляешься и завязываешь беседу, располагаешь человека к себе.
– Люди быстрее доверят важную или личную информацию живому человеку, а не голосу в наушниках и картинке на экране.
– Важно и эмоциональное состояние — показатель отклика и реакции на удобство интерфейса: качественно такое можно считать только в офлайне.
– Кроме того, во время удалённого разговора респондента могут отвлечь: когда вы общаетесь лично, человек посвящает около часа тестированию один на один.
– Вы видите ситуацию целиком, считываете эмоции, реакцию, поведение и позу пользователя — это даёт контекст, который теряется при удалённом тесте.

3. Секьюрность.
– Мы работаем с чувствительными данными клиента, тестируя финансовые сервисы иногда на данных пользователя. В онлайне запустить такое сложно. У пользователя меньше доверия — он может опасаться, что лишние люди увидят экран.
– С другой стороны, мы работаем с банками-заказчиками под NDA и должны гарантировать, что новый продукт не утечёт за пределы команды дизайна, разработки и тестов до запуска проекта.

Иногда от этого приходится отходить, например, когда респонденты из Европы или США. Всё это грозит двойной потерей качества — из-за онлайна и языковых барьеров.

Вопрос: как менеджеру-гуманитарию начать разбираться в технических вопросах?

Для начала стоит принять, что как бы сильно вы ни старались — вряд ли вы станете говорить с командой на одном языке: они варятся в проекте по 6-8 часов в день, у вас столько времени попросту нет.

Затем попробуйте понять, а для чего вам собственно нужно разбираться? Если хотите иметь больше веса в обсуждениях (условное «чтобы вас не наебали») — тоже не выйдет: во-первых — вы не прораб на стройке и наёбывать вас никто не собирается, а во-вторых всё равно обманут, если захотят.

Если вы решили приносить больше пользы, к примеру предлагать более простые и остроумные решения, или интуитивно чувствовать сложность задач — то просто почаще общайтесь с командой. Подучите ваш язык программирования, попробуйте пройти обучающие туториалы вашего фреймворка (они рассчитаны именно на таких начинающих, как вы), а затем просто начинайте спрашивать у ребят, как работает та или иная часть системы. Любой человек с радостью открывается, когда видит искренний интерес к своей работе.

Пара часов таких разговоров в неделю — и через несколько месяцев месяцев вы начнёте приносить гораздо больше пользы на обсуждениях.