Сколько нужно протестировать пользователей, чтобы обеспечить достаточную для большинства случаев точность исследования?

Сколько нужно протестировать пользователей, чтобы обеспечить достаточную для большинства случаев точность исследования?

Немного матана! Совсем недавно, на интервью я столкнулся с интересным вопросом: «Сколько нужно протестировать пользователей, чтобы обеспечить достаточную для большинства случаев точность исследования?»

И казалось бы, ответ довольно очевидный: мол Нильсен говорит 5. Но почему 5? Откуда это магическое число? Без математики не обошлось.

Автор в статье погружается в тему довольно глубоко, проливая свет на скрытую для многих часть айсберга, и разбирается, так сколько ж нужно-то?

Если прорезюмировать, то можно сказать, что Нильсен не был не прав 🙂 Однако стоит приводить полный ответ:

—————————————————————————

Если во время тестирования эксперименты будут независимыми, а выборка по крайней мере квазислучайной, то мы можем предположить, что при тестировании 5 пользователей мы обнаружим 85% ошибок, с которыми сталкиваются не менее 31% пользователей.

—————————————————————————

Последняя часть, вообще интересная, не правда-ли? ) «Не менее 31% пользователей», то есть в самом неудачном случае 59% пользующихся так и не столкнуться с проблемами. Но это не слишком страшно.

Интересно, что если вы хотите повысить эффективность тестирования, то увеличение выборки не единственный способ это сделать (для приличного уровня понадобиться что-то около 40 испытуемых). Вы можете также повлиять на вероятность появления ошибки. Как не парадоксально, уменьшая случайность выборки (сегментация?), вы можете повысить вероятность возникновения ошибок и тем самым снизить число необходимых пользователей.

http://bit.ly/2UqfhOs

Правило хорошего тона на встречах и созвонах: рекомендации

Знаете, несмотря на то, что продакт менеджер это спринты, разработка, интерфейсы, метрики и бла, бла, бла, как раз с "бла, бла, бла", часто возникают проблемы.

Ты отвечаешь за продукт, рулишь большим потоком информации, собираешь встречи с заинтересованными лицами. Но как они проходят? Быстро обстучали, разбежались. Что-то начали делать, потом оказалось, что не так поняли друг друга. Потеряли во времени и ресурсах.

Коммуникации штука интересная и непростая. Люди, с которыми вы работаете, немного иначе смотрят на этот мир, а тем более не могут залезть вам в голову. Просто примите это. Да, не легко, понимаю, но нужно стараться.

Если посмотреть на день продакта, то он легко может состоять на 60-70-80%, из встреч и звонков. Поэтому дам хоть и банальные, но архиважные рекомендации по тому, как нужно проводить эти мероприятия.

0. Подготовка

Чтобы провести встречу или звонок, к ним нужно подготовиться (спасибо кэп). Это кажется настолько очевидно, что куча народа про это тупо забывает или забивает. Тебя зовут на встречу, а в итоге "ни бэ, ни мэ, ни кукарЕку". Ни целей, ни задач, ни решений. Народ просто смотрит друг на друга и не понимает, чтотнужно делать. 80% копаешься в контексте, потом 20% думаешь над решением. Отстой полнейший.

Если вы собираете встречу или звонок, будьте добры подготовиться: определите задачи, состав участников, краткий сценарий и результат, который хотите получить в конце.

1. Контекст

Обязательно убедитесь, что все участники находятся в едином контексте.

Не поленитесь и приложите описание встречи (agenda). Опишите задачу и открытые вопросы. Когда все начнется, еще раз проговорите эту инфу для участников. Так вы синхронизируете всех между собой.

2. Правила игры или сценарий

Когда все введены в контекст, расскажите о том, как будет проведена встреча.

Буквально основные этапы обсуждения: "Предлагаю начать с этого и обменяться мнениями. Дальше посмотрим на бенчмарки, которые я собрал (подготовка). В конце примем решение, на основе всей информации."

3. Во время встречи/звонка

В процессе диалога следите за соблюдением сценария. Если участники отклоняются от темы, возвращайте их обратно. Старайтесь вовлекать всех участников. Если вы позвали определенных людей, то значит вам нужно их мнение. Если не нужно, то нафиг звать?

Часто появляется альфа оратор, который давит остальных. Дайте ему высказаться, а затем спросите тех, кто отмалчивается. Таким образом все будут вовлечены в процесс, и вы получите разные мнения.

Обязательно записывайте основные моменты и договоренности на протяжении всего митинга.

4. Итоги и MOM

По итогу встречи проговорите то, о чем договорились. Кто-то из участников может вас дополнить. Скорректируйте список, если потребуется.

После встречи вышлите всем MOM (minuites of meeting) или протокол встречи с основными моментами и решениями.

Поздравляю

Теперь ваши встречи и звонки преобразятся. Вы наконец-то стали не просто продактом, а еще и менеджером, который умеет эффективно проводить подобные мероприятия.

Попробуйте хотя бы раз воспользоваться текущими рекомендациями и увидите насколько круче станут ваши коммуникации с коллегами.

P. S. Если то, что вы прочитали выше, для вас само собой разумеющиеся, то я искренне рад, что вы существуете.

Просто поделитесь этими рекомендациями с теми, кто о них еще не слышал. Так мы сделаем нашу корпоративную жизнь чуть лучше ;)

Подтягивать слабые стороны или усиливать сильные?

Подтягивать слабые стороны или усиливать сильные?

В триатлоне, как ясно из названия, три дисциплины: плавание, велогонка и бег.

Я — начинающий спортсмен, и у меня любительский уровень бега, езды на велосипеде и практически нулевое плавание. Если хотите, подписывайтесь на меня в Страве (https://www.strava.com/athletes/chulakov).

Конечно, в этой ситуации мне надо подтягивать плавание, но не для того, чтобы выигрывать у всех на водном этапе, а чтобы экономно его проходить, не тратя все силы на неумелое барахтание в воде.

В триатлоне существует масса форматов соревнований от разных организаций с множеством дистанций. Самым известным является Ironman. На полной железной дистанции, так это называется по-русски, надо 3,8 км плыть, 180 км ехать и 42,2 км бежать. Рассматриваем Ironman, потому что он ближе всего подходит для сравнения с любой профессиональной деятельностью — дистанция длинная, это не спринт.

Плавательный этап дает профессиональным пловцам, выступающим в гонке, не очень большой выигрыш во времени. Велогонка — самый важный этап с точки зрения возможностей выиграть время. Бег тоже имеет большое значение. Плавание — на последнем месте с точки зрения влияния на результат в длинном триатлоне.

Как атлету построить свою тренировочную программу, чтобы быстрее добиться результата? Это вопрос к профессионалам. Но есть мнение, что в какой-то момент, когда спортсмен уже вышел на неплохой уровень и хорошо справляется со всеми тремя этапами, ему нужно перестать компенсировать свою слабую дисциплину, тратя на это кучу времени. Вместо этого необходимо сфокусироваться на сильной стороне (велосипеде или беге), чтобы развить свои способности по максимуму.

Профессиональная самореализация — это всегда игра вдолгую, это дистанция длиною в 5, 10 и более лет. Все, что написано выше по мнению автора относится к любой профессиональной деятельности, в которой вы хотите добиться больших высот.

Итак, фокусировка на своей сильной стороне является эффективным решением с точки зрения развития бизнеса. А фокус внешних коммуникаций на сильной стороне является отличным решением в пиаре. Это называют позиционированием.

Чинить баги по TDD

Один из кейсов, которые я рассмотрю на своём мастер-классе 26 октября (https://tdd.timepad.ru/event/1074439/?utm_source=telegram&utm_medium=messenger&utm_campaign=mypost-bugs) — это исправление багов по TDD.

Вот прилетает к нам задача, скажем «Жму на кнопку — не работает». Обычно мы чиним такие баги весьма тупо — поднимаем фронт и бек, придумываем гипотезу, и начинаем дебажить: вносим исправление и жмём на кнопку. Если заработало — отлично, если нет — просто перебираем дальше гипотезу за гипотезой. Иногда мы перебираем гипотезы настолько беспорядочно, что даже не убираем следы предыдущих попыток.

Так делать не стоит — это медленно, к тому же после вашей работы не остаётся тестов, которые доказывают, что вы её сделали.

Правильный процесс выглядит так: открываем контроллер в API, куда ходит кнопка, а дальше ставим под сомнение каждый нижележащий метод, проговаривая про себя гипотезы, к примеру: «я сомневаюсь, что метод get_users() не возвращает неактивных пользователей». Если сразу не находим теста, который доказывает обратное — пишем свой. Если тест падает — отлично, у вас уже есть тест, и остаётся только написать код. Если написанный тест не падает — git checkout --, и ставим под сомнение следующий метод.

Такой процесс заставляет вас тестировать баги изолированно — вы никогда не натолкнётесь ещё на один баг, который создали во время предыдущих бесплодных попыток. А ещё вы никогда не отправите в прод неработающее говно, потому что у вас нет состояния «кажется всё заработало» — всё или заработало, или нет.

Хочу вам сегодня рассказать про две книжки, которые недавно прочитала

Первая – "Принципы" Рэя Далио, вторая – "Creativity, Inc" Эда Кэтмелла.

Обе книги – про то, как построить с нуля компанию и создать в ней "свою" культуру. Обе – от практиков, основателей, которые сами прошли весь путь и теперь делятся опытом. И при этом обе книги – бесконечно разные, начиная от стиля повествования и заканчивая самими подходами к лидерству и руководству.

Сразу спойлер: этически и идеологически мне ближе то, о чем пишет Эд, чем то, о чем пишет Рэй, и это определило мое восприятие этих книг. Это мое субъективное мнение, и для кого-то все может оказаться совсем наоборот.

Рэй Далио – создатель одного из самых успешных хедж-фондов Bridgewater Associates. Его книга – это, по сути, монолог о том, как он принимал решения, делал ошибки, строил компанию: первая часть – это его автобиография, вторая – принципы, которые он вывел для себя в течение жизни. Мне это напомнило книгу The Hard Thing about Hard Things (https://t.me/proproduct/681), где первая половина была утомительно детальной, а вторая – сугубо теоретической. Получилось, что эти финальные постулаты оторваны от доказательной базы, поданы как набор некоторых философских утверждений, многие из которых не особо оригинальны и уже не раз звучали в других книгах про менеджмент. Мне такое читать скучно: я не верю автору на слово, я хочу с ним живой дискуссии через книгу – а это создается через описание процесса мышления, проб и ошибок, через которые он прошел. Это частично есть в первой части, но с точки зрения структуры текста не соединено со второй.

Напротив, Эд Кэтмелл, президент Pixar и Walt Disney Animation Studios, рассказывает историю. Его размышления и принципы удачно вплетены в общую канву повествования, с большим количеством примеров из его работы в качестве руководителя. Изначально книга читается как документальный роман о создании Pixar, но в итоге ты остаешься с миллионом записей и мыслей о лидерстве. И, что было особенно важно для меня, о лидерстве в креативных индустриях. Многие книги о менеджменте написаны людьми, которые работали на производстве или пытались сделать его более эффективным. Да, конечно, креативность тут важна в верхах, но менеджмент в большинстве случаев сводился к оптимизации расходов/доходов. Люди в этих условиях – не больше, чем ресурс. Таичи Оно и его изобретения в Toyota, безусловно, гениальны, но стоит ли проводить аналогию с разработкой продуктов? Правда ли, что у нас такой же конвейер, и все сотрудники одинаковы и заменимы?

Я считаю (и мой предыдущий опыт подтверждает), что лучшие продукты создают креативные коллективы, не конвейеры. И это значит, что тут нужен совершенно другой подход. В книге Эда Кэтмелла огромное количество советов на эту тему: как создать пространство для креативности, как дать людям свободу и автономию, как при этом укладываться в сроки и бюджеты. Это уникальный кладезь идей для любого менеджера в нашей индустрии. Я думаю, что перечитаю эту книгу еще раз через несколько лет и найду в ней какие-то новые смыслы и мысли.

Рэй Далио пытается проанализировать все аспекты работы, свести все к метрикам и понятным фреймворкам. Это вполне естественное желание: нашему мозгу так проще, кажется, что все под контролем, – вспомнить про тот же тейлоризм. Эд Кэтмелл выводит нас на другой уровень и говорит, что менеджер должен осознать и принять – многие вещи не подвластны нашему контролю.

“If you’re sailing across the ocean and your goal is to avoid weather and waves, then why the hell are you sailing?”

Знайте про производственный менеджмент, учитесь креативному лидерству ^_^

5Д — Десять дельных дел для дизайнера

5Д — Десять дельных дел для дизайнера

◼️ Пересмотрите фильмы: «Бархатная бензопила» (2019 год), «Брачная история» (2019 год), «Большой куш» (2000 год), «Бёрдмэн» (2014 год), «Борьба с моей семьей» (2019 год) найдите в этих историях, картинах, эстетике и драме общие черты, общие закономерности, общие метафоры и символы или похожих героев. Выведь заметили, что все названия на общую для всех букву, может есть еще общее?

◼️ Перерисуйте десяток известных картин так, чтобы возник вид на сюжет картины в проекции сверху, как план изображения, как «карта картины», это помогает вашему восприятию активней использовать пространственное мышление и «крутить изображение» в воображении. Полезный навык.

◼️ Купите семена и посадите в горшок, вырастите любое растение. Этот длительный процесс ухаживания и наблюдение медленного роста, появления ростка из земли особым смыслом наполняет ваше время и помогает перестать суетиться, успокаивает и радует любым мелочам, медленным и неторопливым

◼️ Поиграть в Counter Strike так, чтобы не стрелять в противника, а отвлекать его от стрельбы по вашим коллегам по команде разным странным поведением и созданием отвлекающих маневров или используя только флэшбэнги «ослеплять» и тем самым отвлекать от действий коллег.

◼️ Посмотреть сериал в обратном порядке. От последней серии сезона к первой и выстроить свой собственный нарратив из такого подхода. Осмыслить как сюжет строится и в какой последовательности и как бывает интересно и сложно его нарушать.

◼️ Изучать популярные статьи о психологии и поведении человека. К каждой статье рисовать простую «смыслограмму» схему основного смысла и связей в статье примеров и выводов. Это помгает лучше понимать и запоминать.

◼️ Каждый день слушать новую музыку, исполнителя, жанр, причем так, чтобы пару первых треков зарисовывать эскизы образов возникающих в воображении от свежей и необычной музыки

◼️ Выпустить серию обычных стикеров с мотивационными фразами и расклеить их на спортивной плащадке, чтобы вложенный смысл и энергия в словах и типографике передавалась тем, кто занимается

◼️ Придумывать новые функции для обычных предметов, например для пожилых людей расширение функциональности обычной трости для ходьбы

Попробуйде 5Д и вам понравится