Почему мы предпочитаем делать юзабилити-тесты финсервисов вживую?

Почему мы предпочитаем делать юзабилити-тесты финсервисов вживую?

Есть три группы ограничений, которые уводят в общение тет-а-тет.

1. Технические.
– Мы тестируем интерфейсы и важно видеть, как именно люди держат телефоны. Поэтому для удалённых тестов нужны камера и штатив.
– Надо рассылать инструкции, просить пользователя установить необходимое оборудование и подключить наушники. Уходит минут 20 на настройку и технические неполадки.
– Многие респонденты просто технически не продвинуты и не могут всё подготовить.
Эта возня отъедает время общения и терпение респондента.

2. Коммуникация.
– Часто люди волнуются перед тестом, стесняются. Когда разговариваешь с респондентом лично, представляешься и завязываешь беседу, располагаешь человека к себе.
– Люди быстрее доверят важную или личную информацию живому человеку, а не голосу в наушниках и картинке на экране.
– Важно и эмоциональное состояние — показатель отклика и реакции на удобство интерфейса: качественно такое можно считать только в офлайне.
– Кроме того, во время удалённого разговора респондента могут отвлечь: когда вы общаетесь лично, человек посвящает около часа тестированию один на один.
– Вы видите ситуацию целиком, считываете эмоции, реакцию, поведение и позу пользователя — это даёт контекст, который теряется при удалённом тесте.

3. Секьюрность.
– Мы работаем с чувствительными данными клиента, тестируя финансовые сервисы иногда на данных пользователя. В онлайне запустить такое сложно. У пользователя меньше доверия — он может опасаться, что лишние люди увидят экран.
– С другой стороны, мы работаем с банками-заказчиками под NDA и должны гарантировать, что новый продукт не утечёт за пределы команды дизайна, разработки и тестов до запуска проекта.

Иногда от этого приходится отходить, например, когда респонденты из Европы или США. Всё это грозит двойной потерей качества — из-за онлайна и языковых барьеров.

Открытые семинары и митапы для проф.сообщества и клиентов

На последнем семинаре Nimax коллеги из дружественного агентства спросили — зачем нам это? Вопрос был о непрофильных для агентства темах событий: мотивация команд, HR-брендинг, планирование по ОКР и т.д. Но мне почему-то захотелось рассказать про нашу образовательную программу в целом. План примерно такой:

Два года назад мы искали для Nimax новый офис и оставили в нем 50 м.кв под лекторий. Купили проектор, звук, стулья и запустили событийную программу, о которой давно мечтали и даже придумали название — Brainshare.

Примерно половина мероприятий внутренние, на них собираются наши сотрудники по отделам, специализациям и интересам. Они проводят лекции, ревью проектов, штурмы и просто обсуждения.

Периодически мы делаем открытые семинары и митапы для проф.сообщества и клиентов. Формируем программу, находим спикеров и собираем гостей. На самое большое событие пришло более 200 человек — офис чуть не разорвало 🙁

Нам важно движение вокруг компании, поэтому наш лекторий открыт для других компаний: несколько школ ведут у нас занятия, конкуренты устраивают свои семинары, ассоциации и клубы проводят встречи.

Основная идея — сделать Nimax открытой компанией, частью социума и профессиональной среды.

Но есть и вторая идея. Более сложная в реализации и с которой связаны многие планы. Чаще всего агентства продают свои знания опосредованно, в форме работы. Это сильно ограничивает распространение идей и информации. Наши ресурсы ограничены и мы можем работать только с небольшим количеством клиентов. Это плохо.

Нам бы хотелось делиться знаниями напрямую, чтобы приносить пользу большему числу клиентов/партнеров/сотрудников, с меньшими затратами для них и возможностью заработывать самим. Причем не только в зоне наших прямых услуг: брендинг, разработка, реклама. У нас накоплено много знаний в нетипичных для агентства областях: менеджмент, публичные выступления, HR, обучение, ОКР-планирование и т.д.

Очные семинары и курсы для нас — это полигон. Мы провели множество своих событий и сотни раз выступали на чужих, организовывали обучение для клиентов, вели целый курс в одном из универсистетов Финляндии. Но все это события малого охвата.

В этом году мы начали делать вебинары и записывать электронные курсы. Надеемся, что вскоре оцифруем все свои идеи и знания и перейдем к электронному обучению с широким охватом.

Ошибка волшебной таблетки

Когда я прочитал первую книгу по переговорам, думал что сверну горы. Я думал, что войду в магазин, получу скидку, а на работе обязательно договорюсь о повышении. Обосрался я сразу же. Ни один разговор не шел по сценарию из книги. Люди отвечали мне не то, что я запланировал и я терялся. Так я понял, что не существует волшебных таблеток и как получать пользу из материала.

🧐 В чём проблема
Когда покупаешь книгу, курс, подкаст или, простигосподи, идёшь на бизнес-тренинг, то в голове сидит только одно: сейчас моя жизнь изменится. Прочитаю книгу по переговорам — стану умнее всех, кто её не читал. Пройду курс по дизайну — стану зарабатывать 100 тыщ в месяц сразу. Не станешь. Это приятная иллюзия волшебной таблетки.

🤷‍♂️ Почему так
Люди разные, задачи разные, а методика — лишь инструмент. Если бы была единая волшебная методика, то все бы работали по скраму, глотали на завтрак лягушек, следили что все jobs были done и гребли лопатой денег. Но не выходит. Представьте, что метод персонажей — молоток. На курсах говорят: вот это молоток, видишь шляпку гвоздя? Бей! Ещё мы этим молотком шуруп забиваем и двери открываем. Ничё, нормально. А в ответ им Jobs to be done отвечают — херново молотком шурупы забивать, молотки не нужны. Зацените нашу отвёртку.

😎 И что теперь делать
Ходите на курсы, учитесь новым инструментам — это полезно. Чтобы инструмент заработал, нужно его много раз через себя прогонять. Косячить напропалую. Если у вас не получается болтать Кемпу, это не Кемп вам не подходит, это вы не научились. Анализируйте почему не сработало. После обучения инструменту идёт долгая шлифовка навыка. Часто на курсах преподаватель делится своей философией работы, а ученики принимают её за дословные инструкции.

Если после первого разочарования забить на знания, то вы потратите время зря. Если научиться одной методологии и свято ей верить — будете забивать молотком шурупы. Сочетайте инструменты. Верьте источникам, которые обещают научить инструменту, а не изменить жизнь.

😡 Что не делать
Не ходите на курсы, которые обещают вам, что жизнь изменится. Не верьте в такой вид заработка, таким услугам, работникам и работодателям. Скорее всего, вас обманывают

📖Что почитать
Бирман об отличии философии и инструкций в переговорах
https://ilyabirman.ru/meanwhile/all/psevdokemp-skazhite-mne-ob-etom/

Ильяхов о штампах в его же инфостиле
http://maximilyahov.ru/blog/all/glvrd-cliches/

Десять советов: как развивать себя

Научись любить себя настолько, чтобы недостатки собственные, профессиональные, казались тебе важной задачей для перемен, усилий и изменений. Без любви к себе не бывает результатов в работе над собой.

Не оценивай себя. Дай это другим. Не думай о результатах, а только о средствах достижения. Правда, негативный результат — это тоже уровень достижения. К этому надо быть готовым. Учись принимать неудачи достойно — исправляя ошибки.

Учитесь переключаться на другие задачи. Развивая себя можно легко впасть в скуку. Всегда имейте пару альтернативных дел, в которые можно уйти с головой, но при этом отдохнуть от саморазвития. Отдых — это важная часть успеха в работе. Усталому быстрее становится скучно, обидно за себя. Умение отдыхать — это практика наполнения себя энергией и вдохновением. Скучный и усталый неудачник никому не нужен. Отдыхай, чтобы круто работать.

Выброси из головы идеалы. Часто люди фанатеют с крутых спортсменов, иллюстраторов или дизайнеров. Это высокие ориентиры, которые нужны, но совершенно излишне их сравнивать с собой, пока вы только приступаете к работе над собой. Позже за них возьметесь.

По дизайну самого себя всегда будут правки. Сначала начни с композиции собственных способностей, пойми какие навыки у тебя не требуют усилий, пойми свои достоинства и преимущества, перечисли развитые способности. Работать стоит только с недостатками и слабостями.

Определи области в которых тебе нужно углубление знания, где нужно практиковаться больше, где не хватает опыта. Точно знай и области, в которых тебе будет достаточно только широкого представления о предмете, его связи с другими областями жизни.

Представь себе букву Т. Это модель в которой часть твоих умений и их глубина, зависит от широты кругозора. Чем больше связей ты можешь увидеть в окружающем тебя мире, пусть поверхностно, тем больше будет твое понимание, что нужно углубляться в одной из областей или качестве.

Возможно, это будет просто дисциплина, умение соблюдать график, соблюдать режим. Это качество может здорово помочь во всех областях жизни, но осознать это можно только широко понимая, как все вокруг взаимосвязано.

Не жди быстрых результатов. Но работай над тем, чтобы даже малым успехам уделить внимание и оценить. Важно уметь подмечать прогресс, иначе рутина и монотонность могут быстро выдавить тебя из колеи, в которой ты медленно, но развивался.

Всегда будут люди вокруг, которые тебя отговорят от перемен, от усилий, от упорной работы. Они скажут, что вам и так хорошо. На самом деле они не хотят, чтобы ваш успех здорово колол их самолюбие и доказывал им очевидное — ты смог, а они нет.

Рисуйте план. Именно рисуйте, линии, этапы, визуализируйте образы, создавайте как гиперболы, так и точные и измеряемые параметры. Визуальный образ линии, календаря, круга в котором вы из прошлого на старте можете встретить себя развитым и изменившимся на финише задуманного вами цикла. Это отличные истории о себе. Нужно видеть план, держать его для анализа. Часто проделанная работа не видна, поскольку она не сопоставляется с планом, а прошлое быстро забывается.

Хорошо разберись в себе. Играй на своих недостатках. Опаздываешь? — Назначай себе встречи за час до начала и спокойно опаздывай на эту «обманку», полюби это неторопливое чувство, что ты не торопишься, но и не опаздываешь. Тебе важна личная оценка себя или признание твоих заслуг окружающими? Если ты достигнешь своей цели полностью, то подумай, как ты будешь себя чувствовать, но главное — как это может повлиять на твои отношения с людьми вокруг.

Надо ли тебе развивать себя? Зависит от душевной потребности и жизненных обстоятельств. Главное, понимать почему это развитие делает тебя интересным самому себе. Интересным своими новыми возможностями, пусть даже скрытыми от окружающих. Важно, уважать и ценить себя, просто за этот скромный личный прогресс, за час в неделю, когда есть время на изучение новых инструментов, пару часов на чтение и применение этих минимальных новых знаний на практике.

Сколько нужно протестировать пользователей, чтобы обеспечить достаточную для большинства случаев точность исследования?

Сколько нужно протестировать пользователей, чтобы обеспечить достаточную для большинства случаев точность исследования?

Немного матана! Совсем недавно, на интервью я столкнулся с интересным вопросом: «Сколько нужно протестировать пользователей, чтобы обеспечить достаточную для большинства случаев точность исследования?»

И казалось бы, ответ довольно очевидный: мол Нильсен говорит 5. Но почему 5? Откуда это магическое число? Без математики не обошлось.

Автор в статье погружается в тему довольно глубоко, проливая свет на скрытую для многих часть айсберга, и разбирается, так сколько ж нужно-то?

Если прорезюмировать, то можно сказать, что Нильсен не был не прав 🙂 Однако стоит приводить полный ответ:

—————————————————————————

Если во время тестирования эксперименты будут независимыми, а выборка по крайней мере квазислучайной, то мы можем предположить, что при тестировании 5 пользователей мы обнаружим 85% ошибок, с которыми сталкиваются не менее 31% пользователей.

—————————————————————————

Последняя часть, вообще интересная, не правда-ли? ) «Не менее 31% пользователей», то есть в самом неудачном случае 59% пользующихся так и не столкнуться с проблемами. Но это не слишком страшно.

Интересно, что если вы хотите повысить эффективность тестирования, то увеличение выборки не единственный способ это сделать (для приличного уровня понадобиться что-то около 40 испытуемых). Вы можете также повлиять на вероятность появления ошибки. Как не парадоксально, уменьшая случайность выборки (сегментация?), вы можете повысить вероятность возникновения ошибок и тем самым снизить число необходимых пользователей.

http://bit.ly/2UqfhOs

Кажется, неплохая статья о том, как анализировать данные

Да-да, нельзя просто пыриться в гугл-аналитику и молиться, чтобы кривая посещений поползла вверх. Нужно делать какие-то выводы, что-то менять и проверять. Однако, как убедиться в том, что вы не предлагаете какой-то нонсенс?

Вот несколько советов о том, что ж делать-то:

1. Почистите свои данные. Нельзя просто взять и начать интерпретировать полученные результаты, нужно с ними поработать, очистив от лишних всплесков и нерелевантных значений. А уже после этого делать выводы.

2. Держите в голове вопрос, на который вы хотите ответить при помощи данных. Иначе рискуете собрать много бесполезных цифр.

3. Описывайте данные простыми словами. Такие описания помогут вам не запутаться, и быстрее понимать их значение другим людям.

4. Проверьте, что контекст сбора данных был верным. Если вы собрали данных за два года, то половина из них может оказаться нерелевантной из-за изменившегося контекста (например, был проведён редизайн сайта).

5. Собирайте данные из разных источников, чтобы собрать полную картину и проверить данные на противоречия.

6. Выделите свои основные KPI и смотрите на них. Так не потонете в пучинах таблиц и цифр.

7. …но сравнивайте их и с другими метриками, которые идут с KPI в противоречие.

8. Ищите не только данные, которые подтверждают ваши гипотезы, но и те, которые их опровергают. Хоть так соблазнительно закончить исследование, если вы вроде как нашли доказательства ваших инсайтов, но потратьте немного времени и подумайте, где вы можете найти опровержение — возможно, вас ждёт сюрприз.

9. Исследуйте аномалии. Если вы видите наравномерные всплески и провали ключевых метрик, потратьте усилия, чтобы понять их причины. Возможно, это проявления какой-то большой проблемы.

10. Категоризируйте и кластеризируйте качественные и количественные данные — так с ними будет проще работать.

11. Визуализируйте ваши данные. Порой, так будет проще делать выводы, чем просто пырясь в таблицу.

12. Используйте цветовое кодирование… очевидно. ✅

13. Используйте когортный анализ, когда это возможно. (Ну такое)

14. Используйте специальные тулы. (Тут в статье реклама видимо)

https://databox.com/how-to-analyze-data