Функциональное аудио как инструмент гейм- и UX-дизайна (Часть 1. Внимание и восприятие)

Денис Злобин, аудио-дизайнер из Ubisoft RedLynx, рассказывает о том, как эффективное аудио незаметно помогает управлять вниманием и поведением игрока.

 

 

 

 

Мы часто говорим об эстетических и технических аспектах создания игрового аудио, но редко обсуждаем звук в функциональном контексте. Я считаю, что задача саунд-дизайнера — не столько сделать хорошо звучащую игру, сколько улучшить игру с помощью звука. Эти задачи не противоречат друг другу, но требуют разного подхода к решению. Поэтому я хочу рассказать о некоторых особенностях восприятия аудио человеческим мозгом и о том, как можно применить эти знания в разработке игр.

Текст адресован как разработчикам интерактивного аудио для видеоигр, так и гейм- и UX-дизайнерам, напрямую отвечающими за ощущения пользователя. Поэтому мы одновременно публикуем его на сайтах ГРИА и «Манжеты гейм-дизайнера».

Дисклеймер: Я не являюсь специалистом по психологии, психофизиологии и тем более нейробиологии. Выводы и утверждения, касающиеся этих дисциплин, я делал, изучая профессиональную/научную литературу и применяя полученные знания на практический опыт аудио-дизайна для видеоигр. В тексте я оставлю ссылки на научные публикации, а в конце второй части статьи будет список книг, на которые я опирался при написании.

Внимание

Моя любимая суперспособность — это управление вниманием игрока. Психологи по-разному классифицируют типы внимания, но нас в данном контексте интересует разделение на активное (top-down) и пассивное (bottom-up). Активное внимание направлено на решение конкретной задачи: представьте, что вы ищете потерявшегося кота и напрягаете слух чтобы услышать мяуканье. Пассивное управляется сенсорными стимулами: нашедшийся котик просит поесть и мяучит, отвлекая вас от домашних дел. Активное внимание может задействовать любое чувство в нашем арсенале. В большинстве случаев это зрение: оно ответственно за 80% получаемой нами информации и доминирует при анализе окружающего пространства. Услышав знакомое мяуканье сбоку, мы поворачиваемся в сторону, чтобы увидеть кота прежде, чем следовать на звук. При этом любое замеченное неожиданное событие (например, крик “Нашёлся!”) моментально заставит отвлечься от текущей задачи и перенаправит внимание на себя. Так и работает пассивное внимание.

Слух — это идеальный стимулятор пассивного внимания. Он работает на все 360 градусов, на больших расстояниях. Способность слышать сохраняется в темноте, кроме того, мы иногда слышим происходящее за стеной или другой преградой. Наши уши не моргают, обеспечивая стабильный информационный поток от всего окружения. Мы постоянно регистрируем огромное количество аудиальной информации. Если бы мы осознанно обрабатывали все эти данные, то сошли бы с ума от информационной перегрузки. Но эволюция научила нас концентрироваться только на важных сигналах — в первую очередь, индикаторах угрозы или необычного состояния окружающей среды. Эта особенность восприятия даёт саунд-дизайнерам целый арсенал инструментов контроля над вниманием и состоянием игрока.

Во-первых, мы можем использовать звук для привлечения внимания к событиям, в том числе, происходящим вне экранного пространства. В этом случае нужно быть осторожным: если вы не ставите перед собой задачу напугать, разозлить или дезориентировать игрока, любому неожиданному звуку из-за пределов поля зрения должен соответствовать доступный для обнаружения визуальный образ. Учитывайте, что внимание привлекает не столько звук, сколько внезапное изменение звукового окружения. Таковым может быть как новое неожиданное звуковое событие, так и отсутствие ожидаемого. Просто представьте, что вы открываете кран в ванной и не слышите звука напора воды. Или вспомните этот штамп из голливудских фильмов:

 

• Ты слышишь это?

• Я ничего не слышу!

• Вот именно, здесь слишком тихо…

 

Во-вторых, мы можем отвлекать игрока и не давать ему сосредоточиться. Этим активно пользуются в игорных заведениях и некоторых магазинах. Игроки в казино постоянно подвержены воздействию громких звуковых стимулов с разных сторон, что сбивает внимание и мешает принимать рациональные решения. В видеоиграх это, правда, работает плохо: игрок контролирует громкость воспроизведения и может легко избавиться от источника стресса. Зато понимание этого принципа уберегает нас от избыточных решений. Бывают, конечно, и творческие применения: взять к примеру голоса в голове из Hellblade: Senua’s Sacrifice.

В третьих, звук — это хороший способ информирования игрока о состоянии окружения без привлечения внимания. Это звучит до отвращения претенциозно, но аудио в какой-то степени позволяет коммуницировать с игроком, минуя его сознание. Большая часть аудиальной информации обрабатывается мозгом бессознательно — по крайней мере до тех пор, пока неожиданный стимул не потребовал детального изучения. Тщательно проработанное, правдоподобное звуковое окружение создаёт ощущение нормы, сеттинга, достоверной реальности, в которую можно поверить без дополнительных усилий. Именно отсюда растут ноги у популярного утверждения о том, что хороший саунд-дизайн незаметен для пользователя.

Вы, вероятно, слышали об «Эффекте коктейльной вечеринки» — удивительной способности человека концентрироваться и вычленять нужную информацию в шумной обстановке. Эффект коктейльной вечеринки работает как с активным, так и с пассивным вниманием: мы можем фокусироваться на беседе в шумном окружении, и реагировать, если кто-то позовёт нас по имени. Сэт Хоровиц в книге The Universal Sense: How Hearing Shapes the Mind сравнивает этот эффект с картинками из серии Where’s Waldo. Или “найди кота”. Поиск нужного объекта в визуально перегруженной сцене занимает продолжительное время. Распознавание важной для нас речи в шумном окружении — меньше секунды. Подумайте об этом, пока ищете кота на картинке.

Последние исследования говорят о том, что «эффект коктейльной вечеринки» связан с аудиовизуальной интеграцией: мозг соединяет визуальную и аудиальную информацию, чтобы справляться с повышенной нагрузкой. Об этом и пойдёт речь дальше.

Аудиовизуальная конгруэнтность

Правдоподобный звук ускоряет работу мозга. Множество исследований подтверждает, что конгруэнтные мультимодальные сообщения снижают когнитивную нагрузку, помогая мозгу быстрее и эффективнее справляться со сложной информацией. “Мультимодальные” в данном контексте означает “использующие разные средства передачи информации”, в нашем случае это визуальные и аудиальные образы. А вот аудиовизуальная конгруэнтность — это более сложный вопрос. Грубо говоря, речь идёт о согласованности сообщений, передаваемых по разным каналам восприятия. Интуитивно понятно, что мы ожидаем совпадения семиотического значения, количества событий и их продолжительности, соответствия громкости и высоты тона относительному размеру объекта и т.п. Но на практике полное согласование всех характеристик бывает недостижимо — в основном из-за игровых условностей.

Представьте себе ситуацию, когда мы озвучиваем персонажа, стреляющего с двух рук из пистолетов. Оба выстрела полностью синхронны: они начинаются одновременно и используют одну и ту же анимацию. Если мы приоритезируем аудиовизуальную синхронизацию и проиграем два звука выстрела вместе, мозг игрока сочтёт их за единое событие, а мы не справимся с задачей донести количественную информацию. Альтернативно, мы можем пренебречь точной синхронизацией и задержать один звук на несколько десятков миллисекунд. По моему опыту, второй вариант воспринимается более правдоподобно — в следующей части статьи я объясню, почему. Но стоит превысить значение в 100-150 миллисекунд, как рассинхронизация начинает нарушать целостность восприятия события. Поэтому нельзя однозначно говорить о превосходстве одной характеристики над другой: эффект зависит от контекста и степени несоответствия.

В книге Playing with Sound Карен Коллинз приводит интересный пример неконгруэнтного звука в Heavy Rain. Игра позволяет управлять скоростью некоторых анимаций с помощью аналогового стика контроллера, но звук никак не реагирует на эти изменения. Посмотрите видео со сценой бритья из пролога. Если во время первых движений звук более-менее согласован с анимацией, то с 14-й секунды начинается какая-то ерунда:

Ещё более странно это ощущается, когда движением управляете вы. Но обращали ли вы на это внимание, когда играли в Heavy Rain в первый раз? Скорее всего, нет: эффект не настолько заметен, чтобы привлекать внимание и запоминаться. Неподготовленный игрок редко обращает внимание на аудиовизуальную рассинхронизацию, отсутствие звуковой обратной связи или несоответствие направления звука положению источника в виртуальном пространстве. Значит ли это, что конгруэнтность не важна? Нет. Неконгруэнтные сообщения такого рода усиливают когнитивную нагрузку, усложняя обработку информации вследствие аудиального эффекта Струпа. Вместо прямой ассоциации чувства дискомфорта со звуковой составляющей, игроку просто будет казаться, что игра ощущается как-то не так. Таким образом, неконгруэнтное аудио может незаметно ухудшить общее впечатление от продукта.

Конгруэнтное аудио в свою очередь усиливает возбуждение и повышает уровень удовольствия от взаимодействия с игрой. Подробнее об этом — в следующей части статьи, где я расскажу о влиянии слуха на субъективное восприятие времени и применении звука для стимулирования эмоциональных состояний.