Функциональное аудио как инструмент гейм- и UX-дизайна (Часть 2. Время и эмоции)

Денис Злобин, аудио-дизайнер из Ubisoft RedLynx, рассказывает о том, как эффективное аудио незаметно помогает управлять вниманием и поведением игрока.

 

 

 

 

В первой части статьи я рассказывал о применении звука для управления вниманием игрока и аудиовизуальной конгруэнтности, которая помогает мозгу быстрее обрабатывать информацию. Дальше речь пойдёт о том, как звук контролирует субъективное ощущение времени и стимулирует эмоциональные состояния. Как и в прошлый раз, мы одновременно публикуем текст на сайтах Гильдии разработчиков интерактивного аудио и «Манжеты гейм-дизайнера».

Время

Слух — это самое быстрое чувство в нашем арсенале. Из школьного курса физики мы помним, что скорость звука намного ниже скорости света. Но это актуально только до момента поступления сигнала на органы чувств, далее в дело вступает наш мозг. На обработку визуальной информации он тратит 150-400 миллисекунд; аудиальная информация обрабатывается гораздо быстрее — за 50-200 миллисекунд. За это время человек успевает распознать источник звука, его расположение в пространстве и степень угрозы. Это свойство слуха легче всего применять в создании видеоигр: своевременные звуковые сообщения помогают игроку быстрее оценить ситуацию и принять нужное решение. Особенно это актуально для динамичных соревновательных игр, где важна скорость реакции. А ещё так можно усилить отзывчивость элементов интерфейса, чтобы взаимодействие ощущалось комфортнее. Чтобы извлечь больше пользы из этой особенности восприятия, саунд-дизайнеру нужно уделять дополнительное внимание атакам (начальным импульсам) информативных звуковых эффектов.

В первой части статьи я писал, что зрение доминирует над остальными чувствами человека. Это правда, когда мы говорим о восприятии пространства. При восприятии времени всё наоборот — анализируя темпоральные изменения, мозг больше доверяет слуху. Причём это проявляется даже когда человек намеренно концентрируется на визуальном ритме. Вы наверняка видели кучу смешных видеороликов, где люди или животные как бы “танцуют” под наложенную музыку. Движения далеко не всегда хорошо синхронизируются с композицией, но наш мозг подстраивает визуальный ритм под аудиальный, завершая гештальт. В университете мы проводили эксперимент, накладывая процедурно сгенерированную музыку на смонтированный трейлер кинофильма, и поражались моментам идеального совпадения псевдослучайных изменений музыкальной фактуры с монтажом.

Слух доминирует и при анализе отдельных временных интервалов. Так что мы можем влиять на субъективное ощущение продолжительности событий, управляя звуковыми сигналами. Например, изменять восприятие анимации. Используя звуки с разной огибающей амплитуды, мы можем сделать одну и ту же анимацию субъективно резче или наоборот, плавнее. Эффект работает при относительно небольших временных расхождениях и полностью сходит на нет, когда звуковое событие длится в три раза дольше визуального. Иногда своевременный звук вообще может радикально изменить значение визуального события. Самая элегантная демонстрация этого — “иллюзия движения-отскока”. Перейдите по ссылке и попробуйте. При просмотре без звука кажется, что движущиеся объекты проходят друг через друга, сохраняя свою траекторию до конечной точки. Но один короткий шумовой импульс заставляет их «столкнуться» и отскочить друг от друга.

Пример того, как аудиальная информация влияет на визуальное восприятие времени: двойной звуковой сигнал заставляет нас считать, что диск мигает дважды. На этот эффект я и опирался в примере со стрелком из первой части статьи.

Есть и другая особенность восприятия времени, связанная с музыкальным оформлением сцены. Быстрая насыщенная музыка заставляет мозг регистрировать много событий, замедляя восприятие и усиливая значимость происходящего. Это хорошее решение для ключевых моментов игры, которые должны остаться в памяти игрока. Хотите, чтобы время загрузки уровня проходило незаметно? Откажитесь от богатой звуковой фактуры, используйте ненавязчивый эмбиент или оставьте загрузочный экран в тишине. Подробнее про это когда-то писала Ресса Шварцвальд, если заинтересовались — читайте в её блоге.

Эмоции

Учёные давно исследуют влияние звуковых стимулов на эмоциональное состояние человека. Например, они собирают базы стандартизированных звуковых эффектов (IADS-2, IADS-E), анализируя их валентность и активность. Валентность — это уровень “приятности” звука, она может быть положительной, отрицательной или нейтральной. Активность — мера волнения, насколько успокаивающим или возбуждающим является стимул. По этическим причинам, доступ к этим базам берегут от людей, участвующих в создании медиапродуктов, включая меня. Он выдаётся только представителям признанных учебных заведений для использования в некоммерческих исследованиях. Но анализируя научные публикации по теме, можно составить некоторое представление об их содержании.

Например, некоторые звуки вызывают раздражение вне зависимости от контекста: скрип ногтей по школьной доске, звук волочения железного лома по асфальту, скрип вилки по стеклу, звуки работы болгарки и электрической дрели. Всем им присваивают крайне отрицательную валентность и высокий уровень активности. Объединяет такие звуки две характеристики: выраженная спектральная составляющая в диапазоне от 2,5 до 5 килогерц (наше ухо наиболее чувствительно к этому участку спектра) и случайные модуляции амплитуды на частотах от 1 до 16 герц. Причина такой реакции, скорее всего, связана с эволюцией. Похожие характеристики прослеживаются у двух важных для выживания звуков: плача младенца и неконтролируемого вопля при нестерпимой боли или панике. Это порождает гипотезу о том, что воспроизводя амплитудные и спектральные характеристики проверенно эффективных аудиосигналов, мы можем рассчитывать на схожее эмоциональное воздействие. У меня пока не удалось уверенно подтвердить её или опровергнуть, но я иногда опираюсь на этот принцип в своей работе, и результаты выглядят достаточно оптимистично.

Кривые равной громкости демонстрируют максимальную чувствительность человеческого слуха к диапазону 2,5-5 кГц.

Разумеется, самое быстрое чувство, готовое днём и ночью информировать нас об опасностях, отлично справляется с тем, чтобы напугать или разозлить игрока. Неожиданный громкий звук активирует стартл-реакцию, заставляя нас вздрогнуть. Затем наш мозг начинает анализировать спектр сигнала. Если он находит там достаточно низкочастотных составляющих, мы пугаемся: эволюционно такие звуки ассоциируются с крупными хищниками или опасными природными явлениями. В остальных случаях мы чувствуем раздражение и злость из-за “ложной тревоги”. Кажется, именно эти реакции преследуют производители особенно громкой встраиваемой рекламы в мобильных играх.

Что насчёт положительных эмоций? В этом случае мы говорим о более сложных механизмах, нежели присущие большинству животных, примитивные страх и злость. Положительные эмоции очень зависят от пережитого опыта. Например, универсально приятным и успокаивающим считается звук урчания кошки, но он не оказывает такого эффекта на тех, кто не любит кошек или боится их. Пример приятного и возбуждающего звука, — открывание банки пива, — доставляет негативные эмоции тем, кто пытается избавиться от алкогольной зависимости. Это достаточно редкие исключения, но они иллюстрируют важный принцип: положительная валентность субъективна. Поэтому чтобы пробуждать положительные эмоции, нужно не только искать и воспроизводить приятные звуки, но и анализировать их в контексте аудитории. Звонок дискового телефона или звук перемотки кассетной плёнки могут по-разному воздействовать на людей, чьё детство пришлось на 80-е, 90-е и 2000-е. А сигнал фургона с мороженным, милый сердцу большинства американцев, не окажет никакого эффекта на студента из российской глубинки.

Я часто слышу, что звук на 90% отвечает за эмоциональный отклик от аудиовизуального произведения. Говорящие об этом обычно рекомендуют посмотреть страшную сцену из фильма ужасов без звука и ощутить разницу в восприятии. Но это преувеличение. Для чистоты эксперимента нам наоборот стоило бы проверять силу воздействия аудиодорожки, сидя перед выключенным экраном. Разница в восприятии была бы соразмерной: исследование Маргарет Брэдли и Питера Лэнга демонстрирует, что физиологические и поведенческие эффекты воздействия изолированных аудиальных стимулов не сильно отличаются от таковых для визуальных, и проявляются в даже меньшей степени. Истинная сила эмоционального воздействия связана с аудиовизуальной интеграцией, а предложенные эксперименты лишь демонстрируют ослабление эффекта при исключении одной из модальностей. Простыми словами: самые сильные эмоции вызываются правильными сочетаниями звука и картинки. Так что мощный эмоциональный отклик — это в первую очередь результат слаженной работы арт- и аудио-отделов.

В первой части статьи я уже писал о том, как аудиовизуальная конгруэнтность ускоряет обработку информации. В этом случае она выступает катализатором эмоционального отклика. Конгруэнтное аудио повышает активность визуальных стимулов и усиливает валентность положительных переживаний. То есть, правильно подобранный звук способен усилить эмоциональное воздействие любых изображений, и сделать приятные образы ещё более привлекательными. Неконгруэнтное аудио не влияет на валентность отрицательных стимулов, так что не стоит пытаться усиливать негативные переживания, ломая единство визуального и аудиального образа. Исследователи аргументируют это тем, что негативность опыта важнее для выживания, чем согласованность сообщений. Валентность и активность положительных стимулов неконгруэнтное аудио исправно снижает. При этом, намеренно неконгруэнтные сообщения можно использовать для вызова ощущения дезориентации за счёт повышения когнитивной нагрузки.

Вы могли заметить, что я практически ничего не упоминаю о музыке и голосовом озвучивании — очень важных составляющих звукового образа игры, способных пробуждать в людях сильные и сложные эмоции. В силу специализации, я недостаточно хорошо разбираюсь в этих вопросах, поэтому приглашаю более компетентных коллег перенять эстафету.

Заключение

Время подвести итог и перечислить задачи, которые можно решить с помощью функционального аудио. Среди них:

• Перенаправление внимания игрока;
• Незаметное информирование о состоянии окружения и закадровых событиях;
• Ускорение обработки информации и принятия решений;
• Управление субъективным восприятием времени, усиление и изменение визуальных сообщений;
• Вызов и усиление эмоциональных состояний.

Конечно, это не полный список. Реальные границы звукового воздействия на человека находятся далеко за пределами моих познаний и практического опыта. Некоторые эффекты, работающие в реальном мире, плохо подходят для современных виртуальных миров, но могут проявиться в них с развитием технологий. Так что возможно, однажды появится и третья часть этой статьи.

А пока вброшу финальную ложку дёгтя. Описанные эффекты достижимы только при глубокой интеграции саунд-дизайнеров в производственный процесс. Аудио — это мощный инструмент, но раскрытие его потенциала невозможно в условиях, когда звук “вынесен за скобки” разработки и добавляется к уже готовому в других отношениях продукту. Для того, чтобы звук стал не только эстетическим, но и функциональным компонентом вашей игры, аудио-специалистам нужно взаимодействовать с представителями других дисциплин уже на ранних этапах работы. В современных реалиях индустрии это не всегда получается, но нам есть к чему стремиться. Надеюсь, этот текст поможет кому-то улучшить процессы и достичь нового уровня междисциплинарной синергии.  

---

Список избранной литературы по теме:

1. Beckerman, J., & Gray, T. (2015) The Sonic Boom: How Sound Transforms the Way We Think, Feel, and Buy. London: Mariner Books.
2. Collins, K. (2013) Playing with sound. Cambridge, Massachusetts: MIT Press.
3. Cook, P. R. (1999) Music, Cognition, and Computerized Sound: An Introduction to Psychoacoustics. Cambridge, Massachusetts: MIT Press.
4. Dyson, F. (2009) Sounding new media. Berkeley, Calif: University of California Press.
5. Goodman, S. (2010) Sonic Warfare: Sound, Affect, and the Ecology of Fear. Cambridge, Massachusetts: MIT Press.
6. Horowitz, S. (2012) The Universal Sense: How Hearing Shapes the Mind. New York, NY: Bloomsbury Publishing USA.
7. Schnupp, J., Nelken, I., & King, A. (2011) Auditory Neuroscience: Making Sense of Sound. Cambridge, Massachusetts: MIT Press.