Интерактивное кино: как фильмы могут менять сюжет в реальном времени, реагируя на эмоции зрителя

Большинство фильмов предлагают одни и те же впечатления. Мы садимся у экрана и следим за происходящим, пока история не закончится. Это линейный опыт.

Новый фильм Before We Disappear («Прежде чем мы исчезнем») — о паре климатических активистов, которые стремятся отомстить корпорациям, виновным в глобальном потеплении, — призван изменить этот опыт просмотра.

Его отличие в том, что он адаптирует историю, чтобы она соответствовала эмоциональной реакции зрителя. Благодаря использованию компьютерной камеры и специальной программы фильм буквально наблюдает за людьми, когда они просматривают кадры климатических катастроф. Зрителей неявно просят выбрать ту или иную сторону.

Как рассказывает автор Ричард Рамчерн, он решил использовать эту идею для создания фильма о климатическом кризисе, чтобы заставить людей по-настоящему задуматься о том, чем они готовы пожертвовать ради выживания в будущем.

Сторителлинг всегда был интерактивным искусством: рассказчик взаимодействовал со своими слушателями и отвечал им. Почти столетие режиссеры экспериментировали с интерактивностью, и в последнее десятилетие мы наблюдаем взрыв интерактивного контента.

Стриминговые сервисы позволили зрителям выбрать собственное приключение. Однако долгое время сложность состояла в том, как позволить смотрящему управлять сюжетом: ведь это мешает погрузиться в историю.

Фото в тексте: AlbinoMosquito Productions Ltd

Один из недавниз примеров — «Брандашмыг», эпизод сериала «Черное зеркало» от Netflix. В нем действие останавливается, чтобы спросить пользователя, что делать дальше. Это нарушает развитие истории и активно вовлекает зрителя. Как решить эту проблему — главный вопрос для исследователей интерактивного кино.

Фильм Before We Disappear использует эмоциональные подсказки от зрителя, чтобы редактировать фильм в реальном времени.

Иной подход — использовать бессознательный контроль, чтобы влиять на повествование прямо во время просмотра. Предыдущие фильмы The Moment (2018) и The Disadvantages of Time Travel (2014) использовали интерфейс мозг-компьютер (BCI). Эти системы используют компьютеры, чтобы анализировать электросигналы мозга, позволяя людям эффективно контролировать устройство своим разумом.

Благодаря этому зрители бессознательно меняют фильм в режиме реального времени.

Однако интерфейс BCI требует специального оборудования. Для Before We Disappear автор хотел использовать более доступную технологию, которая позволила бы распространять фильмы через интернет.

Управление сюжетом

Проект задействует обычную компьютерную камеру, чтобы считывать эмоциональные сигналы и преобразовывать их в инструкции. Чтобы это сработало, нужно было хорошо понимать, как люди реагируют на фильмы.

Команда провела несколько исследований, изучая эмоции, которые намереваются вызвать создатели фильма, и то, как эти эмоции проявляются у зрителей при просмотре.

Используя методы компьютерного зрения и машинного обучения от партнера BlueSkeye AI, они проанализировали эмоции на лицах зрителей и их реакции на видеоролики и разработали несколько алгоритмов, позволяющих использовать эти данные для управления повествованием.

Как правило, зрители не так явно проявляют эмоции, но эти инструменты достаточно чувствительны, чтобы заметить даже небольшие вариации и сигналы.

Программное обеспечение для анализа измеряет движение лицевых мышц и с силу эмоционального возбуждения — по сути, то, насколько эмоционально себя чувствует зритель в конкретный момент. Программное обеспечение также оценивает позитивность или негативность эмоции — это называется «валентностью».

Команда экспериментировала с различными алгоритмами, в которых эти данные о возбуждении и валентности редактировали фильм в режиме реального времени, перестраивая историю. Первая сцена служит точкой отсчета, относительно которой измеряется следующая сцена. В зависимости от реакции к сюжету применяется одна из примерно 500 возможных правок.

В фильме Before We Disappear используется нелинейное повествование, которое предлагает аудитории разные концовки и эмоциональные путешествия.

Эмоциональное путешествие

Для Ричарда Рамчерна интерактивная технология — способ расширить инструментарий режиссера и позволить адаптировать фильм к конкретному зрителю.

Однако эмоциональной реакцией можно злоупотребить или вызвать непредвиденные последствия. Нетрудно представить онлайн-систему, показывающую только контент, вызывающий положительные эмоции у пользователя. Это можно было бы использовать для создания эхо-камеры, где люди видят только тот контент, который соответствует их уже имеющимся предпочтениям.

Читайте по теме:

Актеров все чаще омолаживают с помощью ИИ. Как это меняет киноиндустрию?

Топ-10 фильмов и сериалов про стартапы, бизнес и венчур

Или же это можно было бы применять для пропаганды. Скандал с Cambridge Analytica показал, как с Facebook* собирали большие объемы личной информации и использовали для политической рекламы.

Новый фильм исследует пути решения климатического кризиса.

Исследование направлено на то, чтобы вызвать дискуссию о том, как данные об эмоциях пользователей можно использовать ответственно с информированного согласия, позволяя пользователям контролировать свою личную информацию. Эта система анализирует данные на устройстве пользователя, а не, скажем, в облаке.

Большой бизнес, большая ответственность

Бессознательное взаимодействие с контентом — это большой бизнес. Такие платформы, как TikTok и YouTube, анализируют историю действий пользователей на платформах, влияя на новый контент, который они там видят. Пользователи не всегда в курсе, какая личная информация создается или хранится, и они не могут повлиять на то, что алгоритмы предложат им в следующий раз.

Важно создать систему, которая не будет хранить данные об аудитории. Видеозаписи зрителей или информация о выражениях их лиц не должна загружаться или анализироваться нигде, кроме как на устройстве воспроизведения.

Исследователи планируют выпустить фильм в виде интерактивного приложения, которое уведомит о потенциальном злоупотреблении данными пользователя и обеспечит защиту любых личных данных на устройстве, используемом для просмотра.

Адаптивные фильмы предлагают альтернативу традиционному повествованию по принципу «выбери свое собственное приключение». Когда история может измениться на основе бессознательных реакций аудитории, а не намеренного взаимодействия, внимание зрителя целиком сосредоточено на истории.

Это означает, что они могут наслаждаться более персонализированным просмотром фильма. Оказывается, старые традиции повествования могут еще многому научить нас в 21 веке.

* Meta и входящие в нее Facebook и Instagram признаны экстремистскими организациями, деятельность которых запрещена в РФ.

Источник.

Обложка снегерирована нейросетью Midjourney