Как я заставил уши поверить в матрицу, собрал аудио-кунсткамеру и чуть не взорвал мозг айтишнику
Как я заставил уши поверить в матрицу, собрал аудио-кунсткамеру и чуть не взорвал мозг айтишнику
Привет, меломаны и прочие любители ковыряться в звуке. Сегодня — история о том, как я, превратил биологию уха в стартап, а заодно вывел IT-специалиста сначала из себя а потом в тикток-тренды. Заварите кофе. Или ром. Ром лучше.
Глава 1: Кино, уши и «почему это не пахнет?
Когда-то я снимал кино и меня страшно увлекал процесс создания звука. Загорелся идеей: а что, если записать звук так, чтобы в наушниках ты чувствовал, как гитарист дышит тебе в затылок, но выключить при этом картинку? Этакое "синема Брайля". Сказано — начал копать.
Изучал анатомию уха, как маньяк-первокурсник в меде. Выяснил: чтобы сделать крутой бинауральный звук, нужно стать на «ты» с улиткой (не с Турбо из мультика, а с той, что у борцов поломано). На лекции о слухе встретил Вячеслава — парня, который выглядел как помесь хипстера и доктора из «Теории большого взрыва». Он и сказал: «Бинауралка есть, но все боятся, как троллейбуса в горах».
Я пришел к CEO с идеей приложения, где можно «гулять» внутри звука: концерты, джемы, диалоги в 3D-пространстве. Говорил про «новую эру аудио», «иммерсивный опыт». Не прокатило. Тогда добавил: «А еще там будут назойливые пуши типа „Эй, послушай этот трек, пока не помер!“».
Глава 2: Команда мечты: ЛОРы, гики и «ой, что вы творите»
Собрал три банды:
Банда 1: Максим и код-катастрофа
• Задача: Слепить приложение, где звук живет в 3D-пространстве.
• Состав: Максим (айтишник-циник), Диана (дизайнер, превращавшая мои каракули в интерфейсы), два стажера, которые путали Java и JavaScript.
• Драма: Когда я заикнулся, что юзер должен «пинать» виртуальные объекты (например, барабанную установку), а в ответ получать реакцию музыкантов в записи — Максим выдал: «Ты хочешь, чтобы я оживил мертвых?». Месяц он копался в движке, собирая интерактив из костылей и молитв. Результат: если ты «задел» гитару, в наушниках раздавалось: «Эй, осторожнее, это же Fender!» (да, мы записали кучу таких фраз).
Банда 2: Вячеслав и ЛОР-аспиранты
• Задача: Создать бинаурального Франкенштейна — манекен KEMAR с ушами-сенсорами.
• Состав: Вячеслав (гений-аутист), инженеры из НИИ, паяльники и три коробки проводов.
• Драма: KEMAR (бинауральный манекен-голова). Выглядел он как терминатор после курса йоги и ловил каждый чих в радиусе километра. Его уши «слышали» не только звук, но и маты звукорежиссера. Зато когда записали первый трек с живым пианино, все ахнули: казалось, инструмент стоит прямо за спиной.
Банда 3: Мы и безумный аудио-театр
• Задача: Придумать «комнаты» с сюжетами, чтобы уши плакали от восторга, а мозгу было не скучно.
• Состав: Я, Мила (weymi), Марк (Scalapian), Макс (Hollows Loudson).
• Драма: Бюджет. Снимать звук в крутых специально подготовленных студиях – дорого. Снимать звук где угодно – несводимо и неконтролируемо. Денег хватило только на балетный зал и ДК за городом в ночное время. Отдельная история как мы ездили на мебельную фабрику за бесплатным поролоном, а потом собирали звукоизоляционные полотна из «говна, палок и того, что можно купить в fix price за 99 рублей». Зато мы очень гордились «фишкой» — диалоги, которые меняются в зависимости от того, куда ты «смотришь» ушами. Например: зайдешь в угол джаз-клуба — услышишь, как саксофонист сплетничает о барабанщике. Когда я презентовал её АйтиМаксу, он буквально брызнул слюной так, что пришлось резко косплеить Мэри Поппинс (да, зонт).
Глава 3: Ад с микрофонами, или «S for Sadistic»
Запись:
30 дней в импровизированных студиях, пахнущих потом, лавандой (для «расслабления») и союзом (советских социалистических республик) к сожалению не микрофоном. Артисты путали реплики, актеры массовки (нпц для сторонних шумов) путали где стоять или чем шуршать, а KEMAR ловил всё: скрип стула, мой храп и вой соседской собаки. Один раз манекен упал так эпично, что мы оставили это в записи как Easter Egg.
Сведение:
Куча денег и бутылка медового Jim Beam – райдер мастера-кудесника VVISE из «Saber Interactive», которого мы позвали чтобы грамотно интегрировать все записанные звуки. Нам еще повезло что звукорежи трудились над этим «по приколу». Все вместе они превращали аудио в 3D-паутину. «Здесь эхо от стены, здесь — шепот сверху, срезай верха, верха не трогай зажми посильней». Мы тестировали: тыкались в «стены» наушниками и орали: «Блин, я чувствую диван слева!».
Сборка:
Максим склеивал интерфейс, матерился на дизайн Дианы (она рисовала «слепые» подсказки, чтобы не портить immersion) и спрашивал, зачем мы вообще это делаем. Я отвечал: «Чтобы ты смог купить себе остров». Он не поверил.
Потом — полтора месяца тестов и ловли багов. Максим к тому времени уже пил валерьянку стаканами, но сделал-таки интерактив: пни ноутбук в самом углу комнаты — услышишь, как звучит отборная матерная скороговорка за авторством Макса, голос тоже его.
Эпилог: Техно-демка, пуши и барабанная установка в ухе
Вышло приложение — гибрид аудиокниги, игры и дзен-медитации. Да, это техно-демка. Да, интерфейс местами кривой, как галлюцинация. Зато:
— Слышишь, как шаги удаляются в коридоре.
— Чувствуешь, где стоит пианино.
— Можешь пнуть тарелку и получить по… (реакцию).
Это как «Радуга тяготения» Пинчона для ушей. Сложно? Да. Бесит? Еще как. Но когда директор лейбла впервые надел наушники и ахнул: «Да ладно, че прям так что ли!» — я понял: мы можем делать мечты.
Итог:
Хотите шокировать индустрию? Найдите ученого-хипстера, напугайте айтишника и не забудьте про назойливые пуши. А еще — учитесь слышать. Не только ушами.