Тишина обманчива: отключенный микрофон больше не сможет хранить ваши секреты

Удаленная работа и регулярные видеоконференции стали для нас обыденностью за последние несколько лет. Мы часто выключаем микрофон во время встреч, чтобы никто не услышал, что происходит на фоне (например, в квартире). Возможно, совсем скоро в этом не будет никакого смысла.

Кевин Фу, профессор из Северо-Восточного Университета в Бостоне, представил инновационный метод , позволяющий извлекать аудиоданные из видеороликов без звука и даже из фотографий. В разработке помог инструмент под названием Side Eye, основанный на машинном обучении. Он позволяет улавливать речь человека вплоть до точных слов и даже тембра голоса.

Занимательный факт: концепция Side Eye была вдохновлена эпизодом научно-фантастического сериала «Грань», в котором герои извлекают звук из расплавленного стекла. После выхода серии многие критики назвали такой метод «псевдонаучной выдумкой». Однако Фу заявляет: «Моя лаборатория специализируется на создании невозможного».

Основные инструменты Side Eye — это стабилизация изображения и особый метод фотосъемки — rolling shutter, распространенный в современных устройствах. Он считывает картинку не целиком, а построчно и выявляет мельчайшие вибрации, которые проходят рядом с камерой, когда кто-то разговаривает. Side Eye преобразует видимые колебания воздуха обратно в звук, увеличивая детализацию аудиосигнала в тысячи раз.

Для эффективной работы Side Eye требуется лишь небольшое количество света. При этом чем больше кадров доступно для анализа, тем лучше. Интересно, что даже кадр с изображением потолка или стены может помочь в реконструкции речи.

На выходе получаются приглушенные звуки, которые гораздо проще интерпретировать в дальнейшем.

С точки зрения кибербезопасности Side Eye определенно представляет потенциальную угрозу. Но есть и позитивная сторона — разработка может найти применение в области судебной экспертизы и права. Например, если следователи проанализируют запись с камер наблюдения в определенное время, она может послужить доказательством или опровержением алиби.