Темнота – друг технологий: ученые подарили роботам почти идеальное ночное зрение

Исследовательская группа под руководством профессора Зубина Джейкоба из университета Пердью разработала революционную технологию машинного зрения HADAR (тепловое обнаружение и определение дальности). Она позволяет роботам распознавать текстуру и глубину даже в полной темноте.

Как отмечают авторы научной статьи, опубликованной в журнале Nature, к 2030 году каждый десятый автомобиль будет автономным, а 20 миллионов роботов станут нашими помощниками в бытовых делах и рабочих задачах. Эффективность таких систем напрямую зависит от качества компьютерного зрения.

Традиционные технологии, вроде лидаров или радаров, с трудом справляются с условиями плохого освещения. Обычные видеокамеры вовсе «слепнут» в темноте. А тепловизоры, хоть и видят ночью, дают размытые бестекстурные изображения.

HADAR решает эти проблемы, сочетая в себе достижения информационной теории, тепловой физики и машинного обучения. Механизм позволяет извлекать из теплового излучения максимум данных, восстанавливать резкость и текстуру объектов.

Полное отсутствие света несет не меньше информации, чем световой день. Ключевым элементом стала многоспектральная инфракрасная камера. Она фиксирует изображение сразу в нескольких диапазонах ИК-излучения.

Это позволяет «разложить» тепловой сигнал на составляющие — температуру, излучательную способность и текстуру. А затем применить алгоритмы машинного обучения для восстановления картинки даже по зашумленному сигналу.

Ученые протестировали технологию в ночных условиях на природе.

HADAR сумел распознать тончайшие детали, недоступные человеческому глазу — рябь на воде, морщины коры деревьев, травянистые структуры. При этом качество изображения было как днём. Датчик работал в разных погодных условиях — в тумане, дожде, при контровом освещении.

Разработка открывает новые перспективы как для проектирования автомобилей будущего, так и для робототехники — систем навигации и распознавания образов. Его можно применять в сельском хозяйстве, чтобы мониторить состояния посевов ночью. В медицине технология позволит расширить возможности тепловидения.

HADAR хорошо подходит для систем безопасности и видеонаблюдения. Потенциал применения в военной сфере также очевиден. Не говоря уже о разработке нового поколения инструментов ночного видения для потребительского рынка.

Конечно, предстоит решить еще много вопросов. Например — как сделать систему миниатюрнее?

«Нынешний датчик большой и тяжелый, поскольку алгоритмы HADAR требуют многих цветов невидимого инфракрасного излучения, — говорит Бао, еще один разработчик. — Чтобы применить его к беспилотным автомобилям и роботам, нам нужно уменьшить размер и цену, а также ускорить сами камеры. Сейчас датчики создают по одному изображению примерно за секунду, но для автономных автомобилей нам нужна частота кадров около 30-60 Гц».

Однако исследователи уверены, что в будущем HADAR станет компактным и эффективным решением – просто нужно время.