Компьютерное зрение и лидары помогут автопилоту лучше видеть

Ранее в этом месяце в Сети появилось видео, в котором система автопилота Tesla направила автомобиль прямиком в сторону остановившегося на обочине другого автомобиля, что привело к столкновению. Тот факт, что машина была темного цвета, вызвал дискуссию о том, можно ли при вождении полагаться на компьютерное зрение.

Видео усилило споры вокруг принятого в мае нынешнего года решения компании Tesla отказаться от использования радарных датчиков в пользу других технологий эхолокации, таких как лидары (LiDAR).

На прошлой неделе израильские специалисты опубликовали новую научную статью, в которой предложили объединить лидары с технологиями компьютерного зрения путем преобразования облаков точек лидара в фотореалистичные изображения с помощью генериративно-состязательной сети (GAN).

Лидар является технологией измерения расстояния путем излучения света (лазера) и времени возвращения отраженного света на приемник. Облаком точек называют пространственно организованные данные, полученные с лидаров. Облака точек создаются на основе необработанных данных, полученных путем сканирования физических объектов, таких как внутренние и наружные элементы зданий и рельеф. После сбора необработанные данные преобразовываются в пригодные для чтения файлы облаков точек.

«Наши модели научились прогнозировать реалистичные изображения по одним только облакам точек, даже изображения черных машин. Черные машины сложно обнаруживать непосредственно по облакам точек, поскольку они плохо отражают свет. Наш подход сможет использоваться в будущем для визуального распознавания объектов на фотореалистичных изображениях, сгенерированных из облаков точек лидаров», - сообщили специалисты израильской компании Innoviz Technologies.

В ходе эксперимента исследователи хотели выяснить, может ли GAN с нужной скоростью генерировать синтетические изображения из облаков точек лидара, чтобы последующий поток изображений можно было использовать в рабочих процессах распознавания объектов и семантической сегментации (разделения изображения на отдельные группы пикселей и области, соответствующие одному объекту).

Основная идея заключалась в том, чтобы обучить алгоритм на парных данных, где изображения облаков точек (зависящих от света, излучаемого лидаром) обучались бы по соответствующим кадрам с фронтальной камеры.

Поскольку кадры были сняты в дневное время, когда система компьютерного зрения может более легко выделить неуловимый полностью черный автомобиль, обучение должно было обеспечить истинные данные, на которые можно было бы положиться ночью.