ИИ может определить расу человека на основе рентгеновских лучей

Международная группа врачей и ученых в области компьютерных наук сообщила , что системы искусственного интеллекта, обученные анализировать рентгеновские снимки, компьютерную томографию, маммограммы и другие медицинские изображения, могут с высокой степенью точности предсказать расу пациента на основе только изображений.

Системы точно определяли расу, даже когда анализируемые изображения были искажены до такой степени, что анатомические особенности были неразличимы для человеческого глаза. Однако эксперты предупреждают, что это может привести к предвзятости и дискриминации.

«Наш основной посыл заключается в том, что это не просто способность определять расу, о которой сообщают сами люди, это способность ИИ определять расу по очень, очень тривиальным признакам. Если эти модели начнут изучать эти свойства, то все, что мы делаем с точки зрения системного расизма [...] естественным образом войдет в алгоритм», — пояснили ученые.

В попытке прояснить ситуацию эксперты изучили, влияли ли на прогнозы расы биологические различия. Специалисты исследовали сами изображения, чтобы увидеть, учитывают ли модели искусственного интеллекта различия в качестве или разрешении, поскольку изображения чернокожих пациентов могли быть получены с аппаратов более низкого качества. Ни один из их экспериментов не объяснил это явление.

По словам ученых, они не смогли объяснить, как системы искусственного интеллекта делали точные прогнозы.

В настоящее время Управление по контролю качества пищевых продуктов и лекарственных препаратов США одобряет только стационарные медицинские устройства с искусственным интеллектом, которые обучены на определенном наборе данных и не изменяются и не улучшаются по мере обработки большего количества данных. Однако даже алгоритмы, которые уже были одобрены, часто не проверяются в отношении людей разных рас, и не проверяются на постоянной основе.