ИИ-стартап из Стэнфорда отслеживает компании, разрывающие отношения с Россией

В Стэнфорде основатели стартапа Diffbot, специализирующегося на машинном обучении, разработали систему отслеживания компаний, применяющих санкции. В результате, частные лица и предприятия могут оставаться в курсе событий, касающихся затронутых компаний.

"Используя обработку естественного языка, Diffbot просматривает публичную сеть и структурирует ее в общедоступную базу знаний Knowledge Graph, постоянно поддерживаемую системой искусственного интеллекта", - рассказал генеральный директор Diffbot Майк Тунг.

Как отметил Тунг, попытки создания подобных списков предпринимались неоднократно. Однако списки, составляемые СМИ содержат множество ошибок. Аналогичным образом, проекты сообщества, такие как opensanctions.org, исторически сосредоточенные на агрегировании официальных правительственных списков, с трудом справлялись с потоком сообщений.

Knowledge Graph Diffbot просматривает весь открытый интернет, включая русскоязычные страницы. Используя обработку естественного языка (Natural Language Processing), система читает страницы на родном языке. Чтобы проверить, заслуживает ли источник доверия или нет, Diffbot присваивает оценку каждому домену и объединяет информацию из различных источников.

"Для проверки достоверности информации алгоритмы присваивают каждому источнику оценку доверия, основанную на знаниях, а также оценку вероятности для каждого факта, полученного в результате этого процесса. При поиске в Knowledge Graph клиенты находят набор фактов с уровнем вероятности выше установленного по умолчанию", - сказал эксперт.

Алгоритмы учитывают, появляется ли конкретный факт в нескольких различных источниках, исторический послужной список фактов, созданных данным источником с течением времени, организацию, владеющую сайтом, и согласуется ли факт с данными из других источников.

«Для отслеживания санкций в режиме реального времени мы выводим санкции, фигурирующие как минимум в трех независимых, достоверных источниках», — сказал Тунг.

На момент написания статьи в санкционном трекере Diffbot числилось более 600 брендов.