Сложная математика контрфактов может помочь Spotify выбрать следующую любимую песню

Новый тип модели машинного обучения призван улучшить автоматическое принятие решений в сфере финансов, здравоохранения, таргетинга рекламы и т. д.

Новый вид модели машинного обучения, созданный командой исследователей из компании Spotify, занимающейся потоковой передачей музыки, впервые отражает сложную математическую основу контрфактического анализа — точную технику, которую можно использовать для выявления причин прошлых событий и прогнозирования их последствий. последствия будущих.

Модель, описанная ранее в этом году в научном журнале Nature Machine Intelligence, может повысить точность автоматического принятия решений, особенно персонализированных рекомендаций, в ряде приложений, от финансов до здравоохранения.

Основная идея контрфактических представлений состоит в том, чтобы спросить, что произошло бы в ситуации, если бы некоторые вещи были иными. Это все равно, что перемотать мир назад, изменить несколько важных деталей, а затем нажать кнопку воспроизведения и посмотреть, что произойдет. Правильными настройками можно отделить истинную причинно-следственную связь от корреляции и совпадения.

«Понимание причины и следствия очень важно для принятия решений», — говорит Кьяран Гиллиган-Ли, руководитель лаборатории исследования причинно-следственных связей в Spotify, который был соавтором модели. «Вы хотите понять, какое влияние окажет выбор, который вы сделаете сейчас, на будущее».

В случае со Spotify это может означать выбор того, какие песни вам показывать или когда артисты должны выпустить новый альбом. Spotify пока не использует контрафакты, говорит Гиллиган-Ли. «Но они могут помочь ответить на вопросы, с которыми мы сталкиваемся каждый день».

Контрфакты интуитивно понятны. Люди часто осмысливают мир, представляя, как бы все сложилось, если бы произошло то, а не то. Но они чудовищно вложены в математику.

«Контрфактические явления — это очень странно выглядящие статистические объекты», — говорит Гиллиган-Ли. «Это странные вещи, над которыми стоит задуматься. Вы спрашиваете о вероятности того, что что-то произойдет, учитывая, что этого не произошло».

Гиллиган-Ли и его соавторы начали работать вместе после того, как прочитали о работе друг друга в статье MIT Technology Review. Они основали свою модель на теоретической основе контрфактических явлений, называемых сетями-близнецами.

Сети-близнецы были изобретены в 1990-х годах учеными-компьютерщиками Эндрю Балке и Джудеей Перл. В 2011 году Перл получил премию Тьюринга — Нобелевскую премию в области компьютерных наук — за свою работу в области причинно-следственных рассуждений и искусственного интеллекта.

Перл и Балк использовали сети-близнецы для работы с несколькими простыми примерами, говорит Гиллиган-Ли. Но применить математическую основу к более крупным и сложным реальным случаям вручную сложно.

Вот тут-то и приходит на помощь машинное обучение. Сети-близнецы рассматривают контрфактические явления как пару вероятностных моделей: одна представляет реальный мир, другая — вымышленный. Модели связаны таким образом, что модель реального мира ограничивает модель вымышленного мира, сохраняя ее неизменной во всех отношениях, за исключением фактов, которые вы хотите изменить.

Гиллиган-Ли и его коллеги использовали структуру сетей-близнецов в качестве модели нейронной сети, а затем обучили ее делать прогнозы о том, как события будут развиваться в вымышленном мире. Результатом является универсальная компьютерная программа для проведения контрфактических рассуждений. «Это позволяет вам ответить на любой контрфактический вопрос о желаемом сценарии», — говорит Гиллиган-Ли.

Команда Spotify протестировала свою модель, используя несколько практических примеров из реальной жизни, в том числе исследование одобрения кредита в Германии, исследование международных клинических испытаний лекарств от инсульта и еще одно исследование безопасности водоснабжения в Кении.

В 2020 году исследователи исследовали, снизит ли установка труб и бетонных контейнеров для защиты источников от бактериального загрязнения в регионе Кении уровень детской диареи. Они обнаружили положительный эффект. Но нужно быть уверенным, что стало причиной этого, — говорит Гиллиган-Ли. Прежде чем устанавливать бетонные стены вокруг колодцев по всей стране, вы должны быть уверены, что снижение заболеваемости на самом деле было вызвано этим вмешательством, а не его побочным эффектом.