Многоцелевая модель улучшает прогнозирование в области эпидемий, энергетики и экономики

Новая модель машинного обучения (МО) от Georgia Tech может одновременно защитить сообщества от болезней, лучше управлять потреблением электроэнергии в городах и способствовать росту бизнеса.

Исследователи из Школы вычислительной науки и техники (CSE) создали структуру Large Pre-Trained Time-Series Model (LPTM). LPTM — это единая базовая модель, которая выполняет задачи прогнозирования в широком спектре областей.

Наряду с производительностью, которая не хуже или лучше, чем у моделей, специально созданных для их приложений, LPTM требует на 40% меньше данных и на 50% меньше времени обучения, чем текущие базовые показатели. В некоторых случаях LPTM можно развернуть без каких-либо данных обучения.

Ключ к LPTM заключается в том, что он предварительно обучен на наборах данных из разных отраслей, таких как здравоохранение, транспорт и энергетика. Группа Georgia Tech создала модуль адаптивной сегментации для эффективного использования этих совершенно разных наборов данных.

Исследователи Georgia Tech представят LPTM в Ванкувере, Британская Колумбия, Канада, на конференции по нейронным системам обработки информации 2024 года ( NeurIPS 2024 ). Они также разместили свои исследования на сервере препринтов arXiv .

«Основная парадигма модели началась с текста и изображений, но люди ещё не исследовали задачи временных рядов, поскольку они считались слишком разнообразными в разных областях», — сказал Б. Адитья Пракаш, один из разработчиков LPTM.

«Наша работа является пионерской в ​​этой новой области исследований, где до сих пор было предпринято лишь несколько попыток».

Фундаментальные модели обучаются на данных из разных областей, что делает их мощными инструментами при назначении задач. Фундаментальные модели управляют GPT, DALL-E и другими популярными платформами генеративного ИИ, используемыми сегодня. LPTM отличается, поскольку он ориентирован на временные ряды, а не на генерацию текста и изображений.

Исследователи из Технологического института Джорджии обучили LPTM работе с различными данными: эпидемиями, макроэкономикой, энергопотреблением, дорожным движением и транспортом, фондовыми рынками, а также наборами данных о движении и поведении человека.

После обучения группа сравнила LPTM с 17 другими моделями, чтобы сделать прогнозы, максимально приближенные к девяти реальным эталонным показателям. LPTM показала наилучшие результаты на пяти наборах данных и заняла второе место на остальных четырёх.

Девять бенчмарков содержали данные из реальных коллекций. Они включали распространение гриппа в США и Японии, электроэнергию, трафик и спрос на такси в Нью-Йорке, а также финансовые рынки.

Модели конкурентов были специально созданы для своих областей. В то время как каждая модель показала хорошие результаты на одном или двух бенчмарках, наиболее близких к её целевому назначению, в других моделях они заняли средние или нижние позиции.

В другом эксперименте группа Georgia Tech протестировала LPTM против семи базовых моделей на тех же девяти бенчмарках в задаче прогнозирования с нулевым выстрелом. Нулевой выстрел означает, что модель используется сразу после установки и не получает никаких конкретных указаний во время обучения. LPTM превзошла каждую модель по всем бенчмаркам в этом испытании.

Модель LPTM стабильно занимала лидирующие позиции по всем девяти тестам, демонстрируя потенциал модели для достижения превосходных результатов прогнозирования в различных приложениях с меньшими ресурсами.

«Наша модель выходит за рамки прогнозирования и помогает решать другие задачи», — сказал Пракаш, доцент Школы CSE.

«Классификация — это полезная задача временного ряда, которая позволяет нам понять природу временного ряда и определить, является ли этот временной ряд чем-то понятным или новым».

Одна из причин, по которой традиционные модели разрабатываются индивидуально в соответствии со своими целями, заключается в том, что поля различаются по частоте отчетности и тенденциям.

Например, эпидемические данные часто сообщаются еженедельно и проходят через сезонные пики с редкими вспышками. Экономические данные собираются ежеквартально и обычно остаются последовательными и монотонными с течением времени.

Модуль адаптивной сегментации LPTM позволяет ему преодолевать эти временные различия между наборами данных. Когда LPTM получает набор данных, модуль разбивает данные на сегменты разных размеров. Затем он оценивает все возможные способы сегментации данных и выбирает самый простой сегмент, из которого можно узнать полезные закономерности.

Производительность LPTM, улучшенная за счёт инноваций в области адаптивной сегментации, обеспечила принятие модели на NeurIPS 2024 для презентации. NeurIPS — одна из трёх основных международных конференций по высокоэффективным исследованиям в области ИИ и МО. NeurIPS 2024 пройдёт с 10 по 15 декабря.

Аспирант Харшавардхан Камарти сотрудничал с Пракашем, своим руководителем, по LPTM. Дуэт входит в число 162 исследователей Georgia Tech, представляющих более 80 докладов на конференции.

Пракаш — один из 46 преподавателей Технологического института Джорджии, чьи исследования были приняты на NeurIPS 2024. Девять преподавателей Школы CSE, почти треть состава, являются авторами или соавторами 17 статей, принятых на конференции.

Помимо представления своих исследований на конференции NeurIPS 2024, Пракаш и Камарти выпустили на GitHub библиотеку с открытым исходным кодом основополагающих модулей временных рядов , которые специалисты по данным могут использовать в своих приложениях.

«Учитывая интерес к ИИ со стороны всех слоев общества, включая бизнес, социальную сферу, а также сектор исследований и разработок, была проделана большая работа и на основные конференции по ИИ представлены тысячи серьёзных докладов», — сказал Пракаш.

«Принятие нашей статьи говорит о качестве работы и её потенциале для продвижения фундаментальной методологии, и мы надеемся поделиться этим с более широкой аудиторией».

Мастер пера, обрабатывает новостную ленту.