Стол слева Абстракт и 1.Введение 
 
 
 
 
 
 
 Related Work 
 
 Methodology 
 
 Experimental Setup and Results 
 
 Conclusion and Future Work Признания Заявление о воспроизводимости Декларация о воздействии и ссылки 3 Методология Сначала мы собираем большое количество публичных серийных данных в и затем использовать его для предварительного тренировки a На о Мы обсуждаем каждый из этих шагов в следующих разделах. Time Series Pile transformer model masked time series prediction task Серия The Time Pile В отличие от обработки естественного языка и компьютерного зрения, где большие наборы данных, такие как The Pile (Gao et al., 2020) и ImageNet-1K (Russakovsky et al., 2015) легко доступны для предварительного обучения, общественные наборы данных временных серий намного меньше, рассеяны и в значительной степени специфичны для задач (Ma et al., 2023; Zhou et al., 2023; Gruver et al., 2023). Чтобы преодолеть этот разрыв, мы объединяем несколько временных серий из 4-х специфических для задач, широко используемых общественных репозиториев, что приводит к большому количеству временных серий, охватывающих различные области, и характеристик временных серий, таких как длины, амплитуды и временные разрешения. Мы называем эту коллекцию Time (Zhou et al., 2021) - это сборник из 9 наборов данных, которые широко используются для оценки долгосрочных результатов прогнозирования (Wu et al., 2023; Nie et al., 2023; Challu et al., 2023): 2 часовых и минутных поднабора температуры электрического трансформатора (ETT) (Zhou et al., 2021), электричества (Trindade, 2015), трафика (Калифорнийский департамент транспорта, 2024), погоды (Институт биогеохимии Макса Планка, 2024), гриппоподобных заболеваний (ILI) (Центры по контролю и профилактике заболеваний, 2024), и обменной ставки (Lai et al., 2018). Informer long-horizon forecasting datasets (Godahewa et al., 2021) - это сборник из 58 общедоступных наборов данных для прогнозирования короткого горизонта с общей суммой более 100 000 временных серий, охватывающих различные домены и временные разрешения. Monash time series forecasting archive (Dau et al., 2018) состоит из 159 наборов данных временных серий, которые часто используются для сравнения алгоритмов классификации (Ismail Fawaz et al., 2019). Эти наборы данных, относящиеся к семи различным категориям (Очерк изображения, чтение датчиков, захват движения, спектрографы, ЭКГ, электрические устройства и симуляционные данные), существенно различаются по количеству классов и размеру набора обучения. UCR/UEA classification archive (Paparrizos et al., 2022b) представляет собой недавнюю коллекцию унивариатных временных серий 1980 года с обозначенными аномалиями из 18 наборов данных об обнаружении аномалий, предложенных в течение последнего десятилетия. TSB-UAD anomaly benchmark Мы тщательно разделили каждый набор данных на раздельные тренинги, валидационные и тестовые разделы на основе разделов, указанных создателями данных. Когда эти разделы недоступны, мы случайно обрабатываем 60% данных для тренировок, 10% для валидации и 30% для тестирования. Наборы данных для прогнозирования долгого горизонта и обнаружения аномалий обычно являются длинными временными сериями, которые разделены горизонтально, как показано на рисунке 2. Наоборот, наборы данных для прогнозирования краткого горизонта и классификации часто содержат несколько коротких временных серий. Для этих наборов данных полная временная серия является либо обучением, валидацией, либо тестированием. Мы используем одни и те же случайные семена, настроенные на 13, на протяжении наших экспериментов Minimizing data contamination using careful train-test splitting. 3.2 Модель архитектуры Наш трансформатор-кодер сохраняет модификации, предложенные Raffel et al. (2020) к первоначальному Трансформеру (Vaswani et al., 2017). В частности, мы удаляем аддитивную предвзятость из Layer Norm (Ba et al., 2016), и помещаем ее перед остаточными скользящими соединениями (He et al., 2016), и используем схему позиционного встраивания отношений (Shaw et al., 2018). Ниже мы обобщаем интуицию, лежащую за некоторыми из наших ключевых решений по дизайну. Временные серии варьируются по длине, количеству каналов, амплитуде и временным разрешениям. Мы обращаемся к переменной длине, ограничивая ввод MOMENT на унивариативную временную серию фиксированной длины T = 512. Как и обычная практика, мы подмеряем более длинные временные серии, а подмеряем более короткие с нулями слева.[2] Кроме того, сегментирование временных серий в патчи квадратно уменьшает память и вычислительную сложность MOMENT, и линейно увеличивает длину временных серий, которые он может взять в качестве ввода. Мы многовариативные временные серии, самостоятельно работая на каждом канале вдоль серийного измерения. Как и недавние исследования (Zhou et al., Handling varying time series characteristics. Тесное соблюдение дизайна трансформаторов в языковой области позволяет нам использовать их масштабируемые и эффективные внедрения (например, проверка градиента, обучение смешанной точности). Intentionally simple encoder. Мы используем легкую головку прогнозирования вместо декодера того же размера, что и кодировщик, чтобы обеспечить необходимые архитектурные модификации для специфического настройки ограниченного числа тренируемых параметров, сохраняя при этом большую часть параметров и высокоуровневые функции, изученные кодировщиком. Light-weight prediction head. 3.3. предварительная подготовка с использованием серии маскированного времени моделирования На рисунке 3 представлен обзор нашей предтренировочной процедуры. Во время обучения мы сначала маскируем небольшое количество патчей равномерно по случайности, заменив их патч-встраивания обучаемым встраиванием маски [MASK]. Поврежденные патчи временной серии затем подаются в кодера трансформатора, чтобы узнать представления патча, которые используются для реконструкции первоначальной временной серии с использованием легкой головки реконструкции. Целью предтренировки является минимизация ошибки маскированной реконструкции, то есть средней квадратной ошибки между подземной правдой и прогнозом, средней по маскированным патчам. Мы предварительно обучаем три разных размера MOMENT, примерно соответствующих размерам кодеров в T5-Small, Base и Large. В частности, модель Base (Small, Large) использует 12 (6, 24) слой Transform с скрытыми размерами размера D = 768 (512, 1024), 12 Pre-training Setup. (8, 16) головки внимания, и сети для кормления вперед размером 3072 (2048, 4096), в результате чего примерно 125 (40, 385) миллионов параметров. Все весы рандомизируются до предварительной тренировки. Все модели принимают временную серию ввода длины T = 512, разрывая ее на N = 64 разъединительные пластины длины P = 8. Мы маскируем 30% пластинок равномерно случайно во время предварительной тренировки. Fine-tuning на нижних задачах В этой работе мы рассматриваем 5 практических задач анализа временных серий в качестве примеров, а именно: прогнозирование длинных и коротких горизонтов, классификация, обнаружение аномалий и вычисление. Для прогнозирования задач с горизонтом H мы заменяем головку реконструкции головой прогнозирования, которая сначала сглаживает все встраиваемые N-D-мерные патчи в вектор N × D-мер, а затем проектирует его в серии H-мерного времени через линейный слой проекции. Для всех других задач мы сохраняем головку реконструкции. 
 
 
 
 
 
 
 
 Авторы : (1) Mononito Goswami, Auton Lab, Robotics Insititute, Carnegie Mellon University, Питтсбург, США (mgoswami@andrew.cmu.edu) (2) Конрад Шафер, Автономная лаборатория, Институт робототехники, Университет Карнеги-Меллона, Питтсбург, США, с равным вкладом, при решении, используя случайный генератор; (3) Arjun Choudhry, Автономная лаборатория, Институт робототехники, Университет Карнеги Меллон, Питтсбург, США, с равным вкладом, при решении, используя случайный генератор; (4) Yifu Cai, Автономная лаборатория, Институт робототехники, Университет Карнеги Меллон, Питтсбург, США; Shuo Li, Университет Пенсильвании, Филадельфия, США (6) Artur Dubrawski, Автономная лаборатория, Институт робототехники, Университет Карнеги Меллон, Питтсбург, США. Authors: (1) Mononito Goswami, Auton Lab, Robotics Insititute, Carnegie Mellon University, Питтсбург, США (mgoswami@andrew.cmu.edu) (2) Конрад Шафер, Автономная лаборатория, Институт робототехники, Университет Карнеги-Меллона, Питтсбург, США, с равным вкладом, при решении, используя случайный генератор; (3) Arjun Choudhry, Автономная лаборатория, Институт робототехники, Университет Карнеги Меллон, Питтсбург, США, с равным вкладом, при решении, используя случайный генератор; (4) Yifu Cai, Auton Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, USA; Shuo Li, Университет Пенсильвании, Филадельфия, США (6) Artur Dubrawski, Автономная лаборатория, Институт робототехники, Университет Карнеги Меллон, Питтсбург, США. 
 
 Эта статья доступна в архиве под лицензией CC BY 4.0 DEED. Эта статья доступна в архиве под лицензией CC BY 4.0 DEED. Доступно в архиве [2] Мы обнаружили, что подавляющее большинство наборов данных классификации имеют временные серии короче, чем 512. Кроме того, было обнаружено, что окно обратной связи длиной 512 был достаточно для точного прогнозирования долгого горизонта (Nie et al., 2023). [4] https://cloud.google.com/tpu/docs/ bfloat16

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

REINFORCEMENT . tech

Leading research and publication in advancing reinforcement machine learning, shaping intelligent systems & automation.

Reinforcement's blog

Этот звук создан на языке оригинала истории!

Как вы тренируете ИИ, чтобы понять время? с гигантской кучей данных.

About Author

КОММЕНТАРИИ

БИРКИ

ЭТА СТАТЬЯ БЫЛА ПРЕДСТАВЛЕНА В

Related Stories

Рост криптовалют: создание эффективных образов пользователей

Раскрытие силы ИИ. Систематический обзор передовых методов: Краткое содержание и введение

Краткое введение в теорию мозга Больцмана

Модель Bitcoin UTXO, обеспечивающая работу уникальной экосистемы

Рост криптовалют: создание эффективных образов пользователей

Раскрытие силы ИИ. Систематический обзор передовых методов: Краткое содержание и введение

Краткое введение в теорию мозга Больцмана

Модель Bitcoin UTXO, обеспечивающая работу уникальной экосистемы

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps