Левы стол Абсталяванне і 1. 
 
 
 
 
 
 
 Related Work 
 
 Methodology 
 
 Experimental Setup and Results 
 
 Conclusion and Future Work Прызнанне Заявы і абмоўкі пра абмежаванне адказу Вынікі пошуку - references 3 Методыка У першую чаргу, ён заклікаў вернікаў даваць сведчанне аб веры праз учынкі, а не толькі словы. і затым выкарыстоўваць яго для падрыхтоўкі а На іх Мы размаўляем пра кожны з гэтых крокаў у наступных раздзелах. Time Series Pile transformer model masked time series prediction task 3.1 Спіс часоў У адрозненні ад працэсування натуральнай мовы і кампутарнага ўзору, дзе вялікія маштабныя наборы дадзеных, такія як The Pile (Gao et al., 2020) і ImageNet-1K (Russakovsky et al., 2015) з лёгкасцю даступныя для папярэдняга навучання, публічныя маштабныя серыі дадзеных з'яўляюцца значна меншымі, распаўсюджанымі, і ў асноўным задавальныя (Ma et al., 2023; Zhou et al., 2023; Gruver et al., 2023). Для замяшчэння гэтай прасторы, мы збіраем многія часовыя серыі з 4 задавальныя, шырока выкарыстоўваюцца публічныя рэпазітары, што прыводзіць да вялікай колькасці часовых серый, якія распаўсюджа (Zhou et al., 2021) з'яўляецца калекцыяй 9 дэталяў дадзеных, якія шырока выкарыстоўваюцца для ацэнкі дасканалага прагнозу перформансаў (Wu et al., 2023; Nie et al., 2023; Challu et al., 2023): 2 гадзінныя і хвілінныя падсэты тэмпературы электратрансформера (ETT) (Zhou et al., 2021), электраэнергіі (Trindade, 2015), трафіку (Каліфорнія Дэпартамент Транспорта, 2024), пагода (Макс Планк Інстытут для біягеахіміі, 2024), захворванне, такія як грыпу (ILI) (Центры кантролю і прэвенцыі захворванняў, 2024), і Exchange-rate (Lai et al., 2018). Informer long-horizon forecasting datasets (Godahewa et al., 2021) з'яўляецца калекцыяй 58 публічна даступных набораў дадзеных для прагнозавання кароткага гарызонту з усяго больш чым 100K часовых серый, якія аб'ядноўваюць розныя домены і часовыя вырашэнні. Monash time series forecasting archive (Dau et al., 2018) складаецца з 159 часовыя серыі набораў дадзеных, якія часта выкарыстоўваюцца для бенчмаркавання алгарытмам класіфікацыі (Ismail Fawaz et al., 2019). Гэтыя наборы дадзеных, якія належыць да семи розных катэгорый (Пасляванне малюнкаў, Чытаць датчыкі, захоўванне рухаў, спектрографы, ЭКГ, Электрычныя прылады, і сімуляваныя дадзеныя), значна адрозніваюцца ў параўнанні з колькасцю класаў і памерам навучальнага набору. UCR/UEA classification archive (Paparrizos et al., 2022b) з'яўляецца недалёкай калекцыяй 1980 уніварыяльных часовых серый з абазначэннем абмаляцый з 18 набораў дадзеных выяўлення абмаляцый, прапаноўваных за апошнія дзесяць гадоў. TSB-UAD anomaly benchmark Мы падрабязна падзялілі кожны набор дадзеных на разлучэнне трэніроўкі, валідацыі і выпрабаванняў разлучэнняў, на аснове разлучэнняў, якія вызначаюцца вытворцамі дадзеных. Калі гэтыя разлучэння не даступныя, мы звычайна ўпрыгожваем 60% дадзеных для трэніроўкі, 10% для валідацыі і 30% для выпрабаванняў. Дадатковыя наборы дадзеных для даўгарызонтальнага прагнозу і выяўлення аналагі звычайна доўгагагагагага часу, якія раздзяляюцца гарызонтальна, як паказана на малюнку 2. Наўпрост, дадзеныя наборы дадзеных прагнозу і класіфікацыі доўгагагага часу звычайна змяшчаюць некалькі кароткіх часовых Minimizing data contamination using careful train-test splitting. 3.2 Архітэктура Наш трансформатарны кодэр захоўвае мадыфікацыі, прапанаваныя Raffel et al. (2020) да арыгінальнага трансформатара (Vaswani et al., 2017). Спецыфічна, мы вылучаем аддзяленне ад аддзялення з Layer Norm (Ba et al., 2016), і ставім яго перад злучэннімі рэшткі (He et al., 2016), і выкарыстоўваем схему ўтрымлівання пазіцыі адносіны (Shaw et al., 2018). Ніжэй мы аб'ядноўваем інтуіцыю за некаторымі з нашых ключавых вырабаў. Часныя серыі змяняюцца па даўжыні, колькасці каналаў, амплітудах і часовым вырашэнні. Мы аб'ядноўваем пераменную даўжыню, абмежаваючы ўваход MOMENT у уніварацыйную часовую серыю фіксаванай даўжынёй T = 512. Як звычайная практыка, мы падвышаем ўзор доўгіх часовых серый, а падвышаем каротшыя з нулямі на левай.[2] Акрамя таго, сегментаванне часовых серый у патчыкі квадратна зменшае памяці памяці і вылічанай складанасці MOMENT, і лінейна павялічвае даўжыню часовых серый, якія ён можа прыняць як ўклад. Мы перавышаем і цэнтралізуем часовыя серыі, выкарыстоўваючы аб Handling varying time series characteristics. Дакладнае следства за дызайнам трансформатараў у моўнай галіне дазваляе нам выкарыстаць іх скалабельныя і эфектыўныя рэалізацыі (напрыклад, градыентная чэкпуінг, навучанне з сумяшчальнай дакладнасцю). Intentionally simple encoder. Варта адзначыць, што для ажыццяўлення работ па стварэнні Нацыянальнага інвентара нематэрыяльнай культурнай спадчыны наша краіна летась атрымала грант з адпаведнага фонду UNESCO. Light-weight prediction head. 3.3 Папярэдняе навучанне з выкарыстаннем маскавай серыі часу мадэляванне Мы прэ-тренируем MOMENT, выкарыстоўваючы задачу маскаванай сістэмы мадэлявання часу. Фігура 3 прадстаўляе агляд на нашу працэдуру прэ-тренировки. Падчас навучання, мы перш за ўсё маскуем невялікае колькасць патчаў адназначна ў выпадковым выпадку, замяняючы іх патчавыя ўбудовы з навучальнай маскавай ўбудовы [MASK]. Пашкоджаныя патчавыя серыі часу затым даводзяцца ў трансформатарны індыкатар, каб вывучыць патчавыя прадстаўлення, якія выкарыстоўваюцца для рэканструкцыі першапачатковай серыі часу з выкарыстаннем лёгкай галавы рэканструкцыі. Мы перапрацавалі тры розныя памеры MOMENT, прыкладна адпавядаючы памерам кодэра ў T5-Small, Base і Large. Pre-training Setup. (8, 16) уважлівыя галавы і сеткі падыходу падыходу памеру 3072 (2048, 4096), у выніку прыблізна 125 (40, 385) мільёнаў параметраў. Усе вагі з'яўляюцца выпадковай ініцыялізацыяй перад папярэднім навучаннем. Усе мадэлі прымаюць часовую серыю ўводу даўжынёй T = 512, разбіўшы яго на N = 64 разлучныя пласціны даўжынёй P = 8. Мы маскуем 30% пласцінаў адназначна ў выпадковай форме падчас папярэдняга навучання. 3.4.Фіне-тунінг на дазвольных заданнях Да гэтага часу кампанія атрымала ганаровае званне "Fujian Technology Enterprise" і сертыфікаты на сертыфікацыю HDMI Adopter. кампаніяй HDMI Licensing, LLC. 
 
 
 
 
 
 
 
 І аўтары: (1) Mononito Goswami, Auton Lab, Robotics Insititute, Carnegie Mellon University, Пітсбург, ЗША (mgoswami@andrew.cmu.edu) (2) Konrad Szafer, Auton Lab, Robotics Institute, Carnegie Mellon University, Піттсбург, ЗША, з роўнымі ўкладаннямі, па заказе выраблена з выкарыстаннем выпадковага генератара; (3) Arjun Choudhry, Auton Lab, Robotics Institute, Carnegie Mellon University, Піттсбург, ЗША, з роўнымі ўкладаннямі, па заказе вырашана з выкарыстаннем выпадковага генератара; (4) Yifu Cai, Auton Lab, Robotics Institute, Carnegie Mellon University, Пітсбург, ЗША; (5) Shuo Li, Універсітэт Пенсільваніі, Філадэльфія, ЗША; Artur Dubrawski, Auton Lab, Robotics Institute, Carnegie Mellon University, Пітсбург, ЗША. Authors: (1) Mononito Goswami, Auton Lab, Robotics Insititute, Carnegie Mellon University, Пітсбург, ЗША (mgoswami@andrew.cmu.edu) (2) Konrad Szafer, Auton Lab, Robotics Institute, Carnegie Mellon University, Піттсбург, ЗША, з роўнымі ўкладаннямі, па заказе выраблена з выкарыстаннем выпадковага генератара; (3) Arjun Choudhry, Auton Lab, Robotics Institute, Carnegie Mellon University, Піттсбург, ЗША, з роўнымі ўкладаннямі, па заказе вырашана з выкарыстаннем выпадковага генератара; (4) Yifu Cai, Auton Lab, Robotics Institute, Carnegie Mellon University, Пітсбург, ЗША; (5) Shuo Li, Універсітэт Пенсільваніі, Філадэльфія, ЗША; Artur Dubrawski, Auton Lab, Robotics Institute, Carnegie Mellon University, Пітсбург, ЗША. 
 
 Гэты дакумент даступны на архіве пад ліцэнзіяй CC BY 4.0 DEED. Гэтая кніга ёсць  under CC BY 4.0 DEED license. Доступны ў архіве Доступны ў архіве [2] Мы выявілі, што вялікая частка набораў дадзеных класіфікацыі маюць часовыя серыі менш за 512. [4] https://cloud.google.com/tpu/docs/ bfloat16

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

REINFORCEMENT . tech

Leading research and publication in advancing reinforcement machine learning, shaping intelligent systems & automation.

Reinforcement's blog

Гэта аўдыя зроблена на мове арыгіналу гісторыі!

Як вы навучыце AI, каб зразумець час? з гігантскай паловай дадзеных.

About Author

КАМЕНТАРЫІ

ВЕСІЦЬ БІРКІ

ГЭТЫ АРТЫКУЛ БЫЎ ПРАДСТАЎЛЕНЫ Ў

Related Stories

How Fraction AI is Democratizing AI Ownership for the Masses

Navigating the Future of Blockchain VC Industry With Stelian Balta of Hyperchain Capital

How Edge & Node’s Rodrigo Coelho Is Reimagining the Web with The Graph

The World is Finally Ready for a New Internet

How Fraction AI is Democratizing AI Ownership for the Masses

Navigating the Future of Blockchain VC Industry With Stelian Balta of Hyperchain Capital

How Edge & Node’s Rodrigo Coelho Is Reimagining the Web with The Graph

The World is Finally Ready for a New Internet

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps