stolovi lijeve strane Abstract i 1. uvod 
 
 
 
 
 
 
 Related Work 
 
 Methodology 
 
 Experimental Setup and Results 
 
 Conclusion and Future Work Priznanja Izjava o reproduktivnosti Izjave o utjecaju i reference 3. metodologija Prvo prikupljamo veliki broj javnih časovnih serija podataka u a zatim ga upotrijebite za pre-trening a Na The Svaki od tih koraka raspravljamo u sljedećim odjeljcima. Time Series Pile transformer model masked time series prediction task 3.1 Serija Vrijeme Za razliku od procesiranja prirodnog jezika i računalne vizije, gdje su veliki skupovi podataka kao što su The Pile (Gao et al., 2020) i ImageNet-1K (Russakovsky et al., 2015) lako dostupni za prethodno osposobljavanje, javni skupovi podataka o vremenskim serijama su mnogo manji, raspršeni i uglavnom specifični za zadatke (Ma et al., 2023; Zhou et al., 2023; Gruver et al., 2023). Da bismo uklonili tu prazninu, skupljamo višestruke vremenske serije iz 4 javna repozitorija specifična za zadatke, što rezultira velikim brojem vremenskih serija koje obuhvaćaju različite domene i karakteristike vremenskih serija kao što su duljine, amplitude i vremenske rezolucije. (Zhou et al., 2021) je zbirka od 9 skupova podataka koji se široko koriste za procjenu dugoročne predviđanja performansi (Wu et al., 2023; Nie et al., 2023; Challu et al., 2023): 2 satni i minutni podskupovi Temperatura električnog transformatora (ETT) (Zhou et al., 2021), električna energija (Trindade, 2015), promet (California Department of Transportation, 2024), vrijeme (Max Planck Institute for Biogeochemistry, 2024), gripe-like bolesti (ILI) (Centers for Disease Control and Prevention, 2024), i razmjena stopa (Lai et al., 2018). Informer long-horizon forecasting datasets (Godahewa et al., 2021) je zbirka 58 javno dostupnih skupova podataka o kratkom horizontu s ukupno više od 100K vremenskih serija, koje obuhvaćaju razne domene i vremenske rezolucije. Monash time series forecasting archive  (Dau et al., 2018) comprises of 159 time series datasets which are frequently used to benchmark classification algorithms (Ismail Fawaz et al., 2019). These datasets belonging to seven different categories (Image Outline, Sensor Readings, Motion Capture, Spectrographs, ECG, Electric Devices, and Simulated Data), vary substantially in terms of the number of classes and the size of the training set. UCR/UEA classification archive (Paparrizos et al., 2022b) je nedavna zbirka 1980 univariate vremenske serije s označenim anomalijama iz 18 skupova podataka za otkrivanje anomalija predloženih tijekom proteklog desetljeća. TSB-UAD anomaly benchmark Kada ti dijelovi nisu dostupni, mi slučajno uzimamo uzorak od 60% podataka za obuku, 10% za validaciju i 30% za testiranje. Dugo-horizontalne predviđanja i skupovi podataka za otkrivanje anomalija su obično duge vremenske serije, koje su horizontalno podijeljene kao što je prikazano na slici 2. Naprotiv, skupovi podataka za kratko-horizontalne predviđanja i klasifikacije često sadrže višestruke kratke vremenske serije. Za ove skupove podataka, cjelovita vremenska serija je ili obuka, validacija ili testiranje. Koristimo isto slučajno sjeme, postavljeno na 13, tijekom naših eksperimenata, od pred-treninga do evaluacije u daljnjem tijeku, čime se osigurava da MOMENT samo promatra trenerske podjele skupova Minimizing data contamination using careful train-test splitting. 3.2 Model arhitekture Naš transformatorski kodirnik zadržava modifikacije koje je predložio Raffel et al. (2020) na izvorni Transformer (Vaswani et al., 2017). Konkretno, uklanjamo aditivne predrasude iz Layer Norm (Ba et al., 2016), i stavimo ih prije preostalih skakanja veza (He et al., 2016), i koristimo shemu pozicijskog ugrađivanja odnosa (Shaw et al., 2018). Ispod sažimamo intuiciju iza nekih naših ključnih odluka o dizajnu. Vremenske serije variraju u duljini, broju kanala, amplitudama i vremenskim rezolucijama. Rješavamo varijabilnu duljinu ograničavanjem ulaza MOMENT-a na univarijatu vremensku seriju fiksne duljine T = 512. Kao što je uobičajena praksa, podizgledamo duže vremenske serije, a padamo kraće s nuli na lijevoj strani.[2] Štoviše, segmentiranje vremenskih serija u patchove kvadrativno smanjuje pametni otisak i računalne složenosti MOMENT-a i linearno povećava duljinu vremenskih serija koje može uzeti kao ulaz. Mi viševarijane vremenske serije samostalno radimo na svakom kanalu duž dimenzije serije. Kao i nedavne studije (Zhou et Handling varying time series characteristics. Blisko praćenje dizajna transformatora u jezičnoj domeni omogućuje nam da iskoristimo njihove skalabilne i učinkovite implementacije (npr. gradientno kontrolno točkovanje, miješano precizno osposobljavanje). Intentionally simple encoder. Koristimo laganu glavu za predviđanje umjesto dekodera iste veličine kao kodirnik, kako bismo omogućili potrebne arhitektonske modifikacije za zadatak specifično fino prilagođavanje ograničenog broja parametara koji se mogu obučiti, zadržavajući pritom većinu parametara i značajke visoke razine koje je kodirnik naučio netaknute. Light-weight prediction head. Pre-trening pomoću Masked Time serije Modeliranje Pre-treniramo MOMENT koristeći zadatak modeliranja maskirane vremenske serije. Slika 3 prikazuje pregled našeg postupka pre-treniranja. Tijekom treninga, prvo maskiramo mali broj patchova ujednačeno slučajno zamjenom njihovih patch ugrađivanja s ugradnjom maske koja se može naučiti [MASK]. Korumpirane vremenske serije patchovi se zatim unose u transformatorski koder kako bi naučili predstavljanja patchova, koji se koriste za rekonstruiranje izvorne vremenske serije pomoću lagane glave za rekonstrukciju. Cilj pre-treninga je smanjiti maskovanu pogrešku rekonstrukcije, odnosno srednju četvorkovitu pogrešku između temeljne istine i predviđanja, prosječno preko maskiranih patchova. Predtreniramo tri različite veličine MOMENT-a, otprilike odgovarajući veličinama kodera u T5-Small, Base i Large. Konkretno, model Base (Small, Large) koristi 12 (6, 24) sloja Transform s skrivenim dimenzijama veličine D = 768 (512, 1024), 12 Pre-training Setup. (8, 16) glave pažnje i mreže za napajanje veličine 3072 (2048, 4096), što rezultira otprilike 125 (40, 385) milijuna parametara. Sve težine su slučajno inicijalizirane prije pre-treninga. Svi modeli uzimaju ulaznu vremensku seriju duljine T = 512, razbijanje u N = 64 disjoint patches duljine P = 8. Jednostavno maskiramo 30% patches tijekom pre-treninga. Fine-tuning na zadatcima u dolje MOMENT se može besprijekorno koristiti za višestruke zadaće analize vremenske serije. U ovom radu uzimamo u obzir 5 praktičnih zadaća analize vremenske serije kao primjere, naime: predviđanje dugog i kratkog horizonta, klasifikacija, otkrivanje anomalija i imputacija. Za predviđanje zadataka s horizontom H, zamijenimo glavu rekonstrukcije predviđanjem, koja najprije izravnava sve N-dimenzionalne patch ugrađivanja u N × D dimenzionalni vektor, a zatim ga projicira u H-dimenzionalnu vremensku seriju putem linearnog projekcijskog sloja. Za sve druge zadatke zadržavamo glavu rekonstrukcije. 
 
 
 
 
 
 
 
 Autori : (1) Mononito Goswami, Auton Lab, Robotics Insititute, Carnegie Mellon University, Pittsburgh, SAD (mgoswami@andrew.cmu.edu) (2) Konrad Szafer, Autonomous Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, SAD, s jednakim doprinosom, redom odlučeno pomoću slučajnog generatora; (3) Arjun Choudhry, Autonomous Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, SAD, s jednakim doprinosom, po nalogu odlučenom pomoću slučajnog generatora; (4) Yifu Cai, Auton Lab, Institut za robotiku, Carnegie Mellon University, Pittsburgh, SAD; (5) Shuo Li, Sveučilište u Pennsylvaniji, Philadelphia, SAD; Artur Dubrawski, Autonomna laboratorija, Institut za robotiku, Sveučilište Carnegie Mellon, Pittsburgh, SAD. Authors: (1) Mononito Goswami, Auton Lab, Robotics Insititute, Carnegie Mellon University, Pittsburgh, SAD (mgoswami@andrew.cmu.edu) (2) Konrad Szafer, Autonomous Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, SAD, s jednakim doprinosom, redom odlučeno pomoću slučajnog generatora; (3) Arjun Choudhry, Autonomous Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, SAD, s jednakim doprinosom, po nalogu odlučenom pomoću slučajnog generatora; (4) Yifu Cai, Auton Lab, Institut za robotiku, Carnegie Mellon University, Pittsburgh, SAD; (5) Shuo Li, Sveučilište u Pennsylvaniji, Philadelphia, SAD; Artur Dubrawski, Autonomna laboratorija, Institut za robotiku, Sveučilište Carnegie Mellon, Pittsburgh, SAD. 
 
 Ovaj dokument je dostupan na arhivu pod licencom CC BY 4.0 DEED. Ovaj dokument je dostupan na arhivu pod licencom CC BY 4.0 DEED. Dostupno u Arhivu [2] Otkrili smo da velika većina klasifikacijskih skupova podataka ima vremenske serije kraće od 512. [4] https://cloud.google.com/tpu/docs/ bfloat16

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

REINFORCEMENT . tech

Leading research and publication in advancing reinforcement machine learning, shaping intelligent systems & automation.

Reinforcement's blog

Ovaj zvuk je proizveden na izvornom jeziku priče!

Kako vježbati AI da razumije vrijeme? sa ogromnom količinom podataka.

About Author

KOMENTARI

VIJESI OZNAKE

OVAJ ČLANAK JE PREDSTAVLJEN U

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps