Levo od stola Abstrakcija i 1. uvod 
 
 
 
 
 
 
 Related Work 
 
 Methodology 
 
 Experimental Setup and Results 
 
 Conclusion and Future Work Priznanja Izjava o reproduktivnosti Izjava o uticaju i reference 3. metodologija Prvo prikupljamo veliki broj javnih časovnih serija podataka u a zatim ga koristite za pre-treniranje a Na taj Razgovaramo o svakom od ovih koraka u narednim odjeljcima. Time Series Pile transformer model masked time series prediction task 3.1.The Time serija Pile Za razliku od procesiranja prirodnog jezika i računalne vizije, gde su veliki skupovi podataka kao što su The Pile (Gao et al., 2020) i ImageNet-1K (Russakovsky et al., 2015) lako dostupni za prethodno osposobljavanje, javni skupovi podataka o vremenskim serijama su mnogo manji, raspršeni i uglavnom specifični za zadatke (Ma et al., 2023; Zhou et al., 2023; Gruver et al., 2023). Da bismo uklonili tu prazninu, skupili smo višestruke vremenske serije iz 4 javna repozitorija specifične za zadatke, što rezultira velikim brojem vremenskih serija koje obuhvaćaju različite domene i karakteristike vremenskih serija kao što su dužine, amplitude i vremenske rezolucije. (Zhou et al., 2021) je zbirka od 9 skupova podataka koji se široko koriste za procjenu dugoročne predviđanja performansi (Wu et al., 2023; Nie et al., 2023; Challu et al., 2023): 2 satni i minutni podseti Temperatura električnog transformatora (ETT) (Zhou et al., 2021), električna energija (Trindade, 2015), saobraćaj (California Department of Transportation, 2024), Vrijeme (Max Planck Institute for Biogeochemistry, 2024), grip-like bolesti (ILI) (Centers for Disease Control and Prevention, 2024), i razmjena stopa (Lai et al., 2018). Informer long-horizon forecasting datasets (Godahewa et al., 2021) je zbirka 58 javno dostupnih skupova podataka o predviđanju kratkog horizonta sa ukupno preko 100K vremenskih serija, koje obuhvaćaju razne domene i vremenske rezolucije. Monash time series forecasting archive (Dau et al., 2018) sastoji se od 159 dataseta vremenske serije koji se često koriste za referentne algoritme klasifikacije (Ismail Fawaz et al., 2019). Ovi dataseti koji pripadaju sedam različitih kategorija (Image Outline, Sensor Readings, Motion Capture, Spectrographs, ECG, Electric Devices, and Simulated Data), znatno se razlikuju u smislu broja klasa i veličine treninga. UCR/UEA classification archive (Paparrizos et al., 2022b) je nedavna zbirka 1980 univariate vremenske serije sa označenim anomalijama iz 18 skupova podataka za otkrivanje anomalija predloženih u protekloj dekadi. Ova zbirka uključuje i sintetičke i stvarne vremenske serije koje potječu iz širokog spektra izvora kao što su ljudsko tijelo, svemirski brodovi, okoliš i web servisi. TSB-UAD anomaly benchmark Mi pažljivo podijeliti svaki skup podataka u disjoint obuke, validacije, i test podjele, na osnovu podjela navedenih od strane kreatora podataka. Kada ti podjele nisu dostupni, mi slučajno uzorkovati 60% podataka za obuku, 10% za validaciju, i 30% za testiranje. Dugo-horizontalne predviđanja i detekcije anomalija skupova podataka su obično duge vremenske serije, koje su podijeljene horizontalno kao što je prikazano na Slika 2. Naprotiv, kratko-horizontalne predviđanja i klasifikacije skupova podataka često sadrže više kratkih vremenskih serija. Za ove skupove podataka, kompletni vremenski niz je ili obuka, validacija, ili testiranje. Koristimo istu slučajno sjeme, postavljen na 13, tokom naših eksperimenata, od pred-tr Minimizing data contamination using careful train-test splitting. 3.2 Model arhitekture Naš transformatorski kodirnik zadržava modifikacije koje je predložio Raffel et al. (2020) na originalni Transformer (Vaswani et al., 2017). Konkretno, uklanjamo aditivnu predrasudu iz Layer Norm (Ba et al., 2016), i stavimo je ispred preostalih skakanja veza (He et al., 2016), i koristimo shemu pozicioniranja odnosa (Shaw et al., 2018). Ispod sažimamo intuiciju iza nekih naših ključnih odluka o dizajnu. Vremenske serije variraju po dužini, broju kanala, amplitudama i vremenskim rezolucijama. Mi rješavamo varijabilnu dužinu ograničavanjem ulaza MOMENT-a na univarijatu vremensku seriju fiksne dužine T = 512. Kao što je uobičajena praksa, mi podizgledamo duže vremenske serije, a padamo kraće s nuli na levoj strani.[2] Osim toga, segmentiranje vremenskih serija u patčeve kvadrativno smanjuje pametni otisak MOMENT-a i računarsku složenost, i linearno povećava dužinu vremenskih serija koje može uzeti kao ulaz. Mi viševarijastične vremenske serije samostalno radimo na svakom kanalu duž dimenzije partije. Kao i nedavne studi Handling varying time series characteristics. Blisko praćenje dizajna transformatora u jezičnom domenu omogućuje nam da iskoristimo njihove skalabilne i efikasne implementacije (npr. gradientno kontrolno označavanje, obuka mešovite preciznosti). Intentionally simple encoder. Koristimo laganu glavu za predviđanje umesto dekodera iste veličine kao i koder, kako bismo omogućili potrebne arhitektonske modifikacije za zadatkovno specifično fino podešavanje ograničenog broja parametara koji se mogu obučiti, a istovremeno zadržali većinu parametara i značajke visokog nivoa koje je koder naučio. Light-weight prediction head. 3.3. pre-trening koristeći Masked Time serije Modeliranje Pre-treniramo MOMENT koristeći zadatak modeliranja maskovane vremenske serije. Slika 3 prikazuje pregled našeg postupka pre-treniranja. Tokom treninga, prvo maskiramo mali broj patch-a ujednačeno slučajno zamenom njihovih patch embeddings sa ugradnjom maske koja se može naučiti [MASK]. Korumpirane vremenske serije patches se zatim unose u transformatorski koder kako bi naučili predstavke patch-a, koje se koriste za rekonstrukciju izvorne vremenske serije pomoću lagane rekonstrukcijske glave. Cilj pre-treninga je da se minimalizuje maskovana greška rekonstrukcije, tj. Mean Square Error između podzemne istine i predviđanja, prosječno preko maskovanih patch-ova. Pre-train tri različite veličine MOMENT, otprilike odgovara veličini kodera u T5-Small, Base, i Veliki. Konkretno, baza (Mala, Velika) model koristi 12 (6, 24) sloj Transform sa skrivenim dimenzijama veličine D = 768 (512, 1024), 12 Pre-training Setup. (8, 16) glave pažnje i mreže za napajanje veličine 3072 (2048, 4096), što rezultira otprilike 125 (40, 385) miliona parametara. Sve težine su slučajno inicijalizirane prije pre-treninga. Svi modeli uzimaju ulaznu vremensku seriju dužine T = 512, razbijajući je u N = 64 disjoint patches dužine P = 8. Jednostavno maskiramo 30% patches tokom pre-treninga. 3.4.Fine-tuning na zadatke u dolje MOMENT se može besprijekorno koristiti za višestruke zadatke analize vremenske serije. U ovom radu, mi uzimamo kao primere 5 praktičnih zadataka analize vremenske serije, naime: predviđanje dugog i kratkog horizonta, klasifikacija, otkrivanje anomalija i imputacija. Za predviđanje zadataka s horizontom H, zamijenimo glavu rekonstrukcije predviđanjem, koja prvo izravna sve N-D-dimenzionalne patch ugrađivanja u N × D-dimenzionalni vektor, a zatim ga projicira u H-dimenzionalnu vremensku seriju putem linearnog projekcijskog sloja. Za sve druge zadatke zadržavamo glavu rekonstrukcije. Pružamo detaljne opise svakog zadatka i konfiguracije MOMENT-a u 
 
 
 
 
 
 
 
 Autori : (1) Mononito Goswami, Auton Lab, Robotics Insititute, Carnegie Mellon University, Pittsburgh, SAD (mgoswami@andrew.cmu.edu) (2) Konrad Szafer, Autonomna laboratorija, Institut za robotiku, Carnegie Mellon University, Pittsburgh, SAD, sa jednakim doprinosom, naređenje odlučeno pomoću slučajnog generatora; (3) Arjun Choudhry, Autonomna laboratorija, Institut za robotiku, Carnegie Mellon University, Pittsburgh, SAD, uz jednak doprinos, naređenje odlučeno pomoću slučajnog generatora; (4) Yifu Cai, Auton Lab, Institut za robotiku, Carnegie Mellon University, Pittsburgh, SAD; (5) Shuo Li, Univerzitet u Pensilvaniji, Filadelfia, SAD; Artur Dubrawski, Autonomna laboratorija, Institut za robotiku, Carnegie Mellon University, Pittsburgh, SAD. Authors: (1) Mononito Goswami, Auton Lab, Robotics Insititute, Carnegie Mellon University, Pittsburgh, SAD (mgoswami@andrew.cmu.edu) (2) Konrad Szafer, Autonomna laboratorija, Institut za robotiku, Carnegie Mellon University, Pittsburgh, SAD, sa jednakim doprinosom, naređenje odlučeno pomoću slučajnog generatora; (3) Arjun Choudhry, Autonomna laboratorija, Institut za robotiku, Carnegie Mellon University, Pittsburgh, SAD, uz jednak doprinos, naređenje odlučeno pomoću slučajnog generatora; (4) Yifu Cai, Auton Lab, Institut za robotiku, Carnegie Mellon University, Pittsburgh, SAD; (5) Shuo Li, Univerzitet u Pensilvaniji, Filadelfia, SAD; Artur Dubrawski, Autonomna laboratorija, Institut za robotiku, Carnegie Mellon University, Pittsburgh, SAD. 
 
 Ovaj dokument je dostupan na archiv pod licencom CC BY 4.0 DEED. Ovaj dokument je dostupan na archiv pod licencom CC BY 4.0 DEED. Dostupno u Arhivu [2] Otkrili smo da velika većina klasifikacijskih skupova podataka ima vremenske serije kraće od 512. [4] https://cloud.google.com/tpu/docs/ bfloat16

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

REINFORCEMENT . tech

Leading research and publication in advancing reinforcement machine learning, shaping intelligent systems & automation.

Reinforcement's blog

Ovaj audio je proizveden na originalnom jeziku priče!

Kako obučiti AI da razumije vreme? sa ogromnom gomilom podataka.

About Author

KOMENTARI

HANG TAGS

OVAJ ČLANAK JE PREDSTAVLJEN U

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps