Stůl vlevo Abstrakt a 1. úvod 
 
 
 
 
 
 
 Related Work 
 
 Methodology 
 
 Experimental Setup and Results 
 
 Conclusion and Future Work uznání Prohlášení o reprodukovatelnosti Prohlášení o dopadu a reference 3 Metodologie Nejprve shromažďujeme velké množství veřejných časových sériových dat do a pak jej použijte k předběžnému tréninku a Na The O každém z těchto kroků budeme hovořit v následujících kapitolách. Time Series Pile transformer model masked time series prediction task 3.1 Časová série Pile Na rozdíl od zpracování přirozeného jazyka a počítačového vidění, kde jsou velkoplošné datové sady, jako je The Pile (Gao et al., 2020) a ImageNet-1K (Russakovsky et al., 2015) snadno dostupné pro předškolení, jsou datové sady veřejných časových řad mnohem menší, rozptýlené a do značné míry specifické pro úkoly (Ma et al., 2023; Zhou et al., 2023; Gruver et al., 2023). Chceme-li tuto mezeru překlenout, shromažďujeme více časových řad ze 4 úkolově specifických, široce používaných veřejných úložišť, což vede k velkému počtu časových řad pokrývajících různé domény a charakteristiky časových řad, jako jsou délky, (Zhou et al., 2021) je sbírka 9 datových souborů, které se široce používají k vyhodnocení dlouhodobých předpovědí výkonu (Wu et al., 2023; Nie et al., 2023; Challu et al., 2023): 2 hodinové a minutové podsoubory teploty elektrického transformátoru (ETT) (Zhou et al., 2021), elektřiny (Trindade, 2015), dopravy (California Department of Transportation, 2024), počasí (Max Planck Institute for Biogeochemistry, 2024), onemocnění podobného chřipce (ILI) (Centers for Disease Control and Prevention, 2024), a výměnné sazby (Lai et al., 2018). Informer long-horizon forecasting datasets (Godahewa et al., 2021) je sbírka 58 veřejně dostupných datových souborů pro předpovídání krátkého horizontu s celkovým počtem více než 100 000 časových sérií, pokrývajících různé domény a časové rozlišení. Monash time series forecasting archive (Dau et al., 2018) se skládá ze 159 datových souborů časových sérií, které se často používají pro referenční algoritmy klasifikace (Ismail Fawaz et al., 2019). Tyto datové soubory patřící do sedmi různých kategorií (Obsah obrazu, čtení senzoru, zachycení pohybu, spektrografy, EKG, elektrická zařízení a simulovaná data), se značně liší z hlediska počtu tříd a velikosti školicího souboru. UCR/UEA classification archive (Paparrizos et al., 2022b) je nedávná sbírka univariátních časových řad 1980 s označenými anomáliemi z 18 datových souborů detekce anomálií navržených v uplynulém desetiletí. TSB-UAD anomaly benchmark Každý datový soubor jsme pečlivě rozdělili na rozdělené školení, validace a testovací rozdělení na základě rozdělení stanovených tvůrci dat. Když tyto rozdělení nejsou k dispozici, náhodně vzorkujeme 60% dat pro školení, 10% pro validace a 30% pro testování. Dlouhodobé předpovědi a datové soubory pro detekci anomálií jsou obvykle dlouhé časové řady, které jsou rozděleny horizontálně, jak je znázorněno na obrázku 2. Naopak, krátkodobé předpovědi a datové soubory pro klasifikaci často obsahují více krátkých časových řad. Pro tyto datové soubory je kompletní časová řada buď školení, validace nebo testování. V průběhu našich experimentů používáme stejné náhodné semeno Minimizing data contamination using careful train-test splitting. 3.2 Modelová architektura Náš kódovač transformátoru si zachovává změny navržené Raffel et al. (2020) k původnímu Transformeru (Vaswani et al., 2017). Konkrétně odstraňujeme aditivní předsudek z normy vrstvy (Ba et al., 2016), a umístíme jej před zbývajícími spojeními (He et al., 2016), a použijeme schéma relačního pozičního vkládání (Shaw et al., 2018). Níže shrnujeme intuici za některými z našich klíčových návrhových rozhodnutí. Časové řady se liší v délce, počtu kanálů, amplitudách a časovém rozlišení. Variabilní délku řešíme omezením vstupu MOMENTu na univariátní časovou řadu pevné délky T = 512. Jak je běžná praxe, sub-vzorkujeme delší časové řady a padáme kratší s nulami na levé straně.[2] Kromě toho segmentace časové řady do patchů čtvercově snižuje paměťovou stopu a výpočetní složitost MOMENTu a lineárně zvyšuje délku časové řady, kterou může brát jako vstup. My multi-variátní časové řady samostatně provozováním na každém kanálu podél batchové dimenze. Stejně jako nedávné studie (Zhou et al., 2023 Handling varying time series characteristics. Úzké sledování designu transformátorů v jazykové oblasti nám umožňuje využít jejich škálovatelné a efektivní implementace (např. gradientní kontrolní bodování, školení se smíšenou přesností). Intentionally simple encoder. Používáme lehkou předpovědní hlavu namísto dekodéru stejné velikosti jako kodér, abychom umožnili potřebné architektonické úpravy pro úkolově specifické jemné nastavení omezeného počtu trénovatelných parametrů při zachování většiny parametrů a funkcí vysoké úrovně, které kodér naučil, neporušené. Light-weight prediction head. 3.3 Pre-trénink pomocí maskovaného času modelování série 3 představuje přehled našeho postupu předškolení. Během školení nejprve maskujeme malý počet náplastí rovnoměrně náhodně nahrazením jejich vložek náplastí s učitelným vložkem masky [MASK]. Poškozené náplasti časové řady jsou poté podávány do kódovače transformátoru, aby se naučily zastoupení náplastí, které se používají k rekonstrukci původní časové řady pomocí lehké rekonstrukční hlavy. Cílem předškolení je minimalizovat maskovanou chybu rekonstrukce, tj. Střední čtvercovou chybu mezi podkladovou pravdou a předpovědí, průměrnou nad maskovanými náplasti. Předběžně trénujeme tři různé velikosti MOMENTu, přibližně odpovídající velikostem kódů v T5-Small, Base a Large. Konkrétně model Base (Small, Large) používá vrstvu Transform 12 (6, 24) se skrytými rozměry velikosti D = 768 (512, 1024), 12 Pre-training Setup. (8, 16) pozornost hlavy a napájecí sítě velikosti 3072 (2048, 4096), což má za následek přibližně 125 (40, 385) milionů parametrů. Všechny váhy jsou náhodně inicializovány před předškolním tréninkem. Všechny modely mají vstupní časovou sérii délky T = 512, rozdělení na N = 64 disjoint patches délky P = 8. Maskujeme 30% patchů rovnoměrně náhodně během předškolního tréninku. Fine-tuning na downstreamových úkolech MOMENT lze bezproblémově použít pro úkoly analýzy více časových řad. V této práci považujeme 5 praktických úkolů analýzy časových řad za příklady, a to: předpovídání dlouhých a krátkých horizontů, klasifikace, detekce anomálií a imputace. Pro předpovídání úkolů s horizontem H nahrazujeme hlavu rekonstrukce předpovědní hlavou, která nejprve vyrovnává všechna N-D-dimenzionální patchová vkládání do N × D-dimenzionálního vektoru a poté ji projektuje do H-dimenzionální časové řady prostřednictvím lineární projekční vrstvy. 
 
 
 
 
 
 
 
 Autoři : (1) Mononito Goswami, Auton Lab, Robotics Insititute, Carnegie Mellon University, Pittsburgh, USA (mgoswami@andrew.cmu.edu) (2) Konrad Szafer, Autonomous Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, USA, se stejným příspěvkem, pořadí rozhodnuto pomocí náhodného generátoru; (3) Arjun Choudhry, Autonomous Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, USA, se stejným příspěvkem, pořadí rozhodnuto pomocí náhodného generátoru; (4) Yifu Cai, Auton Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, USA; (5) Shuo Li, University of Pennsylvania, Philadelphia, USA; Artur Dubrawski, Autonomní laboratoř, Institut robotiky, Carnegie Mellon University, Pittsburgh, USA Authors: (1) Mononito Goswami, Auton Lab, Robotics Insititute, Carnegie Mellon University, Pittsburgh, USA (mgoswami@andrew.cmu.edu) (2) Konrad Szafer, Autonomous Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, USA, se stejným příspěvkem, pořadí rozhodnuto pomocí náhodného generátoru; (3) Arjun Choudhry, Autonomous Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, USA, se stejným příspěvkem, pořadí rozhodnuto pomocí náhodného generátoru; (4) Yifu Cai, Auton Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, USA; (5) Shuo Li, University of Pennsylvania, Philadelphia, USA; Artur Dubrawski, Autonomní laboratoř, Institut robotiky, Carnegie Mellon University, Pittsburgh, USA 
 
 Tento dokument je k dispozici v archivu pod licencí CC BY 4.0 DEED. Tento dokument je k dispozici v archivu pod licencí CC BY 4.0 DEED. Dostupné v archivu [2] Zjistili jsme, že velká většina datových souborů klasifikace má časové řady kratší než 512. Kromě toho bylo zjištěno, že prohlížeč o délce 512 je dostatečný pro přesné předpovědi dlouhého horizontu (Nie et al., 2023). [4] https://cloud.google.com/tpu/docs/ bfloat16

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

REINFORCEMENT . tech

Leading research and publication in advancing reinforcement machine learning, shaping intelligent systems & automation.

Reinforcement's blog

Tento zvuk je produkován v původním jazyce příběhu!

Jak trénovat AI, aby pochopil čas? s obří hromadou dat.

About Author

KOMENTÁŘE

ZAVĚŠIT ZNAČKY

TENTO ČLÁNEK BYL PŘEDSTAVEN V

Related Stories

Coinshift Launches csUSDL, Announces Strategic Partnerships

Coinshift Launches csUSDL, Announces Strategic Partnerships

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps