Ny toeranao ery amin'ny ankavia Abstract sy fampidirana 1. 
 
 
 
 
 
 
 Related Work 
 
 Methodology 
 
 Experimental Setup and Results 
 
 Conclusion and Future Work Ny fankatoavana Fanehoan-kevitra momba ny famerenana Fanehoan-kevitra momba ny fiantraikany sy ny fanehoan-kevitra Ny fomba fanao Voalohany indrindra dia manangona angon-drakitra isan-karazany amin'ny vanim-potoana ho an'ny Ary avy eo dia mampiasa izany ho an'ny fampiofanana a Ao amin'ny Hiresaka momba ny tsirairay amin'ireo dingana ireo izahay ao amin'ny fizarana manaraka. Time Series Pile transformer model masked time series prediction task 3.1. ny fotoana sarimihetsika Pile Tsy mitovy amin'ny famoahana ny fiteny voajanahary sy ny fahitana amin'ny solosaina, izay ahitana angon-drakitra lehibe toy ny The Pile (Gao et al., 2020) sy ImageNet-1K (Russakovsky et al., 2015) dia mora ampiasaina ho an'ny fampiofanana alohan'ny fampiofanana, ny angon-drakitra isan-karazany ho an'ny vahoaka dia kely kokoa, be dia be, ary be dia be dia be amin'ny asa manokana (Ma et al., 2023; Zhou et al., 2023; Gruver et al., 2023). Mba hampitomboana ity fahasamihafana ity, dia manangona isan-karazany isan-karazany amin'ny fametrahana asa, fampiasana ankapobeny, izay mahatonga ny isan-karazany ho an'ny isan (Zhou et al., 2021) dia fanangonana angon-drakitra 9 izay ampiasaina amin'ny ankapobeny amin'ny fanombanana ny fahombiazan'ny famantarana amin'ny lafiny lava (Wu et al., 2023; Nie et al., 2023; Challu et al., 2023): 2 ora sy minitra subset ny Electricity Transformer Temperature (ETT) (Zhou et al., 2021), Electricity (Trindade, 2015), Traffic (California Department of Transportation, 2024), Weather (Max Planck Institute for Biogeochemistry, 2024), Influenza-like Disease (ILI) (Centers for Disease Control and Prevention, 2024), ary Exchange-rate (Lai et al., 2018). Informer long-horizon forecasting datasets (Godahewa et al., 2021) dia fanangonana angon-drakitra 58 azo jerena ho an'ny daholobe amin'ny fandaharam-potoana fohy amin'ny ankapobeny mihoatra ny 100K fe-potoana, ahitana sehatra samihafa sy fanapahan-kevitry ny fotoana. Monash time series forecasting archive (Dau et al., 2018) dia ahitana datasets datasets 159 izay matetika ampiasaina amin'ny algorithm classification benchmarking (Ismail Fawaz et al., 2019). Ireo datasets mifanaraka amin'ny sokajy fito samihafa (Image Outline, Sensor Readings, Motion Capture, Spectrographs, ECG, Electric Devices, ary Simulated Data), dia miova be eo amin'ny isan'ny kilasy sy ny habetsaky ny fampiofanana. UCR/UEA classification archive (Paparrizos et al., 2022b) dia fanangonana vao haingana avy amin'ny 1980 univariate vanim-potoana miaraka amin'ny marika anomaly avy amin'ny 18 anomaly fikarohana dataset nanolotra nandritra ny folo taona lasa. Ity fanangonana ity dia ahitana ny synthesis sy ny tena-tany vanim-potoana sarimihetsika avy amin'ny loharanom-baovao maro toy ny vatana olombelona, sambo, tontolo iainana, sy ny tranonkala serivisy. TSB-UAD anomaly benchmark Isika dia manara-maso ny isan'ny angon-drakitra ho amin'ny fampiofanana disjoint, validation, sy ny fanandramana splits, miorina amin'ny splits voafaritra amin'ny angon-drakitra mpamorona. Rehefa tsy misy ireo splits ireo, dia tsy ampoizina ny 60% ny angon-drakitra ho an'ny fampiofanana, 10% ho an'ny validation, ary 30% ho an'ny fanandramana. Long-horizon prediction sy ny anomaly detection datasets dia matetika fotoana lava serasera, izay voafetra eo amin'ny lalana araka ny hita ao amin'ny sary. 2. Inversely, fohy-horizon prediction sy ny famaritana datasets matetika ahitana fotoana fohy serasera maro. Ho an Minimizing data contamination using careful train-test splitting. 3.2 Ny fomba fiasan'ny rafitra Ny transformer encoder dia mitazona ny fanitsiana voalaza tamin'ny Raffel et al. (2020) ho an'ny Transformer voalohany (Vaswani et al., 2017). Amin'ny ankapobeny, dia manala ny fitsipika fanampiny avy amin'ny Layer Norm (Ba et al., 2016), ary mametraka azy eo anatrehan'ny fifandraisana sisa (He et al., 2016), ary mampiasa ny rafitra fitsipika ho an'ny toerana (Shaw et al., 2018). Eto ambany dia manangona ny fahatsapana etsy ambony amin'ny fanapahan-kevitra fototra. Mifanaraka amin'ny faharetan'ny, ny isan'ny fantsona, ny habetsaky ny, ary ny fanapahan-kevitry ny fotoana. Mifanaraka amin'ny faharetan'ny variable isika amin'ny fametrahana ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin'ny fidirana amin Handling varying time series characteristics. Ny fanaraha-maso akaiky ny famolavolana ny transformers ao amin'ny sehatry ny fiteny dia ahafahanay mampiasa ny fampiharana azo ampiharina sy mahomby (ohatra, fanaraha-maso gradient, fampiofanana amin'ny fanamafisana mazava). Intentionally simple encoder. Mampiasa loharanom-potoana tsotra isika fa tsy decoder mitovy amin'ny habetsaky ny encoder, mba ahafahan'ny fanitsiana ara-panorenana ilaina ho an'ny asa manokana fanamafisana ny isan'ny marika voafehin'ny fampiofanana, raha mbola mitazona ny ankamaroan'ny parametra sy ny endri-javatra ambony nampianarana ny encoder tsy voafehin'ny. Light-weight prediction head. 3.3. fampiofanana mialoha amin'ny fampiasana Masked Time Series Modeling Amin'ny alàlan'ny fampiofanana, isika dia manamboatra MOMENT mialoha amin'ny fampiasana ny asa famolavolana sarin'ny fotoana. Ny sary 3 dia manolotra fanazavana momba ny dingana fampiofanana alohan'ny fampiofanana. Nandritra ny fampiofanana, dia manamboatra sarin'ny sarin'ny fotoana kely isika voalohany amin'ny alàlan'ny fanovana ny patch amin'ny alalan'ny fanovana ny patch embeddings amin'ny masquerade masquerade [MASK]. Ny patch sarin'ny fotoana maharatsy dia voatery ao amin'ny transformer encoder mba hianatra ny patch representations, izay ampiasaina amin'ny famerenana ny sarin'ny fotoana voalohany amin'ny fampiasana loharanom-pahasalamana. Ny tan Mialoha ny fampiofanana telo isan-karazany amin'ny MOMENT, izay mifanaraka amin'ny habetsaky ny encoder ao amin'ny T5-Small, Base, ary Large. Amin'ny ankapobeny, ny Basic (Small, Large) modely dia mampiasa 12 (6, 24) layer Transform miaraka amin'ny habetsaky ny D = 768 (512, 1024), 12 Pre-training Setup. (8, 16) ny lohan'ny fijerena, ary ny tambajotra fidiram-bola amin'ny habetsaky ny 3072 (2048, 4096), izay mitarika ho eo amin'ny 125 (40, 385) tapitrisa parameter. Ny lanjany rehetra dia voasokafana alohan'ny fampiofanana alohan'ny fampiofanana. Ny modely rehetra dia mandray andian-tsarimihetsika fidiram-potoana amin'ny halavan'ny T = 512, manapaka izany ho an'ny N = 64 disjoint patches amin'ny halavan'ny P = 8. Mamoaka ny 30% amin'ny patches amin'ny halavan'ny fampiofanana alohan'ny fampiofanana. 3.4. Fine-tuning amin'ny Downstream asa MOMENT dia azo ampiasaina tsy tapaka ho an'ny asa fanadihadiana isan-karazany. Ao amin'ity asa ity, dia heverinay ho ohatra ny asa fanadihadiana isan-karazany 5 amin'ny ankapobeny, anisan'izany: fandinihana amin'ny lafiny lava sy lava, famaritana, fanadihadiana amin'ny tsy fahampian'ny toe-javatra ary fampidirana. Ho an'ny asa fanadihadiana amin'ny horonantsary H, dia miova ny lohan'ny fanorenana amin'ny lohan'ny fanadihadiana, izay manome famaritana amin'ny antsipirihany ny patch N-D-dimensional amin'ny vektor N × D-dimensional, ary avy eo dia mandrakotra azy amin'ny lohan'ny fotoana H 
 
 
 
 
 
 
 
 Ny mpanoratra: (1) Mononito Goswami, Auton Lab, Robotics Insititute, Carnegie Mellon University, Pittsburgh, Etazonia (mgoswami@andrew.cmu.edu) (2) Konrad Szafer, Autonomous Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, Etazonia, amin'ny fampindramam-bola mitovy, manapa-kevitra amin'ny fampiasana generator vahiny; (3) Arjun Choudhry, Autonomous Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, Etazonia, amin'ny fampindramam-bola mitovy, manapa-kevitra amin'ny fampiasana generator vahiny; (4) Yifu Cai, Auton Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, Etazonia; (5) Shuo Li, University of Pennsylvania, Philadelphia, Etazonia; Artur Dubrawski, Auto Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, Etazonia. Authors: (1) Mononito Goswami, Auton Lab, Robotics Insititute, Carnegie Mellon University, Pittsburgh, Etazonia (mgoswami@andrew.cmu.edu) (2) Konrad Szafer, Autonomous Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, Etazonia, amin'ny fampindramam-bola mitovy, manapa-kevitra amin'ny fampiasana generator vahiny; (3) Arjun Choudhry, Autonomous Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, Etazonia, amin'ny fampindramam-bola mitovy, manapa-kevitra amin'ny fampiasana generator vahiny; (4) Yifu Cai, Auton Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, Etazonia; (5) Shuo Li, University of Pennsylvania, Philadelphia, Etazonia; Artur Dubrawski, Auto Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, Etazonia. 
 
 Ity lahatsoratra ity dia azo jerena ao amin'ny archiv amin'ny lisansa CC BY 4.0 DEED. Ity lahatsoratra ity dia azo jerena ao amin'ny archiv amin'ny lisansa CC BY 4.0 DEED. Azo jerena ao amin'ny Archive [2] Niseho fa ny ankamaroan'ny famaritana angon-drakitra dia manana fe-potoana farafahakeliny noho ny 512. Ankoatra izany, dia voaporofo fa ampy ny varavarankely amin'ny faharetan'ny 512 ho an'ny famaritana marina amin'ny lafiny lava (Nie et al., 2023). [4] https://cloud.google.com/tpu/docs/ bfloat16 ao amin'ny tranonkala

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

REINFORCEMENT . tech

Leading research and publication in advancing reinforcement machine learning, shaping intelligent systems & automation.

Reinforcement's blog

Ity horonam-peo ity dia novokarina tamin'ny fiteny niandohan'ny tantara!

Ahoana no ahafahan'ny olona manam-pahaizana mahita ny fotoana? amin'ny alalan'ny angon-drakitra goavana.

About Author

COMMENTS

HANG TAGS

ITY ARTICLE ITY NO NARESAKA TAMIN'NY

Related Stories

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps