Tabel dari kiri Abstrak dan Introduksi 1. 
 
 
 
 
 
 
 Related Work 
 
 Methodology 
 
 Experimental Setup and Results 
 
 Conclusion and Future Work Pengakuan Pernyataan Reproduksi Pernyataan dampak, dan referensi 3) Metodologi Pertama, kami mengumpulkan sejumlah besar data seri waktu publik ke dalam dan kemudian menggunakannya untuk pra-latihan a Pada the Kami membahas masing-masing langkah ini dalam bagian berikut. Time Series Pile transformer model masked time series prediction task 3.1.3 Serangkaian Pile Tidak seperti pemrosesan bahasa alami dan penglihatan komputer, di mana dataset skala besar seperti The Pile (Gao et al., 2020) dan ImageNet-1K (Russakovsky et al., 2015) mudah tersedia untuk pra-latihan, dataset rangkaian waktu publik jauh lebih kecil, tersebar, dan sebagian besar spesifik untuk tugas (Ma et al., 2023; Zhou et al., 2023; Gruver et al., 2023). Untuk memecahkan kesenjangan ini, kami mengumpulkan beberapa rangkaian waktu dari 4 repositori publik khusus untuk tugas, yang banyak digunakan, menghasilkan sejumlah besar rangkaian waktu yang mencakup berbagai domain, dan karakteristik rangkaian waktu seperti panjang, amplitudo, dan resolusi waktu. (Zhou et al., 2021) adalah koleksi 9 dataset yang banyak digunakan untuk mengevaluasi kinerja prediksi jangka panjang (Wu et al., 2023; Nie et al., 2023; Challu et al., 2023): 2 subset jam dan menit dari Temperatur Transformer Listrik (ETT) (Zhou et al., 2021), Listrik (Trindade, 2015), lalu lintas (Departemen Transportasi California, 2024), Cuaca (Max Planck Institute for Biogeochemistry, 2024), Penyakit serupa Flu (ILI) (Centers for Disease Control and Prevention, 2024), dan Exchange-rate (Lai et al., 2018). Informer long-horizon forecasting datasets (Godahewa et al., 2021) adalah koleksi 58 dataset prediksi cakrawala pendek yang tersedia secara publik dengan total lebih dari 100K seri waktu, mencakup berbagai domain dan resolusi waktu. Monash time series forecasting archive (Dau et al., 2018) terdiri dari 159 dataset seri waktu yang sering digunakan untuk membandingkan algoritma klasifikasi (Ismail Fawaz et al., 2019). Dataset ini milik tujuh kategori yang berbeda (Image Outline, Sensor Readings, Motion Capture, Spectrographs, ECG, Electric Devices, dan Simulated Data), bervariasi secara substansial dalam hal jumlah kelas dan ukuran set pelatihan. UCR/UEA classification archive (Paparrizos et al., 2022b) adalah koleksi terbaru dari serangkaian waktu univariate 1980 dengan anomali yang ditandai dari 18 dataset deteksi anomali yang diusulkan selama dekade terakhir. TSB-UAD anomaly benchmark Kami dengan hati-hati membagi setiap dataset ke dalam pelatihan disjoint, validasi, dan test splits, berdasarkan splits yang ditentukan oleh pembuat data. Ketika splits ini tidak tersedia, kami secara acak mengambil sampel 60% dari data untuk pelatihan, 10% untuk validasi, dan 30% untuk pengujian. Long-horizon prediksi dan deteksi anomali dataset biasanya serangkaian waktu panjang, yang dibagi secara horisontal seperti yang ditunjukkan pada Gambar 2. Sebaliknya, dataset prediksi dan klasifikasi jangka pendek sering mengandung serangkaian waktu pendek ganda. Untuk dataset ini, serangkaian waktu lengkap adalah pelatihan, validasi, atau pengujian. Kami menggunakan benih acak yang sama, diatur ke 13, sepanjang percobaan kami, dari pra-pelatihan ke evaluasi turun, sehingga memastikan bahwa MOMENT hanya mengamati pembagian pelatihan dataset selama pra-pelatihan Minimizing data contamination using careful train-test splitting. 3.2 Model Arsitektur Transformer encoder kami mempertahankan modifikasi yang diusulkan oleh Raffel et al. (2020) untuk Transformer asli (Vaswani et al., 2017). Secara khusus, kami menghapus bias additif dari Layer Norm (Ba et al., 2016), dan meletakkannya sebelum koneksi tabrakan sisa (He et al., 2016), dan menggunakan skema embedding posisial hubungan (Shaw et al., 2018). Di bawah ini kami meringkas intuisi di balik beberapa keputusan desain utama kami. Serangkaian waktu bervariasi dalam panjang, jumlah saluran, amplitudo, dan resolusi waktu. Kami menangani panjang variabel dengan membatasi input MOMENT ke serangkaian waktu univariate dengan panjang tetap T = 512. Seperti praktek umum, kami sub-monitor serangkaian waktu yang lebih panjang, dan pad yang lebih pendek dengan nol di kiri.[2] Selain itu, segmentasi serangkaian waktu menjadi patch secara kuadratik mengurangi jejak memori dan kompleksitas komputasi MOMENT, dan secara linear meningkatkan panjang serangkaian waktu yang dapat digunakan sebagai input. Kami melakukan serangkaian waktu multi-variabel dengan beroperasi secara independen di setiap saluran di sepanjang dimensi batch. Seperti penelitian terbaru (Zhou et al., 2023; Nie et al., 2023), kami menemukan bahwa pemodelan setiap saluran secara independen merupakan strategi yang efektif untuk memodelkan serangkaian waktu multiv Handling varying time series characteristics. Mendekati desain transformator dalam domain bahasa memungkinkan kami untuk memanfaatkan implementasi yang dapat diperluas dan efisien (misalnya, gradient checkpointing, pelatihan presisi campuran). Intentionally simple encoder. Kami menggunakan kepala prediksi ringan alih-alih decoder dengan ukuran yang sama dengan encoder, untuk memungkinkan modifikasi arsitektur yang diperlukan untuk penyesuaian spesifik tugas dari sejumlah terbatas parameter yang dapat dilatih sambil menjaga sebagian besar parameter dan fitur tingkat tinggi yang dipelajari oleh encoder tetap utuh. Light-weight prediction head. 3.3 Pre-training menggunakan Masked Time series Modeling Kami pra-latihan MOMENT menggunakan tugas pemodelan seri waktu yang disamarkan. Gambar 3 menyajikan gambaran tentang prosedur pra-latihan kami. Selama pelatihan, kami pertama kali menyamarkan sejumlah kecil patch secara seragam secara acak dengan mengganti embeddings patch mereka dengan embedding masker yang dapat dipelajari [MASK]. Patch seri waktu yang rusak kemudian dimasukkan ke dalam encoder transformator untuk mempelajari representasi patch, yang digunakan untuk membangun kembali seri waktu asli menggunakan kepala rekonstruksi ringan. Tujuan pra-pelatihan adalah untuk meminimalkan kesalahan rekonstruksi disamarkan yaitu Kesalahan persegi rata-rata antara kebenaran dasar dan prediksi, rata-rata di atas patch yang disamarkan. Kami mempersiapkan tiga ukuran yang berbeda dari MOMENT, kira-kira sesuai dengan ukuran encoder di T5-Small, Base, dan Large. Secara khusus, model Base (Small, Large) menggunakan lapisan Transform 12 (6, 24) dengan dimensi tersembunyi ukuran D = 768 (512, 1024), 12 Pre-training Setup. (8, 16) kepala perhatian, dan jaringan feed-forward dari ukuran 3072 (2048, 4096), menghasilkan sekitar 125 (40, 385) juta parameter. Semua beban dimulai secara acak sebelum pra-latihan. Semua model mengambil serangkaian waktu input panjang T = 512, memecahkannya menjadi N = 64 patch disjoint panjang P = 8. Kami menyamarkan 30% dari patch secara acak selama pra-latihan. Fine-tuning pada Tugas Downstream MOMENT dapat digunakan dengan lancar untuk tugas analisis beberapa seri waktu. Dalam pekerjaan ini, kami mempertimbangkan 5 tugas analisis seri waktu praktis sebagai contoh, yaitu: prediksi jangka panjang dan pendek, klasifikasi, deteksi anomali, dan imputasi. Untuk tugas prediksi dengan horizon H, kami menggantikan kepala rekonstruksi dengan kepala prediksi, yang pertama-tama melipatgandakan semua patch N-D-dimensional ke dalam vektor dimensi N × D, dan kemudian memproyeksikannya ke dalam rangkaian waktu H-dimensional melalui lapisan proyeksi linear. 
 
 
 
 
 
 
 
 Penulis : (1) Mononito Goswami, Auton Lab, Robotics Insititute, Carnegie Mellon University, Pittsburgh, Amerika Serikat (mgoswami@andrew.cmu.edu) (2) Konrad Szafer, Autonom Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, Amerika Serikat, dengan kontribusi yang sama, perintah memutuskan menggunakan generator acak; (3) Arjun Choudhry, Auton Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, Amerika Serikat, dengan kontribusi yang sama, perintah memutuskan menggunakan generator acak; (4) Yifu Cai, Auton Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, Amerika Serikat; (5) Shuo Li, Universitas Pennsylvania, Philadelphia, AS; (6) Artur Dubrawski, Auton Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, Amerika Serikat. Authors: (1) Mononito Goswami, Auton Lab, Robotics Insititute, Carnegie Mellon University, Pittsburgh, Amerika Serikat (mgoswami@andrew.cmu.edu) (2) Konrad Szafer, Autonom Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, Amerika Serikat, dengan kontribusi yang sama, perintah memutuskan menggunakan generator acak; (3) Arjun Choudhry, Auton Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, Amerika Serikat, dengan kontribusi yang sama, perintah memutuskan menggunakan generator acak; (4) Yifu Cai, Auton Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, Amerika Serikat; (5) Shuo Li, Universitas Pennsylvania, Philadelphia, AS; (6) Artur Dubrawski, Auton Lab, Robotics Institute, Carnegie Mellon University, Pittsburgh, Amerika Serikat. 
 
 Dokumen ini tersedia di archiv di bawah lisensi CC BY 4.0 DEED. Dokumen ini tersedia di archiv di bawah lisensi CC BY 4.0 DEED. Tersedia di Arsip [2] Kami menemukan sebagian besar dataset klasifikasi memiliki rangkaian waktu yang lebih pendek dari 512.Selain itu, jendela retrospektif panjang 512 ditemukan cukup untuk memprediksi jangka panjang yang akurat (Nie et al., 2023). [4] https://cloud.google.com/tpu/docs/ bfloat16

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

REINFORCEMENT . tech

Leading research and publication in advancing reinforcement machine learning, shaping intelligent systems & automation.

Reinforcement's blog

Audio ini diproduksi dalam bahasa asli cerita!

Bagaimana Anda melatih AI untuk memahami waktu? dengan tumpukan data raksasa.

About Author

KOMENTAR

HANG TAG

ARTIKEL INI DISAJIKAN PADA

Related Stories

NIGHT (continued)

PROMISES FULFILLED.

Stocks will be More Profitable than Crypto - Interview With Bryan Applegate

A Beginner’s Guide to Blockchain Programming

NIGHT (continued)

PROMISES FULFILLED.

Stocks will be More Profitable than Crypto - Interview With Bryan Applegate

A Beginner’s Guide to Blockchain Programming

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps