
 
 
 
 
 
 
 
 
 Gli autori : (1) Ben Cohen (ben.cohen@datadoghq.com) (2) Emmaad Khwaja (emaad@datadoghq.com) (3) Kan Wang (kan.wang@datadoghq.com) (4) Charles Masson (charles.masson@datadoghq.com) (5) Elise Rame (elise.rame@datadoghq.com) (6) Youssef Doubli (youssef.doubli@datadoghq.com) (7) Othmane Abou-Amal (othmane@datadoghq.com) Authors: (1) Ben Cohen (ben.cohen@datadoghq.com) (2) Emmaad Khwaja (emaad@datadoghq.com) (3) Kan Wang (kan.wang@datadoghq.com) (4) Charles Masson (charles.masson@datadoghq.com) (5) Elise Rame (elise.rame@datadoghq.com) (6) Youssef Doubli (youssef.doubli@datadoghq.com) (7) Othmane Abou-Amal (othmane@datadoghq.com) tavolo di sinistra 
 
 
 
 
 
 
 
 
 
 
 Il background Problema dichiarazione Modello di architettura Dati di formazione Risultati Conclusioni Dichiarazione di impatto Le future direzioni contributi Riconoscimenti e referenze Appendice Questo rapporto tecnico descrive il Time Series Optimized Transformer for Observability (Toto), un nuovo modello di base all'avanguardia per la previsione delle serie temporali sviluppato da Datadog. Oltre ad avanzare lo stato dell'arte sui benchmark delle serie temporali generalizzate in domini come l'elettricità e il tempo, questo modello è il primo modello di base per la previsione delle serie temporali a scopo generale ad essere specificamente adattato per le metriche di osservabilità. Toto è stato addestrato su un dataset di un trilione di punti di dati di serie temporale – il più grande tra tutti i modelli di base di serie temporale attualmente pubblicati.Insieme ai dataset di serie temporale disponibili pubblicamente, il 75% dei dati utilizzati per addestrare Toto è composto da punti di dati metrici numerici completamente anonimi dalla piattaforma Datadog. Nei nostri esperimenti, Toto supera i modelli di base di serie temporale esistenti sui dati di osservabilità. Lo fa anche eccellendo nei compiti di previsione a scopo generale, ottenendo prestazioni zero-shot all'avanguardia su più set di dati di riferimento aperti. In questo rapporto dettagliamo i seguenti contributi chiave: Introduciamo un meccanismo di attenzione avanzato che consente l'efficiente raggruppamento di caratteristiche di serie temporali multivariate, riducendo l'overhead computazionale mantenendo al contempo un'alta precisione. • Proportional factorized space-time attention Questo nuovo uso di un modello probabilistico che generalizza in modo robusto i modelli di miscela di Gauss consente a Toto di catturare più accuratamente la complessa dinamica dei dati di serie temporale e fornisce prestazioni superiori rispetto agli approcci tradizionali. • Student-T mixture model head : Oltre ai dati generali di serie temporale multi-dominio, Toto è specificamente pre-addestrato su un dataset su larga scala di metriche di osservabilità di Datadog, che comprende caratteristiche uniche non presenti in dataset open-source. • Domain-specific training data 1 Sfondi Presentiamo Toto, un modello di base pionieristico per la previsione delle serie temporali sviluppato da Datadog. Toto è specificamente progettato per gestire le complessità dei dati di osservabilità, sfruttando un'architettura di trasformatori all'avanguardia per fornire accuratezza e prestazioni senza precedenti. Toto è addestrato su un enorme set di dati di diverse serie temporali, consentendogli di eccellere nelle previsioni zero-shot. Questo modello è progettato per soddisfare i requisiti esigenti di analisi in tempo reale nonché scalabilità computazionale ed efficiente nella memoria per volumi di dati molto grandi, fornendo soluzioni robuste per i dati ad alta frequenza e ad alta dimensione comunemente incontrati nelle metriche di osservabilità. 1.1 Observability data La piattaforma di osservabilità Datadog raccoglie una vasta gamma di metriche su più sottodomini, cruciali per il monitoraggio e l'ottimizzazione delle moderne infrastrutture e applicazioni.Queste metriche includono dati infrastrutturali come l'utilizzo della memoria, il carico della CPU, l'I/O del disco e il rendimento della rete, nonché indicatori di prestazioni delle applicazioni come il numero di colpi, i tassi di errore e Inoltre, Datadog integra metriche specifiche da numerosi prodotti SaaS, servizi cloud, framework open-source e altri strumenti di terze parti.La piattaforma consente agli utenti di applicare vari modelli di serie temporale per avvisare in modo proattivo i comportamenti anomali, portando a una riduzione del tempo di rilevamento (TTD) e del tempo di risoluzione (TTR) degli incidenti di produzione [2]. La complessità e la diversità di queste metriche presentano notevoli sfide per la previsione delle serie temporali. I dati di osservabilità spesso richiedono una risoluzione di tempo elevata, fino a secondi o minuti, ed è tipicamente scarsa con molte metriche a zero gonfi. Inoltre, queste metriche possono mostrare intervalli dinamici estremi e distribuzioni a destra. La natura dinamica e non stazionaria dei sistemi monitorati complica ulteriormente il compito di previsione, richiedendo modelli avanzati che possono adattarsi e funzionare in queste condizioni. 1.2 Traditional models Storicamente, la previsione delle serie temporali si è basata su modelli classici come ARIMA, l'eguagliamento esponenziale e le tecniche di base dell'apprendimento automatico [3]. Mentre fondamentali, questi modelli richiedono una formazione individuale per ciascuna metrica, presentando diverse limitazioni [4]. La necessità di sviluppare e mantenere modelli separati per ciascuna metrica impedisce la scalabilità, soprattutto data l'ampia gamma di metriche nei dati di osservabilità. Inoltre, questi modelli spesso non riescono a generalizzare tra i diversi tipi di metriche, portando a prestazioni subottimali su vari set di dati [5, 6]. Ristrutturazione continua e regolazione per adattarsi ai modelli di dati in evoluzione aumentano ulteriormente l'onere operativo. Questa limitazione della scalabilità ha ostacol 1.3 Foundation models I grandi modelli generativi basati su reti neurali, spesso indicati come "modelli di base", hanno rivoluzionato la previsione delle serie temporali consentendo previsioni accurate su nuovi dati non visti durante l'addestramento, conosciuti come previsioni a scatto zero [8]. Questa capacità riduce significativamente la necessità di un costante ri-addestramento su ciascuna metrica specifica, risparmiando così un considerevole tempo e risorse computazionali. Attraverso la pre-allenamento su diversi set di dati, i modelli generativi mostrano una forte generalizzazione in vari tipi di dati di serie temporale. Ciò migliora la loro robustezza e versatilità, rendendoli adatti per una vasta gamma di applicazioni. Le previsioni a zero colpi sono particolarmente attraenti nel campo dell'osservabilità, dove le limitazioni dei metodi tradizionali si sentono molto acutamente. I casi di utilizzo più comuni per i modelli di serie temporale all'interno di una piattaforma di osservazione come Datadog includono la rilevazione automatizzata di anomalie e l'allarme predittivo. È difficile scalare i metodi di previsione classici per gestire le applicazioni basate sul cloud che possono essere composte da molti componenti ephemerici, dinamicamente scalabili come • In primo luogo, l’elevata cardinalità e il volume dei dati possono rendere costosi o persino intracciabili i modelli individuali adattati a ogni serie di volte.La capacità di formare un singolo modello e di eseguire inferenze su una vasta gamma di domini ha il potenziale per migliorare drasticamente l’efficienza, e quindi la copertura, di un sistema di monitoraggio autonomo. In pratica, i sistemi di allerta algoritmica richiedono spesso un periodo di adattamento di giorni o settimane prima di poter monitorare efficacemente una nuova metrica. Tuttavia, se l'oggetto monitorato è un contenitore con una durata di vita misurata in minuti o ore, questi modelli classici non sono in grado di adattarsi abbastanza rapidamente per essere utili. I sistemi del mondo reale quindi spesso rientrano in euristiche crude, come le allerte basate su soglie, che si basano sulla conoscenza del dominio degli utenti. L'integrazione di modelli basati su trasformatori [11] come Toto nell'analisi dei dati di osservabilità promette quindi miglioramenti significativi nella precisione e nell'efficienza delle previsioni. Questi modelli offrono una soluzione robusta per la gestione di dati diversi e ad alta frequenza e per la fornitura di previsioni zero-shot. 1.4 Recent work Gli ultimi anni hanno visto l'ascesa dei modelli basati su trasformatori come potenti strumenti per la previsione delle serie temporali. Questi modelli sfruttano meccanismi di autoattenzione multi-capo per catturare dipendenze a lungo raggio e modelli complessi nei dati. Per rispondere alle sfide uniche dei dati di serie temporale, i recenti progressi hanno introdotto varie modifiche al meccanismo dell'attenzione. Ad esempio, Moirai [15] utilizza un'attenzione "variabile" alle dipendenze dei modelli in diverse serie contemporaneamente. I meccanismi di attenzione fattorializzati [16] sono stati sviluppati per catturare separatamente le interazioni temporali e spaziali (cross-series), migliorando la capacità di comprendere interdipendenze complesse. Altri modelli [17, 18] hanno utilizzato l'attenzione a canale intermedio in combinazione con le reti di feed-forward per la miscelazione nella dimensione del tempo. Inoltre, la maschera causale [19] e la codifica gerarchica [16] possono migliorare l'efficienza e l'accuratezza Questi innovativi modelli basati su trasformatori hanno dimostrato prestazioni all'avanguardia sui set di dati di riferimento [14], spesso superando i modelli tradizionali in termini di precisione e robustezza.La loro capacità di elaborare in modo efficiente i dati ad alte dimensioni [20] li rende ideali per applicazioni che coinvolgono numerose metriche di serie temporale con caratteristiche diverse, come l'osservabilità. Ancora più recentemente, sono stati rilasciati una serie di “modelli di base” di serie temporale [15, 19, 21-24]. Attraverso la pre-addestramento su ampi set di dati multi-dominio, questi grandi modelli hanno ottenuto impressionanti capacità di previsione zero-shot, riducendo significativamente la necessità di un costante ri-addestramento. Questo paradigma è attraente per il contesto di osservabilità, dove abbiamo costantemente nuove serie temporali da elaborare e il ri-addestramento frequente è impraticabile. 2 Dichiarazione dei problemi A Datadog, i nostri dati di serie temporale comprendono una varietà di metriche di osservabilità provenienti da numerosi sottodomini.Queste metriche presentano diverse sfide per i modelli di previsione esistenti: Gli utenti spesso richiedono dati in incrementi di secondi o minuti, a differenza di molti set di dati di serie temporali disponibili pubblicamente che sono a frequenza oraria o superiore. • High time resolution • di Le metriche, come il conteggio degli errori, spesso tracciano eventi rari, con conseguenti serie temporali scarse e zero. Sparsity • di Le misurazioni di latenza nei sistemi distribuiti mostrano distribuzioni di coda positive e pesanti con valori estremi a percentili elevati. Extreme right skew Il comportamento dei sistemi monitorati cambia frequentemente a causa dei distributi di codice, della scalabilità dell'infrastruttura, della gestione della bandiera delle caratteristiche e di altri cambiamenti di configurazione, nonché di fattori esterni come la stagionalità e le tendenze basate sul comportamento dell'utente. • Dynamic, nonstationary systems Il monitoraggio di grandi flotte di infrastrutture cloud ephemeral come macchine virtuali (VM), contenitori, funzioni serverless, ecc. porta a dati di elevata cardinalità, con centinaia o migliaia di singole serie temporali che variano, spesso con dati storici limitati per ciascun gruppo. • High-cardinality multivariate data I dati storici spesso contengono svantaggi e anomalie causate da regressioni delle prestazioni o da incidenti di produzione. • Historical anomalies I modelli di fondazione pre-addestrati su altri domini lottano per generalizzare efficacemente i dati di osservabilità a causa di queste caratteristiche. Per superare questo, abbiamo sviluppato Toto, un modello di fondazione all'avanguardia che eccelle nella previsione di osservabilità raggiungendo anche le migliori prestazioni sui benchmark aperti standard. 
 
 Questo documento è disponibile su archiv sotto la licenza CC BY 4.0. Questo documento è disponibile su archiv sotto la licenza CC BY 4.0. Disponibile in archivio

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

LanguageModels.TECH

Read My Stories

undefined's blog

Questo audio è prodotto nella lingua originale della storia!

Il trasformatore ottimizzato della serie Time stabilisce nuovi standard nell'osservabilità

About Author

COMMENTI

CARTELLINI

QUESTO ARTICOLO È STATO PRESENTATO IN

Related Stories

New Year, New Exciting Features: Mint Your Name, Watch Web 2.5 and Meet The Top Startups of The Year

10 Reasons Why Publishing on HackerNoon Will Skyrocket Your Reach and Impact

Meet the HackerNoon Top Writers: Nebojsa Nesha Todorovic - Upwork, Freelancing, and Future of Work

Meet Dealscard, Winner of Startups of The Year 2024 in Ghaziabad/Deal Aggregator

New Year, New Exciting Features: Mint Your Name, Watch Web 2.5 and Meet The Top Startups of The Year

10 Reasons Why Publishing on HackerNoon Will Skyrocket Your Reach and Impact

Meet the HackerNoon Top Writers: Nebojsa Nesha Todorovic - Upwork, Freelancing, and Future of Work

Meet Dealscard, Winner of Startups of The Year 2024 in Ghaziabad/Deal Aggregator

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps