
 
 
 
 
 
 
 
 
 Οι συγγραφείς: (1) Ο Μπεν Κοέν (ben.cohen@datadoghq.com) (2) Emaad Khwaja (emaad@datadoghq.com); (3) Καν Γουάνγκ (kan.wang@datadoghq.com) (4) Charles Masson (charles.masson@datadoghq.com); (5) Η Ελισάβετ Ράμε (elise.rame@datadoghq.com) (6) Youssef Doubli (youssef.doubli@datadoghq.com) (7) Ούθμαν Αμπού-Αμάλ (othmane@datadoghq.com). Authors: (1) Ο Μπεν Κοέν (ben.cohen@datadoghq.com) (2) Emaad Khwaja (emaad@datadoghq.com); (3) Καν Γουάνγκ (kan.wang@datadoghq.com) (4) Charles Masson (charles.masson@datadoghq.com); (5) Η Ελισάβετ Ράμε (elise.rame@datadoghq.com) (6) Youssef Doubli (youssef.doubli@datadoghq.com) (7) Ούθμαν Αμπού-Αμάλ (othmane@datadoghq.com). Το τραπέζι της Αριστεράς 
 
 
 
 
 
 
 
 
 
 
 Το υπόβαθρο Προβληματική δήλωση Μοντέλο αρχιτεκτονικής Training data Results Συμπεράσματα Δήλωση επιπτώσεων Μελλοντικές κατευθύνσεις Contributions Αναγνωρίσεις και αναφορές Appendix This technical report describes the Time Series Optimized Transformer for Observability (Toto), a new state-ofthe-art foundation model for time series forecasting developed by Datadog. In addition to advancing the state of the art on generalized time series benchmarks in domains such as electricity and weather, this model is the first general-purpose time series forecasting foundation model to be specifically tuned for observability metrics. Ο Toto εκπαιδεύτηκε σε ένα σύνολο δεδομένων ενός τρισεκατομμυρίου σημείων δεδομένων σειράς χρόνου – το μεγαλύτερο από όλα τα μοντέλα θεμελίωσης σειράς χρόνου που δημοσιεύονται αυτή τη στιγμή. In our experiments, Toto outperforms existing time series foundation models on observability data. It does this while also excelling at general-purpose forecasting tasks, achieving state-of-the-art zero-shot performance on multiple open benchmark datasets. In this report, we detail the following key contributions: : We introduce an advanced attention mechanism that allows for efficient grouping of multivariate time series features, reducing computational overhead while maintaining high accuracy. • Proportional factorized space-time attention : This novel use of a probabilistic model that robustly generalizes Gaussian mixture models enables Toto to more accurately capture the complex dynamics of time series data and provides superior performance over traditional approaches. • Student-T mixture model head : In addition to general multi-domain time series data, Toto is specifically pre-trained on a large-scale dataset of Datadog observability metrics, encompassing unique characteristics not present in open-source datasets. This targeted training ensures enhanced performance in observability metric forecasting • Domain-specific training data 1 Πλαίσιο We present Toto, a groundbreaking time series forecasting foundation model developed by Datadog. Toto is specifically designed to handle the complexities of observability data, leveraging a state-of-the-art transformer architecture to deliver unparalleled accuracy and performance. Toto is trained on a massive dataset of diverse time series data, enabling it to excel in zero-shot predictions. This model is tailored to meet the demanding requirements of real-time analysis as well as compute and memory-efficient scalability to very large data volumes, providing robust solutions for high-frequency and high-dimensional data commonly encountered in observability metrics. 1.1 Observability data Η πλατφόρμα παρατηρησιμότητας Datadog συλλέγει ένα ευρύ φάσμα μετρήσεων σε πολλαπλούς υποτομείς, κρίσιμης σημασίας για την παρακολούθηση και τη βελτιστοποίηση της σύγχρονης υποδομής και εφαρμογών. Αυτές οι μετρήσεις περιλαμβάνουν δεδομένα υποδομής όπως η χρήση μνήμης, το φορτίο της CPU, η είσοδος δίσκου και η ροή δικτύου, καθώς και δείκτες απόδοσης εφαρμογών όπως οι αριθμοί χτυπήσεων, τα ποσοστά σφαλμάτων και Επιπλέον, η Datadog ενσωματώνει συγκεκριμένες μετρήσεις από πολυάριθμα προϊόντα SaaS, υπηρεσίες cloud, πλαίσια ανοιχτού κώδικα και άλλα εργαλεία τρίτων. η πλατφόρμα επιτρέπει στους χρήστες να εφαρμόζουν διάφορα μοντέλα σειράς χρόνου για να προειδοποιούν προληπτικά για ανωμαλία συμπεριφοράς, οδηγώντας σε μείωση του χρόνου ανίχνευσης (TTD) και του χρόνου επίλυσης (TTR) των συμβάντων παραγωγής [2]. Η πολυπλοκότητα και η ποικιλομορφία αυτών των μετρήσεων παρουσιάζουν σημαντικές προκλήσεις για την πρόβλεψη της χρονικής σειράς. Τα δεδομένα παρατήρησης συχνά απαιτούν υψηλή χρονική ανάλυση, μέχρι δευτερόλεπτα ή λεπτά, και είναι συνήθως σπάνια με πολλές μηδενικά διογκωμένες μετρήσεις. Επιπλέον, αυτές οι μετρήσεις μπορούν να εμφανίζουν ακραίες δυναμικές περιοχές και κατευθείαν κατανεμημένες κατανομές. Η δυναμική και μη στατική φύση των συστημάτων που παρακολουθούνται περιπλέκει περαιτέρω το έργο πρόβλεψης, απαιτώντας προηγμένα μοντέλα που μπορούν να προσαρμοστούν και να εκτελέσουν υπό αυτές τις συνθήκες. 1.2 Traditional models Ιστορικά, η πρόβλεψη των χρονικών σειρών βασίστηκε σε κλασικά μοντέλα όπως η ARIMA, η εκθετική εξομάλυνση και οι βασικές τεχνικές μηχανικής μάθησης [3]. Ενώ είναι θεμελιώδεις, αυτά τα μοντέλα απαιτούν ατομική εκπαίδευση για κάθε μετρητή, παρουσιάζοντας αρκετούς περιορισμούς [4]. Η ανάγκη ανάπτυξης και διατήρησης ξεχωριστών μοντέλων για κάθε μετρητή εμποδίζει την κλιμάκωση, ιδίως δεδομένου του εκτεταμένου εύρους των μετρητών στα δεδομένα παρατήρησης. Επιπλέον, αυτά τα μοντέλα συχνά αποτυγχάνουν να γενικευτούν σε διαφορετικούς τύπους μετρητών, οδηγώντας σε μη βέλτιστη απόδοση σε διάφορα σύνολα δεδομένων [5, 6 1.3 Foundation models Τα μεγάλα γενετικά μοντέλα που βασίζονται σε νευρικά δίκτυα, που συχνά αναφέρονται ως «βασικά μοντέλα», έχουν φέρει επανάσταση στην πρόβλεψη των χρονικών σειρών, επιτρέποντας ακριβείς προβλέψεις για νέα δεδομένα που δεν έχουν δει κατά τη διάρκεια της εκπαίδευσης, γνωστή ως πρόβλεψη μηδενικού χτυπήματος [8]. Αυτή η δυνατότητα μειώνει σημαντικά την ανάγκη για συνεχή επανεκπαίδευση σε κάθε συγκεκριμένη μετρητή, εξοικονομώντας έτσι σημαντικό χρόνο και υπολογιστικούς πόρους. Μέσω της προ-εκπαίδευσης σε διάφορα σύνολα δεδομένων, τα γενετικά μοντέλα παρουσιάζουν ισχυρή γενίκευση σε διάφορους τύπους δεδομένων χρονικής σειράς. Αυτό ενισχύει την ανθεκτικότητα και την ευελιξία τους, καθιστώντας τα κατάλληλα για ένα ευρύ φάσμα εφαρμογών. Οι προβλέψεις μηδενικού χτυπήματος είναι ιδιαίτερα ελκυστικές στον τομέα της παρατηρησιμότητας, όπου οι περιορισμοί των παραδοσιακών μεθόδων αισθάνονται πολύ έντονα. Οι πιο κοινές περιπτώσεις χρήσης για μοντέλα χρονικής σειράς μέσα σε μια πλατφόρμα παρατηρησιμότητας όπως το Datadog περιλαμβάνουν την αυτοματοποιημένη ανίχνευση ανωμαλιών και την προγνωστική προειδοποίηση. Είναι δύσκολο • First, the high cardinality and volume of data can make fitting individual models to each time series computationally expensive or even intractable. The ability to train a single model and perform inference across a wide range of domains has the potential to dramatically improve the efficiency, and thus the coverage, of an autonomous monitoring system. • Second, ephemeral infrastructure elements often lack enough historical data to confidently fit a model. In practice, algorithmic alerting systems often require an adaptation period of days or weeks before they can usefully monitor a new metric. However, if the object being monitored is a container with a lifespan measured in minutes or hours, these classical models are unable to adapt quickly enough to be useful. Real-world systems thus often fall back to crude heuristics, such as threshold-based alerts, which rely on the domain knowledge of users. Zero-shot foundation models can enable accurate predictions with much less historical context, by aggregating and interpolating prior information learned from a massive and diverse dataset. Η ενσωμάτωση μοντέλων που βασίζονται σε μετασχηματιστές [11] όπως το Toto στην ανάλυση δεδομένων παρατήρησης υπόσχεται σημαντικές βελτιώσεις στην ακρίβεια και την αποδοτικότητα των προβλέψεων.Αυτά τα μοντέλα προσφέρουν μια ισχυρή λύση για τη διαχείριση ποικίλων δεδομένων υψηλής συχνότητας και την παροχή προβλέψεων μηδενικού αποτελέσματος. 1.4 Recent work Τα τελευταία χρόνια έχουν δει την άνοδο των μοντέλων που βασίζονται σε μετασχηματιστές ως ισχυρά εργαλεία για την πρόβλεψη χρονικών σειρών.Αυτά τα μοντέλα αξιοποιούν μηχανισμούς αυτο-προσοχής πολλαπλών κεφαλών για να συλλάβουν εξαρτήσεις μεγάλου βεληνεκούς και περίπλοκα μοτίβα στα δεδομένα. Για την αντιμετώπιση των μοναδικών προκλήσεων των δεδομένων χρονικής σειράς, οι πρόσφατες εξελίξεις έχουν εισαγάγει διάφορες τροποποιήσεις στον μηχανισμό της προσοχής. Για παράδειγμα, ο Moirai [15] χρησιμοποιεί «κάθε ποικιλία» προσοχής στις εξαρτήσεις μοντέλων σε διαφορετικές σειρές ταυτόχρονα. Οι μηχανισμοί παραγόντων προσοχής [16] έχουν αναπτυχθεί για να συλλάβουν χωριστά τις χρονικές και χωρικές (διαδοχικές) αλληλεπιδράσεις, ενισχύοντας την ικανότητα κατανόησης πολύπλοκων αλληλεξαρτήσεων. Άλλα μοντέλα [17, 18] έχουν χρησιμοποιήσει διασταυρούμενη προσοχή σε συνδυασμό με δίκτυα προώθησης για ανάμιξη στην χρονική διά Αυτά τα καινοτόμα μοντέλα που βασίζονται σε μετασχηματιστές έχουν επιδείξει υψηλή απόδοση σε σύνολα δεδομένων αναφοράς [14], συχνά ξεπερνώντας τα παραδοσιακά μοντέλα τόσο σε ακρίβεια όσο και σε ανθεκτικότητα.Η ικανότητά τους να επεξεργάζονται αποτελεσματικά δεδομένα υψηλών διαστάσεων [20] τα καθιστά ιδανικά για εφαρμογές που περιλαμβάνουν πολυάριθμες μετρήσεις χρονικής σειράς με διαφορετικά χαρακτηριστικά, όπως η παρατηρήσιμη. Even more recently, a number of time series “foundation models” have been released [15, 19, 21–24]. By pre-training on extensive, multi-domain datasets, these large models achieve impressive zero-shot prediction capabilities, significantly reducing the need for constant retraining. This paradigm is appealing for the observability context, where we constantly have new time series to process and frequent retraining is impractical. 2 Problem statement Στο Datadog, τα δεδομένα της χρονικής σειράς μας περιλαμβάνουν μια ποικιλία μετρητών παρατηρήσιμης από πολυάριθμους υποτομείς. Οι χρήστες συχνά απαιτούν δεδομένα σε συντελεστές δευτερολέπτων ή λεπτών, σε αντίθεση με πολλά δημόσια διαθέσιμα σύνολα δεδομένων σειράς χρόνου που είναι σε ωριαία συχνότητα ή υψηλότερα. • High time resolution · Μετρήσεις όπως οι αριθμοί σφαλμάτων παρακολουθούν συχνά σπάνια γεγονότα, με αποτέλεσμα σπάνιες και μηδενικές πλημμυρισμένες χρονικές σειρές. Sparsity •  Οι μετρήσεις καθυστέρησης σε κατανεμημένα συστήματα εμφανίζουν θετικές, βαριές κατανομές ουράς με ακραίες τιμές σε υψηλά ποσοστά. Extreme right skew : The behavior of monitored systems changes frequently due to code deployments, infrastructure scaling, feature flag management, and other configuration changes, as well as external factors like seasonality and user-behavior-driven trends. Some time series, such as those monitoring fleet deployments, can also have a very low variance, exhibiting a piecewise-constant shape. • Dynamic, nonstationary systems : Monitoring large fleets of ephemeral cloud infrastructure such as virtual machines (VMs), containers, serverless functions, etc. leads to high cardinality data, with hundreds or thousands of individual time series variates, often with limited historical data for each group. • High-cardinality multivariate data : Historical data often contains outliers and anomalies caused by performance regressions or production incidents. • Historical anomalies Τα μοντέλα ίδρυσης που έχουν προηγουμένως εκπαιδευτεί σε άλλους τομείς αγωνίζονται να γενικεύσουν αποτελεσματικά τα δεδομένα παρατηρήσιμης ικανότητας λόγω αυτών των χαρακτηριστικών.Για να ξεπεραστούν αυτά, αναπτύξαμε το Toto, ένα μοντέλο ίδρυσης state-of-the-art που υπερέχει στην πρόβλεψη της παρατηρήσιμης ικανότητας, ενώ επιτυγχάνει επίσης κορυφαίες επιδόσεις σε πρότυπα ανοικτών δεικτών αναφοράς. 
 
 This paper is   under CC BY 4.0 license. available on arxiv Αυτό το έγγραφο είναι  under CC BY 4.0 license. Διαθέσιμο στα Αρχεία Διαθέσιμο στα Αρχεία

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

LanguageModels.TECH

Read My Stories

undefined's blog

Αυτός ο ήχος παράγεται στην αρχική γλώσσα της ιστορίας!

Ο βελτιστοποιημένος μετασχηματιστής της Time Series θέτει νέα πρότυπα στην παρατηρησιμότητα

About Author

ΣΧΟΛΙΑ

ΚΡΕΜΑΣΤΕ ΕΤΙΚΕΤΕΣ

ΑΥΤΟ ΤΟ ΑΡΘΡΟ ΠΑΡΟΥΣΙΑΣΤΗΚΕ ΣΤΟ

Related Stories

The DevOps Writing Contest by Aptible: Round 4 Winners Announced!

Elon Musk and The Worst-Case Scenario of a Nuclear Apocalypse

Musk Calls OpenAI’s Shift to For-Profit a ‘Long Con’ for Personal Gain

OpenAI Subsidiaries Accused of Undermining Partnership Agreement with Musk

The DevOps Writing Contest by Aptible: Round 4 Winners Announced!

Elon Musk and The Worst-Case Scenario of a Nuclear Apocalypse

Musk Calls OpenAI’s Shift to For-Profit a ‘Long Con’ for Personal Gain

OpenAI Subsidiaries Accused of Undermining Partnership Agreement with Musk

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps