डिजिटल स्वास्थ्य डेटा प्लेटफॉर्म में, व्यावसायिक निर्णय, नियामक रिपोर्टिंग, मशीन लर्निंग मॉडल, और कार्यकारी डैशबोर्ड सभी एक बात पर निर्भर करते हैं: . data quality is no longer a nice-to-have trustworthy data हालांकि, कई डेटा इंजीनियरिंग टीम अभी भी डेटा की गुणवत्ता को एक बाद की सोच के रूप में देखती हैं, डेटा को केवल बाद में सत्यापित करने के बाद ही यह पहले से ही नीचे प्रसारित हो गया है। Databricks ने इस दिमाग में एक शक्तिशाली बदलाव पेश किया . Declarative Pipelines using Delta Live Tables (DLT) जटिल सत्यापन तर्क को मैन्युअल रूप से लिखने के बजाय, इंजीनियर अब और प्लेटफॉर्म को इसे स्वचालित रूप से लागू करने, निगरानी और नियंत्रित करने दें। declare what good data looks like इस ब्लॉग की खोज , यह क्यों मायने रखता है, और इस दृष्टिकोण का उपयोग करके उत्पादन स्तर के पाइपलाइनों को डिजाइन कैसे करें। how declarative data quality works in Databricks The Traditional Problem with Data Quality पारंपरिक स्वास्थ्य देखभाल ETL पाइपलाइनों में, डेटा की गुणवत्ता को आमतौर पर निम्नलिखित के साथ संसाधित किया जाता है: 
 
 
 
 
 कस्टम यदि शर्तें अलग-अलग वैकल्पिक नौकरियां मैन्युअल लॉगिंग टेबल संतुलन के बाद पूछताछ जबकि यह दृष्टिकोण शुरुआत में काम कर सकता है, यह तेजी से पैमाने पर टूट जाता है: 
 
 
 
 
 सत्यापन तर्क नोटबुक पर फैल जाता है असफलताओं को मूल कारणों पर वापस ट्रैक करना मुश्किल है मेट्रिक पाइपलाइनों के बीच असंगत हैं बुरे डेटा को फिर से संसाधित करना जटिल हो जाता है सबसे महत्वपूर्ण बात, जहां प्रभाव अधिक महंगा होता है। bad data often reaches downstream systems silently रिपोर्टिंग पाइपलाइन डेटा की गुणवत्ता बनाकर इस समस्या को हल करते हैं पाइपलाइन के लिए खुद a first-class citizen What Is Declarative Data Quality? डेटा की गुणवत्ता का अर्थ है परिभाषित करना प्रक्रियात्मक तर्क नहीं है। rules and expectations कहने के बजाय: “ ” जांचें कि क्या राशि सकारात्मक है और फिर रिकॉर्ड छोड़ दें। जांचें कि क्या राशि सकारात्मक है और फिर रिकॉर्ड छोड़ दें। आप कहते हैं: “ ” राशि हमेशा शून्य से अधिक होनी चाहिए। राशि हमेशा शून्य से अधिक होनी चाहिए। Databricks में, यह उपयोग करके लागू किया जाता है . Delta Live Tables (DLT) Expectations अपेक्षाएं आपको डेटा गुणवत्ता नियमों को तालिकाओं से सीधे जोड़ने की अनुमति देती हैं, जिससे पाइपलाइन: 
 
 
 
 स्वयं दस्तावेज लगातार बनाए रखना आसान Delta Live Tables and Expectations डेल्टा लाइव टेबल बैच और स्ट्रीमिंग पाइपलाइनों का निर्माण करने के लिए एक घोषित ढांचे प्रदान करते हैं। , जो पाइपलाइन निष्पादन के दौरान स्वचालित रूप से मूल्यांकन किए जाते हैं। Expectations DLT तीन प्रतीक्षा व्यवहार का समर्थन करता है: 1. Expect (Monitor Only) यह मोड डेटा गुणवत्ता मुद्दों को ट्रैक करता है लेकिन सभी रिकॉर्ड पारित करने की अनुमति देता है। उपयोग के मामले: 
 
 
 Upstream डेटा स्वास्थ्य निगरानी गुणवत्ता नियमों का धीरे-धीरे लागू करना @dlt.expect("valid_date", "order_date IS NOT NULL")
 2. Expect or Drop नियम का उल्लंघन करने वाले रिकॉर्ड डेटासेट से स्वचालित रूप से हटा दिए जाते हैं। उपयोग के मामले: 
 
 
 अयोग्य या क्षतिग्रस्त रिकॉर्ड हटाना साफ-सफाई को बढ़ावा देने के उपाय @dlt.expect_or_drop("amount_positive", "amount > 0")
 3. Expect or Fail यदि नियम का उल्लंघन किया जाता है तो पाइपलाइन तुरंत विफल हो जाता है। उपयोग के मामले: 
 
 
 व्यावसायिक महत्वपूर्ण प्रतिबंध नियामक या वित्तीय डेटा @dlt.expect_or_fail("order_id_present", "order_id IS NOT NULL")
 यह स्पष्ट विभाजन टीमों को अनुमति देता है . apply the right level of strictness at the right stage Data Quality in the Medallion Architecture रिपोर्टिंग डेटा की गुणवत्ता सबसे अच्छी तरह से काम करती है जब यह . Bronze–Silver–Gold (Medallion) Architecture Bronze Layer – Raw Data ब्रोंज परत भंडारण विश्वसनीयता पर केंद्रित है, सही नहीं। 
 
 
 
 पढ़ने की योजना न्यूनतम सत्यापन कच्चे डेटा को बनाए रखें यहां आमतौर पर घोषित अपेक्षाओं को छोड़ दिया जाता है, सिवाय बुनियादी तकनीकी जांच के। Silver Layer – Validated and Cleaned Data सिल्वर लेयर कहां है . most data quality rules live सामान्य नियमों में शामिल हैं: 
 
 
 
 
 नकली चेक रेंज Validations संदर्भ integrity डुप्लिकेशन उदाहरण : @dlt.table
@dlt.expect_or_drop("valid_amount", "amount > 0")
@dlt.expect("customer_present", "customer_id IS NOT NULL")
def silver_sales():
    return dlt.read("bronze_sales")
 यह केवल विश्वसनीय डेटा प्रवाह आगे सुनिश्चित करता है, जबकि अभी भी गुणवत्ता मुद्दों में दृश्यता बनाए रखता है। Gold Layer – Business-Ready Data गोल्ड परत विश्लेषण, रिपोर्टिंग और मशीन सीखने की सेवा करता है। यहां, अपेक्षाएं कठोर हैं: 
 
 
 
 बिजनेस कुंजी होना चाहिए संलग्नताओं को स्थिर होना चाहिए अयोग्य रिकॉर्डों के लिए कोई सहनशीलता नहीं उपभोक्ताओं की रक्षा के लिए अक्सर असफल उम्मीदों का उपयोग किया जाता है। Built-In Observability and Metrics Databricks में deklarative डेटा गुणवत्ता का सबसे बड़ा लाभ है . automatic observability प्रत्येक उम्मीद के लिए, Databricks कब्जा करता है: 
 
 
 
 
 कुल रिकॉर्ड संसाधित पारित और असफल रिकॉर्ड गिनती गिरे रिकॉर्ड असफलता के कारण इन मीट्रिक के माध्यम से उपलब्ध हैं: 
 
 
 
 डेला लाइव टेबल यूआई घटनाओं की सूची Databricks सिस्टम टेबल यह कस्टम निगरानी फ्रेमवर्क की आवश्यकता को खत्म करता है और ऑडिट को काफी बेहतर बनाता है। Quarantine Pattern: Don’t Lose Bad Data बुरे रिकॉर्ड को छोड़ना हमेशा पर्याप्त नहीं होता है. विनियमित या उद्यम वातावरण में, टीमों को अक्सर . retain invalid data for analysis and reprocessing एक आम पैटर्न विफल रिकॉर्ड को एक कैरेंटिन तालिका में लिखना है: @dlt.table
def quarantine_sales():
    return dlt.read("bronze_sales") \
        .filter("amount <= 0 OR customer_id IS NULL")
 इस दृष्टिकोण के लाभ: 
 
 
 
 Root Cause का विश्लेषण SLA और विक्रेता समस्या ट्रैकिंग मरम्मत के बाद पुनरावृत्ति Why Declarative Data Quality Scales Better 
 
 
 
 
 
 
 
 
 
 Traditional   ETL 
 Declarative   Pipelines 
 
 
 
 Manual   validation code 
 Built-in   expectations 
 
 
 
 Hard   to audit 
 Automatic   metrics 
 
 
 
 Complex   error handling 
 Clear   rule enforcement 
 
 
 
 Reactive   fixes 
 Preventive   design मैन्युअल सत्यापन कोड निर्मित उम्मीदें जांच करने में कठिनाई स्वचालित मीटर जटिल गलतियों का संचालन स्पष्ट नियम लागू सक्रिय फिक्स रोकथाम डिजाइन Declarative पाइपलाइन कोड जटिलता को कम करते हुए विश्वसनीयता को बढ़ाते हैं - एक दुर्लभ लेकिन मूल्यवान संयोजन। Common Mistakes to Avoid 
 
 
 
 
 ब्रोंज परत में सख्त नियम लागू करना हर जगह expect_or_fail का उपयोग करें कैरेंटिन टेबल को अनदेखा एक बार सेटअप के रूप में डेटा की गुणवत्ता का इलाज निर्धारित गुणवत्ता सबसे अच्छा काम करता है जब नियम होते हैं . evolve with the data and business requirements Sample Data and Expected Output डेटा की गुणवत्ता को अधिक व्यावहारिक बनाने के लिए, चलो एक नमूना डेटा का उपयोग करें और देखें कि प्रत्येक परत पर आउटपुट को उम्मीद कैसे प्रभावित करती है। simple end-to-end example Sample Input Data (Bronze Layer) मान लीजिए कि यह एक स्रोत प्रणाली से इनपुट कच्चे बिक्री डेटा है . Bronze table 
 
 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 order_date 
 
 
 
 
 
 101 
 C001 
 250 
 2024-11-01 
 
 
 
 
 
 102 
 C002 
 -50 
 2024-11-01 
 
 
 
 
 
 103 
 NULL 
 120 
 2024-11-02 
 
 
 
 
 
 104 
 C003 
 0 
 2024-11-02 
 
 
 
 
 
 NULL 
 C004 
 300 
 2024-11-03 101 C001 के लिए 250 2024-11 के बारे में 102 C002 में -50 2024-11 के बारे में 103 शून्य 120 2024-11 में 104 C003 के लिए 0 2024-11 में शून्य C004 में 300 2024-11-03 के बारे में इस चरण में: 
 
 
 कोई रिकॉर्ड अस्वीकार नहीं किया जाता डेटा को ट्रैकिंग के लिए संग्रहीत किया जाता है Data Quality Rules Applied (Silver Layer) चांदी की परत में, हम घोषणात्मक अपेक्षाओं को लागू करते हैं: 
 
 
 संख्या > 0 → expect_or_drop ग्राहक_id NULL नहीं है → उम्मीद (केवल मॉनिटर) @dlt.table
@dlt.expect_or_drop("amount_positive", "amount > 0")
@dlt.expect("customer_not_null", "customer_id IS NOT NULL")
def silver_sales():
    return dlt.read("bronze_sales")
 Silver Output Table 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 quality_status 
 
 
 
 
 
 101 
 C001 
 250 
 PASS 
 
 
 
 
 
 103 
 NULL 
 120 
 WARN 
 
 
 
 
 
 NULL 
 C004 
 300 
 WARN 101 C001 के लिए 250 पास 103 शून्य 120 चेतावनी शून्य C004 में 300 चेतावनी रिकॉर्ड फेंक दिया: 
 
 
 ऑर्डर 102 (आकार = -50) आदेश 104 (आकार = 0) स्वचालित रूप से रिकॉर्ड और . how many rows were dropped which rule caused it Quarantine Table Output खोए गए डेटा को खोने के बजाय, हम इसे एक कैरेंटिन तालिका में कैप्चर करते हैं। @dlt.table
def silver_sales_quarantine():
    return dlt.read("bronze_sales") \
        .filter("amount <= 0")
 Quarantine Output 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 order_date 
 Reason 
 
 
 
 
 
 
 102 
 C002 
 -50 
 2024-11-01 
 Invalid   amount 
 
 
 
 
 
 
 104 
 C003 
 0 
 2024-11-02 
 Invalid   amount 102 C002 में -50 2024-11 के बारे में अयोग्य राशि 104 C003 के लिए 0 2024-11 में अयोग्य राशि यह टेबल उपयोगी है: 
 
 
 
 Root Cause का विश्लेषण विक्रेता या अपस्ट्रीम सिस्टम प्रतिक्रिया मरम्मत के बाद पुनरावृत्ति Business Rules Applied (Gold Layer) सोने की परत में, सख्त व्यावसायिक नियम लागू होते हैं: • order_id NULL नहीं है expect_or_fail @dlt.table
@dlt.expect_or_fail("order_id_present", "order_id IS NOT NULL")
def gold_sales():
    return dlt.read("silver_sales") \
        .groupBy("customer_id") \
        .agg(sum("amount").alias("total_spend"))
 Gold Output Table 
 
 
 
 
 
 
 customer_id 
 total_spend 
 
 
 
 C001 
 250 C001 के लिए 250 पाइपलाइन विफलता का कारण बन गया: 
 
 order_id = NULL के साथ रिकॉर्ड पाइपलाइन विफल होने का कारण बनता है इससे उपभोक्ताओं को सुरक्षा मिलती है . preventing incorrect aggregations What DLT Captures Automatically इस उदाहरण के लिए, Databricks स्वचालित रूप से ट्रैक करता है: 
 
 
 
 
 कुल दर्ज किए गए रिकॉर्ड: 5 सिल्वर में गिरने वाले रिकॉर्ड: 2 नियमों का उल्लंघन सोने में पाइपलाइन विफलता का कारण सभी मैट्रिक्स दिखाई देते हैं 0 कस्टम कोड के साथ DLT UI and event logs Final Thoughts यह सरल उदाहरण deklarative डेटा गुणवत्ता की वास्तविक शक्ति को दर्शाता है: 
 
 
 
 नियम स्पष्ट और आत्म दस्तावेज हैं गलत डेटा को नियंत्रित किया जाता है, छिपा नहीं जाता है आउटपुट पूर्वानुमान और ऑडिट योग्य हैं Declarative Pipelines सुनिश्चित करता है कि हर Downstream डेटासेट पर बनाया जाता है , उन्हें उत्पादन स्तर के डेटा प्लेटफॉर्म के लिए आदर्श बनाते हैं। explicit trust guarantees

Read My Stories

यह ऑडियो कहानी की मूल भाषा में निर्मित है!

Declarative पाइपलाइन का उपयोग करके विश्वसनीय स्वास्थ्य देखभाल डेटा प्लेटफॉर्म का निर्माण

About Author

टिप्पणियाँ

लेबल

इस लेख में चित्रित किया गया था

Related Stories

अपने वर्कफ़्लो को 10 गुना बेहतर कैसे बनाएं: 17 ज़रूरी ऐप्स

HackerNoon एक बहुभाषी प्लेटफ़ॉर्म है: सभी शीर्ष कहानियाँ अब 13 भाषाओं में उपलब्ध हैं

डिजिटल खानाबदोशों सुनो: थाईलैंड के नए डीटीवी वीज़ा के बारे में आपको क्या जानना चाहिए

He/Him/Master of Discovery

अपने वर्कफ़्लो को 10 गुना बेहतर कैसे बनाएं: 17 ज़रूरी ऐप्स

HackerNoon एक बहुभाषी प्लेटफ़ॉर्म है: सभी शीर्ष कहानियाँ अब 13 भाषाओं में उपलब्ध हैं

डिजिटल खानाबदोशों सुनो: थाईलैंड के नए डीटीवी वीज़ा के बारे में आपको क्या जानना चाहिए

He/Him/Master of Discovery

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps