디지털 의료 데이터 플랫폼에서, 비즈니스 의사 결정, 규제 보고, 기계 학습 모델 및 임원 대시보드 모두 하나에 달려 있습니다. . data quality is no longer a nice-to-have trustworthy data 그럼에도 불구하고 많은 데이터 엔지니어링 팀은 여전히 데이터 품질을 후기 생각으로 간주하며 데이터가 이미 내부로 전파된 후에만 데이터를 검증합니다. Databricks는 이러한 사고 방식을 통해 강력한 변화를 도입했습니다. . Declarative Pipelines using Delta Live Tables (DLT) 복잡한 검증 논리를 수동으로 작성하는 대신 엔지니어는 이제 그리고 플랫폼이 자동으로 시행, 모니터링 및 통제하도록하십시오. declare what good data looks like 이 블로그는 explores 왜 중요한지, 그리고이 접근법을 사용하여 생산 수준의 파이프라인을 설계하는 방법. how declarative data quality works in Databricks The Traditional Problem with Data Quality 전통적인 의료 ETL 파이프라인에서 데이터 품질은 일반적으로 다음을 사용하여 처리됩니다. 
 
 
 
 
 Custom IF 조건 별도의 Validation Jobs Manual logging tables에 대한 리뷰 보기 포스트 로드 화해 요청 이 접근 방식은 처음에 작동 할 수 있지만, 그것은 빠르게 규모로 분해 : 
 
 
 
 
 검증 논리는 노트북에 흩어져 있습니다.Validation logic becomes scattered across notebooks 실패는 원인으로 돌아가기 어렵다. Metrics are inconsistent across pipelines 파이프라인 나쁜 데이터의 재처리가 복잡해집니다. 가장 중요한 것은, 영향이 훨씬 더 비싼 곳. bad data often reaches downstream systems silently 선언 파이프라인은 데이터 품질을 개선함으로써 이 문제를 해결한다. 파이프 라인 자체 a first-class citizen What Is Declarative Data Quality? Declarative data quality 는 정의를 의미한다. 절차적인 논리가 아니다. rules and expectations 말하는 대신 : “ ” 금액이 긍정적인지 확인하고 기록을 떨어 뜨리십시오. 금액이 긍정적인지 확인하고 기록을 떨어 뜨리십시오. 당신은 말한다 : “ ” 금액은 항상 0보다 크다. 금액은 항상 0보다 크다. Databricks에서는 이것을 사용하여 구현됩니다. . Delta Live Tables (DLT) Expectations 기대를 사용하면 데이터 품질 규칙을 테이블에 직접 연결하여 파이프라인을 만들 수 있습니다.Expectations allow you to attach data quality rules directly to tables, making the pipeline: 
 
 
 
 스스로 문서화 일관성 유지하기 쉬운 Delta Live Tables and Expectations Delta Live Tables는 배치 및 스트리밍 파이프라인을 구축하기 위한 선언 프레임워크를 제공합니다.Data quality is enforced using 파이프라인 실행 중에 자동으로 평가됩니다. Expectations DLT는 세 가지 기대 행동을 지원합니다: 1. Expect (Monitor Only) 이 모드는 데이터 품질 문제를 추적하지만 모든 레코드를 전달할 수 있습니다. 사용 케이스 : 
 
 
 Upstream Data Health 모니터링 퀄리티 규칙의 점진적인 도입 @dlt.expect("valid_date", "order_date IS NOT NULL")
 2. Expect or Drop 규칙을 위반하는 레코드는 데이터 세트에서 자동으로 제거됩니다. 사용 케이스 : 
 
 
 무효 또는 손상된 레코드 삭제 Curated Layers에서 청소를 강요하는 방법 @dlt.expect_or_drop("amount_positive", "amount > 0")
 3. Expect or Fail 파이프라인은 규칙을 위반하면 즉시 실패합니다. 사용 케이스 : 
 
 
 비즈니스-critical Restrictions 규제 또는 금융 데이터 @dlt.expect_or_fail("order_id_present", "order_id IS NOT NULL")
 이 명확한 분리를 통해 팀은 . apply the right level of strictness at the right stage Data Quality in the Medallion Architecture 선언적 데이터 품질은 데이터와 결합될 때 가장 잘 작동합니다. . Bronze–Silver–Gold (Medallion) Architecture Bronze Layer – Raw Data 브라운 층은 섭취의 신뢰성, 정확성에 초점을 맞추지 않습니다. 
 
 
 
 프로그램 읽기 최소한의 검증 RAW 데이터 보존 일반적으로 기본적인 기술적 검사를 제외하고는 선언적 기대가 피됩니다. Silver Layer – Validated and Cleaned Data Silver Layer 는 어디에 있는가 . most data quality rules live 전형적인 규칙은 다음을 포함합니다: 
 
 
 
 
 0 0 체크인 범위 Validations 참조 integrity 다중화 예를 들어 : @dlt.table
@dlt.expect_or_drop("valid_amount", "amount > 0")
@dlt.expect("customer_present", "customer_id IS NOT NULL")
def silver_sales():
    return dlt.read("bronze_sales")
 이것은 신뢰할 수 있는 데이터 흐름만을 보장하며, 품질 문제에 대한 가시성을 유지합니다. Gold Layer – Business-Ready Data 골드 레이어는 분석, 보고 및 기계 학습을 제공합니다.The Gold layer serves analytics, reporting, and machine learning. 여기, 기대는 엄격한 : 
 
 
 
 비즈니스 키가 있어야 합니다. Aggregations는 일관성이 있어야 한다. 무효 기록에 대한 관용이 없습니다.No tolerance for invalid records 실패한 기대는 일반적으로 소비자를 보호하기 위해 사용됩니다. Built-In Observability and Metrics Databricks의 선언적 데이터 품질의 가장 큰 장점 중 하나는 . automatic observability 모든 기대에 대하여, Databricks 캡처: 
 
 
 
 
 전체 레코드 처리 통과된 기록과 실패한 기록 떨어진 기록 실패의 이유 이 메트릭은 다음을 통해 사용할 수 있습니다: These metrics are available through: 
 
 
 
 델타 라이브 테이블 UI 이벤트 로그 테이블 Databricks 시스템 테이블 이것은 사용자 지정 모니터링 프레임워크의 필요성을 제거하고 감사 가능성을 크게 향상시킵니다. Quarantine Pattern: Don’t Lose Bad Data 나쁜 기록을 떨어 뜨리는 것은 항상 충분하지 않습니다.규제 또는 기업 환경에서 팀은 종종 . retain invalid data for analysis and reprocessing 일반적인 패턴은 실패한 레코드를 격리 테이블에 쓰는 것입니다.A common pattern is to write failed records to a quarantine table: @dlt.table
def quarantine_sales():
    return dlt.read("bronze_sales") \
        .filter("amount <= 0 OR customer_id IS NULL")
 이 접근법의 장점: Benefits of this approach: 
 
 
 
 Root Cause 분석 SLA 및 판매자 문제 추적 고정 후 재처리 Why Declarative Data Quality Scales Better 
 
 
 
 
 
 
 
 
 
 Traditional   ETL 
 Declarative   Pipelines 
 
 
 
 Manual   validation code 
 Built-in   expectations 
 
 
 
 Hard   to audit 
 Automatic   metrics 
 
 
 
 Complex   error handling 
 Clear   rule enforcement 
 
 
 
 Reactive   fixes 
 Preventive   design Manual Validation 코드 구축된 기대 검토하기 어려운 자동 메트릭스 복잡한 오류 처리 명확한 규칙 집행 반응성 고정 예방 디자인 선언 파이프라인은 코드 복잡성을 줄이고 신뢰성을 증가시킵니다.Declarative pipelines reduce code complexity while increasing reliability - a rare but valuable combination. Common Mistakes to Avoid 
 
 
 
 
 Bronze Layer에서 엄격한 규칙을 적용 모든 곳에서 expect_or_fail 사용 카운티 테이블을 무시하는 데이터 품질을 일회성 설정으로 취급하기 선언적 품질은 규칙이 있을 때 가장 효과적입니다.Declarative quality works best when rules . evolve with the data and business requirements Sample Data and Expected Output 선언적 데이터 품질을 더 구체적으로 만들기 위해서, 우리는 샘플 데이터를 사용하여 예상이 각 층의 출력에 어떻게 영향을 미치는지 확인합니다. simple end-to-end example Sample Input Data (Bronze Layer) 이것이 소스 시스템에서 삽입된 원형 판매 데이터라고 가정합니다.Suppose this is raw sales data ingested from a source system into the . Bronze table 
 
 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 order_date 
 
 
 
 
 
 101 
 C001 
 250 
 2024-11-01 
 
 
 
 
 
 102 
 C002 
 -50 
 2024-11-01 
 
 
 
 
 
 103 
 NULL 
 120 
 2024-11-02 
 
 
 
 
 
 104 
 C003 
 0 
 2024-11-02 
 
 
 
 
 
 NULL 
 C004 
 300 
 2024-11-03 101 C001 250 2024 - 11위 102 C002 -50 2024 - 11위 103 0 0 120 2024 - 11 - 02 104 C003 0 2024 - 11 - 02 0 0 C004 300 2024년 11월 10일 이 단계에서 : 
 
 
 레코드가 거절되지 않습니다 데이터는 추적을 위해 AS-IS로 저장됩니다. Data Quality Rules Applied (Silver Layer) 실버 레이어에서 우리는 선언적 기대를 적용합니다 : 
 
 
 수량 > 0 → expect_or_drop customer_id IS NOT NULL → expect (모니터만) @dlt.table
@dlt.expect_or_drop("amount_positive", "amount > 0")
@dlt.expect("customer_not_null", "customer_id IS NOT NULL")
def silver_sales():
    return dlt.read("bronze_sales")
 Silver Output Table 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 quality_status 
 
 
 
 
 
 101 
 C001 
 250 
 PASS 
 
 
 
 
 
 103 
 NULL 
 120 
 WARN 
 
 
 
 
 
 NULL 
 C004 
 300 
 WARN 101 C001 250 패스 103 0 0 120 경고 0 0 C004 300 경고 떨어진 레코드 : 
 
 
 주문 102 (수량 = -50) 주문 104 (수량 = 0) DLT 자동 레코드 그리고 . how many rows were dropped which rule caused it Quarantine Table Output 떨어진 데이터를 잃는 대신, 우리는 카란틴 테이블에서 그것을 캡처합니다. @dlt.table
def silver_sales_quarantine():
    return dlt.read("bronze_sales") \
        .filter("amount <= 0")
 Quarantine Output 
 
 
 
 
 
 
 
 
 
 
 order_id 
 customer_id 
 amount 
 order_date 
 Reason 
 
 
 
 
 
 
 102 
 C002 
 -50 
 2024-11-01 
 Invalid   amount 
 
 
 
 
 
 
 104 
 C003 
 0 
 2024-11-02 
 Invalid   amount 102 C002 -50 2024 - 11위 부적절한 금액 104 C003 0 2024 - 11 - 02 부적절한 금액 이 테이블은 유용합니다 : 
 
 
 
 Root Cause 분석 판매자 또는 upstream 시스템 피드백 고정 후 재처리 Business Rules Applied (Gold Layer) 골드 레이어에서 엄격한 비즈니스 규칙이 시행됩니다 : ● order_id IS NOT NULL → expect_or_fail @dlt.table
@dlt.expect_or_fail("order_id_present", "order_id IS NOT NULL")
def gold_sales():
    return dlt.read("silver_sales") \
        .groupBy("customer_id") \
        .agg(sum("amount").alias("total_spend"))
 Gold Output Table 
 
 
 
 
 
 
 customer_id 
 total_spend 
 
 
 
 C001 
 250 C001 250 파이프라인 실패가 발생: 
 
 order_id = NULL가 있는 레코드는 파이프라인이 실패하게 만듭니다. 이것은 downstreRecordsam 소비자를 보호합니다. . preventing incorrect aggregations What DLT Captures Automatically 이 예를 들어 Databricks는 자동으로 추적합니다: 
 
 
 
 
 전체 레코드 : 5 실버에서 떨어진 기록: 2 원칙에 따른 예상 위반 파이프라인 실패 이유 Gold 모든 메트릭은 그 안에서 볼 수 있다. 0 custom code 를 사용합니다. DLT UI and event logs Final Thoughts 이 간단한 예는 선언적 데이터 품질의 실제 힘을 보여줍니다.This simple example demonstrates the real power of declarative data quality: 
 
 
 
 규칙은 명확하고 자체 문서화 나쁜 데이터는 통제되며 숨겨지지 않습니다. 출력은 예측가능하고 감사할 수 있다. Declarative pipelines ensures that every downstream dataset is built on 생산 수준의 데이터 플랫폼에 이상적입니다. explicit trust guarantees

Read My Stories

이 오디오는 이야기의 원래 언어로 제작되었습니다!

Declarative Pipelines를 사용하여 신뢰할 수 있는 의료 데이터 플랫폼을 건축

About Author

코멘트

태그 걸기

이 기사는 다음에서 발표되었습니다.

Related Stories

AI의 힘을 발휘하세요. 최첨단 기술의 체계적 검토: 개요 및 소개

Crypto Growth: 효과적인 사용자 페르소나 만들기

볼츠만 뇌 이론에 대한 간략한 소개

이 18가지 개발자 도구로 생산성을 높이세요 🚀🔥

AI의 힘을 발휘하세요. 최첨단 기술의 체계적 검토: 개요 및 소개

Crypto Growth: 효과적인 사용자 페르소나 만들기

볼츠만 뇌 이론에 대한 간략한 소개

이 18가지 개발자 도구로 생산성을 높이세요 🚀🔥

Light-Mode

Classic

Newspaper

Minty

Dark-Mode

Neon Noir

Minty

HN StartUps