Veri kalitesi ve doğrulama
Veri kalitesinin boyutlarını ölçer, şema ve iş kuralı testleri yazar, hattın içine kalite kapıları koyar ve kalite sorunlarını kökünden izlersin.
Seviye 301 · 16 ders · 12 pratik lab
Dersler
Kalite boyutları
- Doğruluk, eksiksizlik, tutarlılık, güncellik
- Kaliteyi ölçmek: oranlar ve eşikler
- Sessiz hatalar: log kaynağı sustuğunda
- Kısa görev: bir veri kümesi için kalite karnesi
Testler
- Şema sözleşmeleri
- Kural tabanlı kontroller: aralık, benzersizlik, ilişki
- pandera ile DataFrame doğrulama
- Dağılım kayması tespiti
- Kısa görev: olay tablosu için test takımı
Hatta kalite
- Kalite kapısı: hatalı veriyi durdurmak
- Karantina tablosu ve yeniden işleme
- Güncellik ve hacim izleme
- Soy ağacı ve kök neden
- Kısa görev: susan log kaynağını yakalayan uyarı
Kapanış
- Kalite olayını raporlamak ve önlemek
- Bitirme görevi: güvenlik veri hattına kalite katmanı ekle
Pratik lablar
- Kalite boyutunu eşle: On veri sorununu doğruluk, bütünlük, tutarlılık ve güncellik boyutlarından biriyle eşleyip dimensions.csv dosyasına yaz.
- Kalite puan kartı: Bir varlık envanteri için dört boyutta oranları hesaplayıp eşiklerle karşılaştıran bir puan kartı üret.
- Sessizleşen kaynağı bul: Otuz log kaynağının saatlik hacminden haber vermeden susan ve yarı hacme düşen kaynakları bulup ilk sapma zamanını raporla.
- Şema sözleşmesi yaz: Bir oturum açma olay tablosu için sütun adı, tür ve zorunluluk bilgisini içeren şema sözleşmesini YAML olarak yaz.
- pandera ile kural denetimi: pandera şemasıyla aralık, benzersizlik ve izinli değer kurallarını tanımlayıp başarısız satırların raporunu üret.
- Tablolar arası ilişki denetimi: Olay tablosundaki kullanıcı ve cihaz kimliklerinin başvuru tablolarında karşılığı olmayanlarını bulan bir ilişki denetimi yaz.
- Tazelik denetimi: Her tablonun son kayıt zamanını hesaplayıp beklenen gecikmeyi aşan tabloları listeleyen bir denetim yaz.
- Dağılım kaymasını yakala: Bu haftanın olay türü dağılımını geçen haftayla karşılaştırıp payı belirgin biçimde değişen türleri işaretle.
- Hacim uyarısında yanlış alarmı azalt: Hafta sonlarında sürekli çalan sabit eşikli bir hacim uyarısını haftanın gününe duyarlı eşikle değiştirip alarm sayısındaki düşüşü göster.
- Kalite kapısı ekle: Bir yükleme betiğine boş oranı eşiği aşınca yüklemeyi durduran ve nedenini yazan bir kalite kapısı ekle.
- Bozuk satırları karantinaya al: Kuralı çiğneyen satırları karantina tablosuna ayırıp düzeltme sonrası yeniden işleyerek ana tabloya ekle.
- Kök nedeni kökenle bul: Raporda yanlış çıkan bir sayının kaynağını köken bilgisini adım adım izleyerek bul ve hatalı dönüşümü düzelt.
Kurs hakkında
Veri kalitesinin boyutlarını ölçer, şema ve iş kuralı testleri yazar, hattın içine kalite kapıları koyar ve kalite sorunlarını kökünden izlersin.
Ne öğreneceksin
- Kalite boyutları
- Testler
- Hatta kalite
- Kapanış
Ön koşullar
Aynı yolun 101 ve 201 düzeyindeki konularına hâkim olmalısın.
Lab ortamı
Dersler, tarayıcında açılan sana özel bir Kali Linux terminalinde geçer. Kurulum gerekmez; lab her derste temiz başlar.
Sık sorulan sorular
- Bu kurs benim düzeyime uygun mu?
- Kurs 301 düzeyindedir; daha düşük düzeydeki kursların konularını bildiğin varsayılır.
- Kurulum gerekir mi?
- Hayır. Her ders tarayıcında açılan sana özel bir lab ortamında geçer.
- Dersler nasıl işleniyor?
- Her ders 8 ile 10 adımdan ve bir kısa sınavdan oluşur. İlk adımlarda yazman gereken komut gösterilir, sonraki adımlarda yardım azalır; iki denemede takılırsan çözüm açılır.
- Ücretsiz deneyebilir miyim?
- Evet. Her kursun ilk üç dersi ücretsizdir.