Açık tablo biçimleri: Apache Iceberg
Apache Iceberg tablolarıyla veri gölüne işlem güvencesi, şema ve bölüm evrimi, zaman yolculuğu ve geri alma eklersin; silme talepleri ve denetim için tablo geçmişini kullanırsın.
Seviye 401 · 15 ders · 12 pratik lab
Dersler
Tablo biçimleri
- Neden tablo biçimi: dosyadan tabloya
- Iceberg üst veri ağacı: anlık görüntü ve manifest
- Kataloglar ve tablo adresleme
- Açık tablo biçimlerini karşılaştırmak: Iceberg, Delta Lake, Hudi
- Kısa görev: ilk Iceberg tablosu
Değişiklikler
- İşlem güvenceli yazma ve eşzamanlılık
- MERGE, güncelleme ve silme
- Şema ve bölüm evrimi
- Kısa görev: bir kişinin kayıtlarını kalıcı sil
Zaman yolculuğu ve bakım
- Zaman yolculuğu ve geri alma
- Anlık görüntü süresi ve yetim dosyalar
- Sıkıştırma ve sıralama bakımı
- Kısa görev: hatalı yazmayı geri al
Bitiriş
- Tablo geçmişini denetim için kullanmak
- Bitirme görevi: olay tablosunu Iceberg’e taşı
Pratik lablar
- İlk Iceberg tablosunu incele: Bir Iceberg olay tablosu oluşturup veri ekle ve anlık görüntü, bildirim ve veri dosyalarını meta veri tablolarından listele.
- Katalogdan tabloya giden yol: REST kataloğundan bir tablonun geçerli meta veri dosyasını bulup oradan veri dosyalarına kadar zinciri adım adım izle.
- Düz Parquet klasörünü tabloya çevir: Var olan bölümlü Parquet klasörünü veriyi yeniden yazmadan Iceberg tablosu olarak kaydedip satır sayılarının eşleştiğini doğrula.
- Sütun ekle ve yeniden adlandır: Bir tabloya yeni sütun ekleyip bir sütunu yeniden adlandır ve eski verinin hâlâ doğru okunduğunu göster.
- MERGE ile geç gelen düzeltmeler: Geç gelen düzeltme kayıtlarını MERGE ile tabloya uygulayıp güncellenen ve eklenen satır sayısını raporla.
- Bölümlemeyi veriyi yeniden yazmadan değiştir: Günlük bölümlü tabloyu saatlik bölümlemeye evrilt ve eski ile yeni verinin aynı sorguda doğru budandığını planla göster.
- Geçmiş anlık görüntüyü sorgula: Zaman yolculuğuyla tablonun dünkü hâlini sorgulayıp bugünle arasındaki satır farkını bul.
- Hatalı yazmayı geri al: Yanlış veriyle üzerine yazılmış tabloyu önceki anlık görüntüye geri döndürüp sayıların düzeldiğini doğrula.
- Anlık görüntüleri emekli et, yetimleri sil: Eski anlık görüntüleri süresine göre emekli edip yetim dosyaları silerek depolamadaki kazancı ve kalan geçmişi raporla.
- Tablo geçmişinden kim ne zaman yazdı: Anlık görüntü geçmişinden son bir haftadaki yazma işlemlerini işlem türü ve eklenen satır sayısıyla listele.
- Bir kişinin kayıtlarını sil: Silme talebi gelen kullanıcının tüm satırlarını tablodan silip geçerli anlık görüntüde artık bulunmadığını göster.
- Silinen veri gerçekten gitti mi: Silme sonrası eski anlık görüntülerde ve veri dosyalarında kalan kişisel veriyi bulup bakım işlemleriyle kalıcı olarak kaldır.
Kurs hakkında
Apache Iceberg tablolarıyla veri gölüne işlem güvencesi, şema ve bölüm evrimi, zaman yolculuğu ve geri alma eklersin; silme talepleri ve denetim için tablo geçmişini kullanırsın.
Ne öğreneceksin
- Tablo biçimleri
- Değişiklikler
- Zaman yolculuğu ve bakım
- Bitiriş
Ön koşullar
Aynı yolun 301 düzeyine kadar olan konularını uygulamış olmalısın.
Lab ortamı
Dersler, tarayıcında açılan sana özel bir Kali Linux terminalinde ve ona bağlı özel bir lab ağında geçer. Kurulum gerekmez.
Sık sorulan sorular
- Bu kurs benim düzeyime uygun mu?
- Kurs 401 düzeyindedir; daha düşük düzeydeki kursların konularını bildiğin varsayılır.
- Kurulum gerekir mi?
- Hayır. Her ders tarayıcında açılan sana özel bir lab ortamında geçer.
- Dersler nasıl işleniyor?
- Her ders 8 ile 10 adımdan ve bir kısa sınavdan oluşur. İlk adımlarda yazman gereken komut gösterilir, sonraki adımlarda yardım azalır; iki denemede takılırsan çözüm açılır.
- Ücretsiz deneyebilir miyim?
- Evet. Her kursun ilk üç dersi ücretsizdir.