Veri gölü tasarımı
Ham, temiz ve sunum katmanlarıyla bir veri gölü tasarlar; nesne depolama, Parquet, bölümleme, katalog ve erişim politikalarıyla güvenlik verisini düzenli ve ucuz saklarsın.
Seviye 301 · 16 ders · 12 pratik lab
Dersler
Göl kavramları
- Veri gölü ve veri ambarı
- Katmanlar: ham, temiz, sunum
- Nesne depolama: kova, anahtar, sürüm
- Kısa görev: kova ve klasör düzenini kur
Dosya düzeni
- Parquet içyapısı: satır grubu, sütun, istatistik
- Bölümleme stratejisi ve fazla küçük dosyalar
- Küçük dosyaları birleştirmek (compaction)
- Şema değişince: yeni alan, tür değişikliği
- Kısa görev: yavaş sorguyu bölümlemeyle hızlandır
Yönetim
- Veri kataloğu ve üst veri
- Saklama süresi ve yaşam döngüsü kuralları
- Maliyet: depolama sınıfları ve sorgu bedeli
- Kısa görev: log türlerine saklama kuralı uygula
Güvenlik
- Kova politikaları ve en az yetki
- Şifreleme ve değiştirilemez saklama
- Bitirme görevi: güvenlik kayıtları için veri gölü kur
Pratik lablar
- Kova ve katman düzenini kur: MinIO'da ham, temiz ve sunum katmanları için kovaları ve önek düzenini kurup örnek dosyaları doğru katmana yükle.
- Sürümlemeyle silinen nesneyi geri getir: Kovada sürümlemeyi açıp üzerine yazılan ve silinen bir log dosyasının önceki sürümünü geri yükle.
- Ham katmana doğrudan yazan işi taşı: Ham veriyi yerinde değiştiren bir dönüştürme işini temiz katmana yazacak biçimde düzeltip ham verinin değişmediğini sağlamayla kanıtla.
- Parquet dosyasının içine bak: Bir Parquet dosyasının satır grubu sayısını, sütun istatistiklerini ve sıkıştırma türünü meta veriden okuyup raporla.
- Küçük dosyaları sıkıştır: Bir günlük bölümdeki yüzlerce küçük Parquet dosyasını birkaç büyük dosyada birleştirip sorgu süresindeki farkı ölç.
- Aşırı bölümlemeyi düzelt: Saat ve kullanıcıya göre bölümlenmiş bir tabloyu sorgu desenine uygun tarih bölümlemesine geçirip dosya sayısı ve taranan baytı karşılaştır.
- Saklama kuralını uygula: Ham web kayıtları için 90 gün sonra silme yaşam döngüsü kuralını tanımlayıp kuralın hangi nesneleri etkileyeceğini listele.
- Yeni alan gelince bozulmayan okuma: Kaynağa yeni sütun eklendikten sonra hata veren bir sorguyu şema birleştirmeyle düzeltip eski ve yeni dosyaları birlikte oku.
- Veri kataloğu kaydı hazırla: Göldeki altı veri kümesi için sahip, şema, tazelik, hassasiyet ve saklama süresini içeren katalog kayıtlarını catalog.csv dosyasına yaz.
- Herkese açık kovayı kapat: Anonim okumaya açık bırakılmış bir log kovasını bulup politikayı düzelt ve anonim erişimin reddedildiğini göster.
- Önek bazında en az yetki: Analist hesabına yalnızca temiz katmanı okuma, toplayıcı hesabına yalnızca ham katmana yazma izni veren politikaları yazıp sına.
- Değiştirilemez saklama ile delil koruma: Denetim kayıtları kovasında nesne kilidini uyumluluk kipinde açıp yönetici hesabının bile saklama süresi dolmadan silemediğini kanıtla.
Kurs hakkında
Ham, temiz ve sunum katmanlarıyla bir veri gölü tasarlar; nesne depolama, Parquet, bölümleme, katalog ve erişim politikalarıyla güvenlik verisini düzenli ve ucuz saklarsın.
Ne öğreneceksin
- Göl kavramları
- Dosya düzeni
- Yönetim
- Güvenlik
Ön koşullar
Aynı yolun 101 ve 201 düzeyindeki konularına hâkim olmalısın.
Lab ortamı
Dersler, tarayıcında açılan sana özel bir Kali Linux terminalinde ve ona bağlı özel bir lab ağında geçer. Kurulum gerekmez.
Sık sorulan sorular
- Bu kurs benim düzeyime uygun mu?
- Kurs 301 düzeyindedir; daha düşük düzeydeki kursların konularını bildiğin varsayılır.
- Kurulum gerekir mi?
- Hayır. Her ders tarayıcında açılan sana özel bir lab ortamında geçer.
- Dersler nasıl işleniyor?
- Her ders 8 ile 10 adımdan ve bir kısa sınavdan oluşur. İlk adımlarda yazman gereken komut gösterilir, sonraki adımlarda yardım azalır; iki denemede takılırsan çözüm açılır.
- Ücretsiz deneyebilir miyim?
- Evet. Her kursun ilk üç dersi ücretsizdir.