Spark ileri düzey: performans ve akış işleme
Spark yürütme modelini derinlemesine okur; karıştırma, çarpık veri, bellek ve birleştirme stratejilerini ayarlar, yapılandırılmış akışla durumlu ve pencereli gerçek zamanlı tespit kurarsın.
Seviye 401 · 17 ders · 15 pratik lab
Dersler
Yürütme modeli
- Aşamalar, görevler ve karıştırma
- Spark UI’yi okumak
- Catalyst iyileştirici ve uyarlamalı yürütme
- Kısa görev: yavaş işin darboğazını bul
Performans
- Bölüm sayısı ve dosya boyutu ayarı
- Çarpık veri ve tuzlama
- Birleştirme stratejileri: yayın ve sıralı birleştirme
- Önbellek ve bellek yönetimi
- Kısa görev: tek IP’ye yığılan birleştirmeyi düzelt
Akış işleme
- Kafka’dan yapılandırılmış akış
- Olay zamanı ve filigranlar
- Durumlu toplamalar ve pencereler
- Akış-akış birleştirmeleri
- Kontrol noktaları ve tam bir kez işleme
- Kısa görev: akışta kaba kuvvet tespiti
Üretim
- Spark güvenliği: kimlik, şifreleme, ACL
- Bitirme görevi: gerçek zamanlı tespit ve toplu arşiv hattı
Pratik lablar
- Aşamaları ve görevleri oku: Tamamlanmış bir işin Spark UI kayıtlarından aşama sayısını, en uzun aşamayı ve karıştırma boyutunu çıkar.
- Darboğazı Spark UI'de bul: Yavaş çalışan bir işte görev sürelerinin dağılımına bakarak darboğazın karıştırma mı, tek görev mi, çöp toplama mı olduğunu kanıtla.
- Uyarlanabilir yürütmenin etkisi: Aynı sorguyu uyarlanabilir yürütme açık ve kapalıyken çalıştırıp plan, bölüm sayısı ve süre farkını raporla.
- Bölüm sayısını ayarla: 200 küçük dosya üreten bir yazma işini uygun bölüm sayısıyla yeniden düzenleyip dosya boyutlarını hedef aralığa getir.
- Çarpık anahtarı tuzla: Tek bir hizmet hesabının olayların çoğunu ürettiği bir toplamada anahtarı tuzlayıp en uzun görev süresindeki düşüşü göster.
- Yayın birleştirmesi ne zaman doğru: Küçük bir tehdit listesiyle büyük olay tablosunu sort-merge ve yayın birleştirmesiyle birleştirip planı ve süreyi karşılaştır.
- Önbelleğin etkisini ölç: Üç kez kullanılan bir ara sonucu önbelleğe alıp toplam sürenin nasıl değiştiğini ölç.
- Gereksiz önbelleği kaldır: Her DataFrame'i önbelleğe alan ve belleği dolduran bir işte gereksiz önbellekleri kaldırıp depolama sekmesindeki farkı göster.
- Bellek yetmezliğiyle ölen yürütücü: collect ve geniş toplama yüzünden bellekten düşen bir işi düzeltip aynı sonucu kararlı biçimde üretmesini sağla.
- Kafka'dan akış oku: Bir Kafka konusundaki giriş olaylarını Structured Streaming ile okuyup JSON alanlarını ayrıştırarak konsola yaz.
- Filigranla geç olayları yönet: Olay zamanına göre beş dakikalık pencerelerde sayım yapıp filigran ekleyerek geç gelen olayların nasıl ele alındığını göster.
- Akışta parola püskürtme tespiti: Akışta aynı kaynağın on dakikada 20'den fazla farklı hesabı denediği durumları durumlu toplamayla yakalayıp uyarı konusuna yaz.
- Denetim noktasından devam et: Durdurulan bir akış işini denetim noktasıyla yeniden başlatıp hiçbir olayın atlanmadığını ve tekrarlanmadığını sayımla doğrula.
- Akış-akış birleştirmesi: Oturum açma ve dosya erişim akışlarını zaman sınırıyla birleştirip girişten sonraki iki dakikada yapılan erişimleri eşle.
- Spark arayüzünü ve trafiğini güvene al: Kimlik doğrulamasız açık duran Spark arayüzünü ACL ile kısıtlayıp düğümler arası trafiği şifreleyerek yetkisiz erişimin reddedildiğini göster.
Kurs hakkında
Spark yürütme modelini derinlemesine okur; karıştırma, çarpık veri, bellek ve birleştirme stratejilerini ayarlar, yapılandırılmış akışla durumlu ve pencereli gerçek zamanlı tespit kurarsın.
Ne öğreneceksin
- Yürütme modeli
- Performans
- Akış işleme
- Üretim
Ön koşullar
Aynı yolun 301 düzeyine kadar olan konularını uygulamış olmalısın.
Lab ortamı
Dersler, tarayıcında açılan sana özel bir Kali Linux terminalinde ve ona bağlı özel bir lab ağında geçer. Kurulum gerekmez.
Sık sorulan sorular
- Bu kurs benim düzeyime uygun mu?
- Kurs 401 düzeyindedir; daha düşük düzeydeki kursların konularını bildiğin varsayılır.
- Kurulum gerekir mi?
- Hayır. Her ders tarayıcında açılan sana özel bir lab ortamında geçer.
- Dersler nasıl işleniyor?
- Her ders 8 ile 10 adımdan ve bir kısa sınavdan oluşur. İlk adımlarda yazman gereken komut gösterilir, sonraki adımlarda yardım azalır; iki denemede takılırsan çözüm açılır.
- Ücretsiz deneyebilir miyim?
- Evet. Her kursun ilk üç dersi ücretsizdir.