Apache Kafka ile olay akışları
Log ve olay akışlarını Kafka ile toplar, tekrar oynatır ve güvenli biçimde tüketirsin.
Seviye 301 · 18 ders · 15 pratik lab
Dersler
Temeller
- Olay akışı neden gerekir: İstek-yanıt modeli ile olay akışı arasındaki farkı ve akışın güvenlik verisindeki yerini anlarsın.
- Konu, bölüm ve broker: Kafka’nın olayları nasıl böldüğünü ve sakladığını kavrar, kafka-topics ile konu oluşturup incelersin.
- Komut satırından olay üretmek ve okumak: kafka-console-producer ve kafka-console-consumer ile ilk olayı gönderip okursun.
- Kısa görev: alarm konusu açıp olay gönder
Sıra ve dağıtım
- Anahtarlar ve bölüm yönlendirmesi: Aynı anahtarlı olayların aynı bölüme gitmesini ve sırayı nasıl koruduğunu görürsün.
- Ofsetler ve olayları yeniden oynatmak: Tüketicinin nerede kaldığını izler, geçmiş olayları baştan yeniden okursun.
- Tüketici grupları ile iş paylaşımı: Birden çok tüketicinin bölümleri paylaşarak akışı birlikte işlemesini sağlarsın.
- Saklama süresi ve sıkıştırma: Olayların ne kadar tutulacağını ve eski kayıtların nasıl sadeleştirileceğini ayarlarsın.
- Kısa görev: olay saatini yeniden oynat
Python ile
- Python ile JSON olayı üretmek: Bir Python programından Kafka’ya yapılandırılmış olay gönderirsin.
- Python ile olayları okuyup kaydetmek: Olayları okur, doğrular ve yerel bir dosyaya yazarsın.
- Bozuk olaylar, yeniden teslim ve ölü mektup konusu: İşlenemeyen olayı ayrı bir konuya ayırır, yeniden teslimin yinelenen kayıt üretebileceğini hesaba katarsın.
- Kısa görev: olayları zenginleştirip başka konuya yaz
Güvenlik ve işletme
- Teslim garantileri ve yinelenen olayları ayıklamak: En az bir kez teslimin anlamını öğrenir, mantıksal olayları ham kayıtlardan ayırarak doğru sayarsın.
- Kafka güvenliği: TLS, SASL ve ACL: Trafiği şifrelemeyi, istemciyi doğrulamayı ve konu bazında yetki vermeyi öğrenirsin.
- Tüketici gecikmesini izlemek
- ACL ve erişim gözden geçirmesi
- Bitirme görevi: log toplama hattı: Log olaylarını bir konuya akıtır, tüketici gruplarıyla işler ve özet sayıları dosyaya yazarsın.
Pratik lablar
- Konu oluştur ve olay gönder: Kart okuyucu olayları için üç bölümlü bir konu oluşturup komut satırından on olay gönder ve baştan oku.
- Bölüm ve lider dağılımını incele: Var olan konuların bölüm sayısı, çoğaltma ve lider bilgisini çıkarıp yetersiz çoğaltılmış konuları raporla.
- Yanlış yapılandırılmış konuyu düzelt: Tek bölümlü ve bir günlük saklama ile kurulmuş bir denetim konusunu gereksinime göre yeniden yapılandırıp değişikliği doğrula.
- Anahtara göre sıralama: Aynı kullanıcının olaylarının sırasını korumak için anahtarlı gönderim yapıp hepsinin aynı bölüme düştüğünü göster.
- Belirli bir zamandan yeniden oku: Bir tüketici grubunun ofsetini olay saatine geri alıp o saatten sonraki olayları yeniden işle ve sayısını doğrula.
- Dengesiz tüketici grubu: Bir tüketicinin hiç bölüm almadığı grubu inceleyip bölüm ve tüketici sayısı ilişkisini düzeltip gecikmenin eridiğini göster.
- Saklama süresini ayarla: Bir ham log konusunun saklama süresini yedi güne indirip eski segmentlerin silindiğini doğrula.
- Sıkıştırmalı konuyla son durum: Cihaz durum güncellemeleri için sıkıştırmalı bir konu kurup her cihazın yalnızca son durumunun kaldığını göster.
- Silme işaretiyle kayıt kaldır: Sıkıştırmalı konuda bir kullanıcının kaydını silme işaretiyle kaldırıp sıkıştırma sonrası artık okunamadığını kanıtla.
- Python ile JSON olay üret: Python üreticisiyle şemaya uygun yüz giriş olayı gönderip tüketiciyle alanların doğru geldiğini kontrol et.
- Bozuk olayı ölü mektup konusuna at: Bozuk JSON gelince çökmek yerine olayı hata nedeniyle birlikte ölü mektup konusuna yazan bir tüketici yaz.
- Tekrar teslimde çift kaydı önle: Ofset işlemeden önce çöken bir tüketicinin yarattığı çift kayıtları olay kimliğiyle ayıklayan bir tüketici yazıp sonucu doğrula.
- Tüketici gecikmesini ölç: Tüm tüketici gruplarının gecikmesini listeleyip en çok geride kalan grubu ve bölümünü raporla.
- ACL ile konuya yalnız yazma izni: Toplayıcı hizmet hesabına yalnızca ham konuya yazma izni veren ACL'leri ekleyip başka konuyu okuyamadığını göster.
- Fazla geniş ACL'leri denetle: Mevcut ACL listesinde joker karakterli ve gereksiz yetkileri bulup en az yetki ilkesine göre düzeltme komutlarını yaz.
Kurs hakkında
Log ve olay akışlarını Kafka ile toplar, tekrar oynatır ve güvenli biçimde tüketirsin.
Ne öğreneceksin
- Temeller
- Sıra ve dağıtım
- Python ile
- Güvenlik ve işletme
Ön koşullar
Aynı yolun 101 ve 201 düzeyindeki konularına hâkim olmalısın.
Lab ortamı
Dersler, tarayıcında açılan sana özel bir Kali Linux terminalinde ve ona bağlı özel bir lab ağında geçer. Kurulum gerekmez.
Sık sorulan sorular
- Bu kurs benim düzeyime uygun mu?
- Kurs 301 düzeyindedir; daha düşük düzeydeki kursların konularını bildiğin varsayılır.
- Kurulum gerekir mi?
- Hayır. Her ders tarayıcında açılan sana özel bir lab ortamında geçer.
- Dersler nasıl işleniyor?
- Her ders 8 ile 10 adımdan ve bir kısa sınavdan oluşur. İlk adımlarda yazman gereken komut gösterilir, sonraki adımlarda yardım azalır; iki denemede takılırsan çözüm açılır.
- Ücretsiz deneyebilir miyim?
- Evet. Her kursun ilk üç dersi ücretsizdir.