Kafka ileri düzey: Connect, Streams ve işletme
Kafka Connect ile kaynak ve hedef bağlar, şema kayıt defteriyle sözleşmeli olaylar üretir, Kafka Streams ile zenginleştirme yapar; kümeyi güvenli, gözlemlenebilir ve felakete dayanıklı işletirsin.
Seviye 401 · 16 ders · 12 pratik lab
Dersler
Mimari derinlik
- KRaft: denetleyiciler ve üst veri
- Çoğaltma, ISR ve lider seçimi
- Üretici ayarları: toplu gönderim, sıkıştırma, idempotent
- Kısa görev: broker kaybında veri kaybını önle
Bağlantı ve şema
- Kafka Connect: kaynak ve hedef bağlayıcılar
- Şema kayıt defteri ve Avro
- Şema uyumluluk kuralları
- Kısa görev: syslog’u bağlayıcıyla konuya aktar
Akış uygulamaları
- Kafka Streams: akış ve tablo
- Akışı tabloyla zenginleştirmek
- Pencereli sayım ve geç gelen olaylar
- Kısa görev: olayları tehdit istihbaratıyla eşle
İşletme
- Kotalar ve çok kiracılı kullanım
- JMX ölçütleriyle izleme
- Kümeler arası yansıtma ve felaket kurtarma
- Bitirme görevi: kurumsal log omurgasını kur ve sağlamlaştır
Pratik lablar
- ISR durumunu oku: Konuların lider ve eşzamanlı kopya listelerini inceleyip eşzamanlı kopyası eksilen bölümleri raporla.
- Veri kaybetmeyen üretici ayarı: acks, min.insync.replicas ve idempotence ayarlarını bir broker kapatıldığında hiçbir olay kaybolmayacak biçimde yapılandırıp sayımla kanıtla.
- Lider seçimini gözle: Bir broker'ı durdurup lider seçimini, denetleyici kayıtlarını ve üreticinin kesinti süresini ölçerek raporla.
- Dosya kaynağı bağlayıcısı: Kafka Connect ile bir kayıt dosyasını konuya akıtan kaynak bağlayıcısını kurup bağlayıcı durumunu REST ile doğrula.
- Avro şeması kaydet ve doğrula: Bir giriş olayı için Avro şemasını kayıt defterine ekleyip şemaya uymayan olayın üretimde reddedildiğini göster.
- Uyumluluğu bozan şema değişikliği: Zorunlu alan ekleyen bir şema sürümünün neden reddedildiğini açıklayıp geriye uyumlu biçimde yeniden tasarla ve kaydet.
- Akışı süz ve yeniden yönlendir: Bir akış uygulamasıyla yalnızca yüksek önemdeki olayları ayrı bir konuya yönlendirip sayıları karşılaştır.
- Akışı tabloyla zenginleştir: Olay akışını varlık tablosuyla birleştirip her olaya sahip ve kritiklik bilgisini ekleyerek yeni konuya yaz.
- Pencereli sayım ve geç olaylar: Bir dakikalık pencerelerde kaynak başına sayım yapıp ek süre dışında gelen olayların nasıl ele alındığını test verisiyle göster.
- İstemciye kota koy: Gürültülü bir üreticiye bayt hızı kotası tanımlayıp kısılmanın ölçümlere yansıdığını göster.
- JMX ölçümlerinden sağlık panosu: Eksik çoğaltılmış bölüm, istek gecikmesi ve tüketici gecikmesi ölçümlerini toplayıp eşik aşanları listeleyen bir betik yaz.
- Kümeler arası yansıtma ve geçiş: Bir konuyu ikinci kümeye yansıtıp tüketiciyi yedek kümeye geçir ve ofset çevirisiyle olay kaybı olmadığını doğrula.
Kurs hakkında
Kafka Connect ile kaynak ve hedef bağlar, şema kayıt defteriyle sözleşmeli olaylar üretir, Kafka Streams ile zenginleştirme yapar; kümeyi güvenli, gözlemlenebilir ve felakete dayanıklı işletirsin.
Ne öğreneceksin
- Mimari derinlik
- Bağlantı ve şema
- Akış uygulamaları
- İşletme
Ön koşullar
Aynı yolun 301 düzeyine kadar olan konularını uygulamış olmalısın.
Lab ortamı
Dersler, tarayıcında açılan sana özel bir Kali Linux terminalinde ve ona bağlı özel bir lab ağında geçer. Kurulum gerekmez.
Sık sorulan sorular
- Bu kurs benim düzeyime uygun mu?
- Kurs 401 düzeyindedir; daha düşük düzeydeki kursların konularını bildiğin varsayılır.
- Kurulum gerekir mi?
- Hayır. Her ders tarayıcında açılan sana özel bir lab ortamında geçer.
- Dersler nasıl işleniyor?
- Her ders 8 ile 10 adımdan ve bir kısa sınavdan oluşur. İlk adımlarda yazman gereken komut gösterilir, sonraki adımlarda yardım azalır; iki denemede takılırsan çözüm açılır.
- Ücretsiz deneyebilir miyim?
- Evet. Her kursun ilk üç dersi ücretsizdir.