Hadoop kümesi işletmesi ve güvenliği
HDFS ve YARN’ı işletir; yüksek erişilebilirlik, kaynak kuyrukları, Kerberos, Ranger politikaları, denetim kayıtları ve yedeklerle kümeyi güvenli ve ayakta tutarsın.
Seviye 301 · 16 ders · 12 pratik lab
Dersler
Kümeyi işletmek
- Düğüm rolleri ve yapılandırma dosyaları
- Küme sağlığı: dfsadmin raporu ve ölçütler
- Dengeleyici ve düğüm çıkarma
- NameNode yüksek erişilebilirliği
- Kısa görev: arızalı düğümü güvenle çıkar
Kaynak yönetimi
- YARN kuyrukları ve kapasite planlayıcı
- İş günlükleri ve teşhis
- Kısa görev: SOC işleri için ayrılmış kuyruk
Güvenlik
- Kerberos ile kimlik doğrulama
- Keytab ve servis kimlikleri
- Ranger ile merkezî yetki politikaları
- Veri aktarımında şifreleme
- HDFS denetim kaydını incelemek
- Kısa görev: kullanıcı erişimini Kerberos’a taşı
Kurtarma
- DistCp ile yedek ve kümeler arası kopya
- Bitirme görevi: devralınan kümenin işletme ve güvenlik denetimi
Pratik lablar
- Küme sağlık raporu: dfsadmin raporundan canlı ve ölü düğümleri, kullanılan kapasiteyi ve eksik çoğaltılmış blok sayısını çıkarıp özetle.
- Dengesiz düğümleri dengele: Bir DataNode'un dolup diğerinin boş kaldığı kümede dengeleyiciyi uygun eşikle çalıştırıp önceki ve sonraki dağılımı göster.
- Düğümü veri kaybetmeden devreden çıkar: Arızalanmak üzere olan DataNode'u devreden çıkarma sürecine alıp blokların taşındığını ve eksik çoğaltma kalmadığını fsck ile kanıtla.
- Kuyruk kullanımını oku: Kapasite zamanlayıcısının kuyruk durumundan hangi kuyruğun dolu, hangisinin boş olduğunu ve bekleyen uygulamaları raporla.
- Güvenlik işleri için ayrı kuyruk: Güvenlik ekibine garantili yüzde 30 kapasite veren bir kuyruk tanımlayıp iş gönderimini yalnızca bu ekibin grubuna aç.
- Kümeyi tıkayan işi bul: Tüm kaynakları tüketip diğer işleri bekleten uygulamayı bulup kuyruk sınırlarını bir kullanıcının kümeyi tekeline alamayacağı biçimde ayarla.
- Bilet al ve doğrula: Verilen keytab ile Kerberos bileti alıp HDFS'e kimlik doğrulamalı erişimi ve biletin bitiş zamanını göster.
- Hizmet hesabı için keytab hazırla: Bir toplama işi için hizmet ilkesi ve keytab oluşturup dosya izinlerini yalnızca hizmet kullanıcısının okuyacağı biçimde ayarla.
- Denetim kaydından yetkisiz erişimi bul: HDFS denetim kaydında reddedilen erişimleri ve hassas klasörü okuyan beklenmedik hesabı bulup zaman çizelgesiyle raporla.
- DistCp ile klasör kopyala: Günlük arşiv klasörünü DistCp ile yedek konumuna kopyalayıp dosya sayısı ve toplam boyutun eşleştiğini doğrula.
- Yalnızca değişeni kopyala: DistCp'yi güncelleme ve anlık görüntü farkı seçenekleriyle çalıştırıp yalnızca değişen dosyaların aktarıldığını günlükten göster.
- Yedekten geri dönüş tatbikatı: Silinmiş bir haftalık veriyi yedek konumundan geri yükleyip sağlama karşılaştırmasıyla bütünlüğü ve geçen süreyi raporla.
Kurs hakkında
HDFS ve YARN’ı işletir; yüksek erişilebilirlik, kaynak kuyrukları, Kerberos, Ranger politikaları, denetim kayıtları ve yedeklerle kümeyi güvenli ve ayakta tutarsın.
Ne öğreneceksin
- Kümeyi işletmek
- Kaynak yönetimi
- Güvenlik
- Kurtarma
Ön koşullar
Aynı yolun 101 ve 201 düzeyindeki konularına hâkim olmalısın.
Lab ortamı
Dersler, tarayıcında açılan sana özel bir Kali Linux terminalinde ve ona bağlı özel bir lab ağında geçer. Kurulum gerekmez.
Sık sorulan sorular
- Bu kurs benim düzeyime uygun mu?
- Kurs 301 düzeyindedir; daha düşük düzeydeki kursların konularını bildiğin varsayılır.
- Kurulum gerekir mi?
- Hayır. Her ders tarayıcında açılan sana özel bir lab ortamında geçer.
- Dersler nasıl işleniyor?
- Her ders 8 ile 10 adımdan ve bir kısa sınavdan oluşur. İlk adımlarda yazman gereken komut gösterilir, sonraki adımlarda yardım azalır; iki denemede takılırsan çözüm açılır.
- Ücretsiz deneyebilir miyim?
- Evet. Her kursun ilk üç dersi ücretsizdir.