Büyük günlüklerle çalışmak: hız, ölçek ve doğruluk
Onlarca gigabaytlık günlükleri belleği taşırmadan ve doğru sonuçla işler; yerel ayar, sıralama, paralellik ve örnekleme kararlarını ölçerek verirsin.
Seviye 501 · 15 ders · 15 pratik lab
Dersler
Hız
- Boru hattını ölçmek: time, pv ve darboğaz
- LC_ALL=C: yerel ayarın hıza ve sonuca etkisi
- Büyük dosya sıralamak: bellek, geçici dizin ve paralellik
- Sıkıştırılmış günlüklerle doğrudan çalışmak: zgrep ve zstdcat
- Kısa görev: yirmi dakikalık raporu iki dakikaya indir
Ölçek
- Bölmek ve paralel işlemek: split ve parallel --pipe
- Akış ve toplu işleme: tail -F ile sürekli sayım
- Zaman aralığı kesmek: ikili aramayla hızlı dilimleme
- Birden çok sunucunun günlüğünü zamana göre birleştirmek
- Kısa görev: beş sunucunun günlüğünden tek bir zaman çizelgesi çıkar
Doğruluk
- Saat dilimleri ve saat kayması
- Yinelenen kayıtlar ve örnekleme: neyi kaybedersin
- Komut satırında yüzdelik ve dağılım hesaplamak
- Tekrarlanabilir analiz: komutları ve sürümleri kaydetmek
- Bitirme görevi: 30 GB'lık erişim günlüğünden kesinti raporunu hızlı ve doğru çıkar
Pratik lablar
- Yavaş boru hattının darboğazını bul: Beş aşamalı rapor boru hattının her aşamasını pv ve time ile ölç ve en yavaş aşamayı cevap olarak gir.
- Disk dolduran sıralamayı ayarla: Geçici dizini dolduran dev sıralamayı bellek sınırı, ayrı geçici dizin ve paralellik ayarlarıyla tamamlat.
- Yirmi dakikalık raporu iki dakikaya indir: Sıkıştırılmış günlükleri tekrar tekrar açan rapor betiğini tek geçişli hale getir ve sonucun aynı kaldığını kanıtla.
- Yerel ayarı değiştirerek sıralamayı hızlandır: Aynı sayımı varsayılan yerel ayarla ve LC_ALL=C ile çalıştır, süre farkını ve sonuç farkını raporla.
- Yanıt sürelerinin yüzdelik değerlerini hesapla: Erişim günlüğünden yanıt sürelerinin ortanca, yüzde doksan beş ve yüzde doksan dokuz değerlerini komut satırında hesapla.
- En çok istek atanları sabit bellekle bul: Belleğe sığmayan erişim günlüğünde en çok istek atan yirmi adresi, bellek kullanımını belirlenen sınırın altında tutarak bul ve sonucu doğrula.
- Sıkıştırılmış günlüklerde açmadan satır say: Bir haftalık döndürülmüş gzip günlüklerinde 500 yanıtlarını diske açmadan say ve gün başına sayıları listele.
- Sıkıştırılmış günlükleri açmadan ara: gzip ve zstd ile sıkıştırılmış aylık günlüklerde bir istek kimliğini diske açmadan bul ve geçtiği dosyaları listele.
- Akan günlükte dakikalık hata sayacı çalıştır: Dönen günlük dosyasını tail -F ile izleyip dakika başına hata sayısını yazan, dosya değişiminde kopmayan sayaç kur.
- Büyük dosyayı parçalara bölüp paralel say: Tek dosyalık dev günlükte durum kodlarını parallel --pipe ile parçalar halinde say ve sonuçları birleştir.
- Zaman aralığını tüm dosyayı okumadan kes: Zaman sıralı dev günlükte kesinti aralığının başlangıç ve bitiş konumlarını ikili aramayla bul ve o parçayı çıkar.
- Beş sunucunun günlüklerinden tek zaman çizelgesi kur: Beş sunucunun ayrı ayrı sıralı günlüklerini sunucu adı ekleyerek yeniden sıralamadan zamana göre birleştir.
- Farklı saat dilimlerindeki günlükleri hizala: Biri yerel saatle diğeri UTC ile yazan iki sunucunun günlüklerini UTC'ye çevir ve olayların gerçek sırasını çıkar.
- Yinelenen kayıtların sayımı nasıl bozduğunu göster: Yeniden gönderim yüzünden çift yazılmış kayıtları istek kimliğiyle ayıkla ve düzeltilmiş hata oranını hesapla.
- Dev erişim günlüğünden kesinti raporu çıkar: Kesintinin başlangıcını, süresini, etkilenen istek oranını ve en çok etkilenen adresleri bulup kullandığın komutlarla birlikte raporla.
Kurs hakkında
Onlarca gigabaytlık günlükleri belleği taşırmadan ve doğru sonuçla işler; yerel ayar, sıralama, paralellik ve örnekleme kararlarını ölçerek verirsin.
Ne öğreneceksin
Ön koşullar
Aynı yolun 401 düzeyine kadar olan konularında deneyimli olmalısın.
Lab ortamı
Dersler, tarayıcında açılan sana özel bir Kali Linux terminalinde geçer. Kurulum gerekmez; lab her derste temiz başlar.
Sık sorulan sorular
- Bu kurs benim düzeyime uygun mu?
- Kurs 501 düzeyindedir; daha düşük düzeydeki kursların konularını bildiğin varsayılır.
- Kurulum gerekir mi?
- Hayır. Her ders tarayıcında açılan sana özel bir lab ortamında geçer.
- Dersler nasıl işleniyor?
- Her ders 8 ile 10 adımdan ve bir kısa sınavdan oluşur. İlk adımlarda yazman gereken komut gösterilir, sonraki adımlarda yardım azalır; iki denemede takılırsan çözüm açılır.
- Ücretsiz deneyebilir miyim?
- Evet. Her kursun ilk üç dersi ücretsizdir.