Log ve metin verisini ayrıştırmak
Syslog, web sunucusu, JSON ve Windows olay kayıtlarını düzenli ifadeler ve Python ile alanlarına ayırır, ortak bir şemaya dönüştürür ve analize hazırlarsın.
Seviye 201 · 19 ders · 15 pratik lab
Dersler
Log biçimleri
- Neden ayrıştırma: metinden alana
- Syslog biçimi: öncelik, zaman, makine, mesaj
- Web erişim kayıtları: ortak ve birleşik biçim
- Yapılı JSON kayıtlar
- Windows olay kayıtları: olay kimliği ve alanlar
- Kısa görev: karışık dosyalardaki log biçimlerini tanı
Düzenli ifadeler
- Düzenli ifadeye giriş: karakter, sınıf, tekrar
- Gruplar ve adlandırılmış yakalama
- Açgözlü eşleşme, kaçış ve yavaş ifadeler
- Python re modülüyle ayrıştırmak
- Kısa görev: SSH kayıtlarından kullanıcı ve IP çıkar
Ortak şema
- Ortak alan adları: kaynak IP, kullanıcı, eylem, sonuç
- Farklı zaman biçimlerini birleştirmek
- Çok satırlı ve bozuk kayıtlar
- Zenginleştirme: varlık ve kullanıcı tablolarıyla eşleme
- Kısa görev: iki kaynağı tek şemaya dönüştür
Ölçek ve güvenilirlik
- Büyük dosyaları belleğe almadan işlemek
- Log enjeksiyonu: kayıttaki veriye güvenmemek
- Bitirme görevi: dört kaynaktan birleşik olay tablosu
Pratik lablar
- Syslog satırını parçala: Beş syslog satırında öncelik, zaman, ana makine, süreç ve mesaj alanlarını ayırıp bir tabloya yaz.
- Combined biçimden alan çıkar: Combined biçimli bir web kaydından yönlendiren ve kullanıcı ajanı dahil tüm alanları CSV'ye çevir.
- Windows olaylarında anlamlı alanlar: Dışa aktarılmış Windows olay kayıtlarında 4624, 4625 ve 4720 olaylarından oturum türü, hesap ve kaynak adresi çıkarıp özetle.
- Kullanıcı ve IP'yi yakala: Bir FTP sunucusu kaydından gruplu düzenli ifadeyle kullanıcı adı ve kaynak IP'yi çıkarıp sayımlarını yaz.
- Adlandırılmış gruplarla ayrıştırıcı: Bir posta sunucusu kaydı için adlandırılmış grupları kullanan, gönderen, alıcı ve durum alanlarını sözlük olarak döndüren bir Python işlevi yaz.
- Yavaş deseni hızlandır: Uzun satırlarda takılan açgözlü bir düzenli ifadeyi aynı sonucu verecek biçimde yeniden yazıp iki sürümün süresini ölç.
- Alan adlarını ortak şemaya eşle: Üç kaynaktaki src, client_ip ve remote_addr gibi alanları ortak şema adlarına eşleyen bir eşleme tablosu hazırla.
- Çok satırlı kayıtları birleştir: Yığın izi gibi birden çok satıra yayılmış uygulama hatalarını tek kayda birleştirip hata türü başına sayımı çıkar.
- Varlık tablosuyla zenginleştir: Ayrıştırılmış güvenlik duvarı olaylarını varlık ve kullanıcı tablolarıyla zenginleştirip sahibi bilinmeyen kaynakları ayrı listele.
- Akışla satır satır işle: Belleğe yüklemeden çok büyük bir kayıt dosyasını üreteçle okuyup durum kodlarını sayan bir betik yaz.
- Sıkıştırılmış ve döndürülmüş dosyalar: Döndürülmüş ve kısmen gzip'lenmiş kayıt dosyalarını sırayla okuyup aradaki zaman boşluğunu bulan bir betik yaz.
- Log enjeksiyonunu tespit et: Kullanıcı ajanı alanına sahte satır sonu eklenerek üretilmiş sahte kayıtları bulup ayrıştırıcıyı bu saldırıya dayanıklı hâle getir.
- Syslog'da eksik yılı tamamla: Yıl bilgisi olmayan syslog zaman damgalarını dosya tarihinden yararlanarak tam ISO 8601 biçimine çevir.
- Dört zaman biçimini teke indir: Unix zamanı, Apache biçimi, ISO 8601 ve yerel saatli metni tek bir UTC sütununa çeviren bir işlev yazıp birim testiyle sına.
- Yılbaşında geriye giden kayıt: Yılbaşını aşan yılsız bir kayıtta sıranın bozulduğu yeri bulup yılı doğru atayarak olay süresini yeniden hesapla.
Kurs hakkında
Syslog, web sunucusu, JSON ve Windows olay kayıtlarını düzenli ifadeler ve Python ile alanlarına ayırır, ortak bir şemaya dönüştürür ve analize hazırlarsın.
Ne öğreneceksin
- Log biçimleri
- Düzenli ifadeler
- Ortak şema
- Ölçek ve güvenilirlik
Ön koşullar
Aynı yolun 101 düzeyindeki kurslarını bitirmiş olmak ya da o konuları biliyor olmak yeterlidir.
Lab ortamı
Dersler, tarayıcında açılan sana özel bir Kali Linux terminalinde geçer. Kurulum gerekmez; lab her derste temiz başlar.
Sık sorulan sorular
- Bu kurs benim düzeyime uygun mu?
- Kurs 201 düzeyindedir; daha düşük düzeydeki kursların konularını bildiğin varsayılır.
- Kurulum gerekir mi?
- Hayır. Her ders tarayıcında açılan sana özel bir lab ortamında geçer.
- Dersler nasıl işleniyor?
- Her ders 8 ile 10 adımdan ve bir kısa sınavdan oluşur. İlk adımlarda yazman gereken komut gösterilir, sonraki adımlarda yardım azalır; iki denemede takılırsan çözüm açılır.
- Ücretsiz deneyebilir miyim?
- Evet. Her kursun ilk üç dersi ücretsizdir.