Scikit-learn ile makine öğrenmesi ve anomali tespiti
Veriden öğrenen basit modeller kurar, değerlendirir ve güvenlik verisinde olağandışı davranışı bulmakta kullanırsın.
Seviye 301 · 20 ders · 18 pratik lab
Dersler
Hazırlık
- Makine öğrenmesi nedir: gözetimli ve gözetimsiz: Modelin örneklerden nasıl öğrendiğini, sınıflandırma ile regresyon farkını ve güvenlikteki kullanımlarını anlarsın.
- Kurulum ve veriyi tanımak: Scikit-learn’ü kurar, hazır bir veri kümesini yükleyip özelliklerini ve etiketlerini incelersin.
- Ön işleme: ölçekleme ve kategorik veri: Sayısal sütunları ölçekler, kategorik sütunları sayıya çevirirsin.
- Eğitim ve test ayrımı, veri sızıntısı: Veriyi dürüst biçimde ayırır, test bilgisinin eğitime sızdığı hataları tanırsın.
- Kısa görev: oturum açma verisinden öznitelik tablosu
İlk modeller
- Doğrusal regresyon: Sürekli bir değeri, örneğin sunucu yükünü, doğrusal bir modelle tahmin edersin.
- En yakın komşu (KNN) sınıflandırıcısı: Bir kaydı en benzer komşularına bakarak sınıflandırır, k değerinin etkisini denersin.
- Lojistik regresyon ile iki sınıflı karar: Bir e-postanın zararlı olup olmadığı gibi evet/hayır sorusunu olasılıkla yanıtlarsın.
- Karar ağaçları ve rastgele ormanlar: Kuralları ağaç olarak öğrenen modelleri kurar, özelliklerin önem sırasını okursun.
- Kısa görev: oltalama URL sınıflandırıcısı
Değerlendirme
- Başarı ölçütleri: karışıklık matrisi, kesinlik, duyarlılık: Yanlış alarm ile kaçırılan olayın maliyetini ayırt eder, doğruluk oranının neden yanıltabileceğini görürsün.
- Çapraz doğrulama: Modelin başarısını birden çok bölünmede ölçerek tek şansa bağlı sonuçlardan kaçınırsın.
- Pipeline ve hiperparametre ayarı: Ön işleme ve modeli tek hatta birleştirir, en iyi ayarı ızgara aramasıyla bulursun.
- Dengesiz veri: nadir saldırıları kaçırmamak
- Kısa görev: alarm eşiğini seç
Güvenlikte kullanım
- Isolation Forest ile anomali tespiti: Etiketsiz giriş verisinde olağandışı davranan hesapları işaretleyen bir model kurarsın.
- Modeli kaydetmek ve güvenle yüklemek: Modeli joblib ile saklar, güvenilmeyen kaynaktan model dosyası yüklemenin neden tehlikeli olduğunu açıklarsın.
- Sınırlar: yanıltma girişimleri ve veri gizliliği: Modelin kandırılabileceğini, eğitim verisindeki kişisel bilginin sızabileceğini ve ne zaman insan denetimi gerektiğini bilirsin.
- Kümeleme: K-means ile davranış grupları
- Bitirme görevi: şüpheli oturum açma dedektörü: Bir giriş günlüğünden özellik çıkarır, anomali modelini kurar ve sonuçları ölçütleriyle raporlarsın.
Pratik lablar
- Ham olaylardan öznitelik tablosu: Dosya erişim olaylarından kullanıcı başına saat, hacim ve farklı klasör sayısı öznitelikleri çıkarıp features.csv oluştur.
- Ölçekleme ve kategorik kodlama: Sayısal ve kategorik sütunları ColumnTransformer ile ölçekleyip kodlayarak modelin kullanabileceği bir matris üret.
- Veri sızıntısını yakala: Gerçek dışı yüksek doğruluk veren bir modelde hedefi sızdıran özniteliği ve yanlış bölünmüş zaman verisini bulup düzeltilmiş skoru raporla.
- KNN ile cihaz türü tahmini: Ağ davranışı özniteliklerinden KNN ile cihaz türünü tahmin edip k değerinin doğruluğa etkisini tablo hâlinde yaz.
- Lojistik regresyonla spam ayrımı: E-posta öznitelikleriyle lojistik regresyon kurup en etkili beş özniteliği katsayılarıyla açıkla.
- Karar ağacı ve rastgele orman kıyası: Kötü amaçlı dosya öznitelikleri üzerinde karar ağacı ve rastgele ormanı kıyaslayıp aşırı öğrenmeyi eğitim-test farkıyla göster.
- Karmaşıklık matrisini oku: Bir tespit modelinin karmaşıklık matrisinden kesinlik, duyarlılık ve yanlış pozitif sayısını hesapla.
- Analist kapasitesine göre eşik: Günde en fazla 50 uyarı bakabilen bir ekip için olasılık eşiğini seçip yakalanan saldırı oranını raporla.
- Dengesiz veride çapraz doğrulama: Saldırıların yüzde birden az olduğu bir veride katmanlı çapraz doğrulama ve sınıf ağırlıklarıyla modeli iyileştirip PR-AUC değişimini göster.
- Önişleme ve modeli tek hatta topla: Ayrı ayrı yazılmış önişleme ve model adımlarını tek bir Pipeline nesnesinde birleştirip aynı skoru verdiğini göster.
- Izgara aramasıyla ayar: GridSearchCV ile bir rastgele ormanın iki parametresini ayarlayıp en iyi değerleri ve skor artışını raporla.
- Modeli güvenle kaydet ve yükle: Eğitilmiş modeli sürüm ve özet bilgisiyle kaydedip yüklerken karma doğrulaması yapan, güvenilmeyen dosyayı reddeden bir yükleyici yaz.
- Isolation Forest ile tuhaf oturumlar: VPN oturumlarında Isolation Forest çalıştırıp en tuhaf on oturumu ve onları tuhaf kılan öznitelikleri listele.
- K-means ile davranış grupları: Kullanıcıların çalışma saati ve uygulama kullanımına göre K-means kümeleri kurup her kümeye anlamlı bir ad ver.
- Kaçınma girişimine dayanıklılık: Saldırganın öznitelikleri azar azar değiştirdiği örneklerle modeli sınayıp hangi özniteliğin kolay kandırıldığını ve önlemini yaz.
- Doğrusal regresyonla disk büyümesi: Log sunucusunun günlük disk kullanımına doğrusal regresyon uydurup diskin kaç gün sonra dolacağını tahmin et.
- Tahmin hatasını ölç: Bilet çözüm süresi tahmin modelinin MAE ve RMSE değerlerini hesaplayıp hatanın en büyük olduğu bilet türünü bul.
- Zamana göre doğru bölme: Rastgele bölünmüş bir trafik tahmin modelini zaman sıralı bölmeye geçirip gerçekçi skoru ve farkın nedenini açıkla.
Kurs hakkında
Veriden öğrenen basit modeller kurar, değerlendirir ve güvenlik verisinde olağandışı davranışı bulmakta kullanırsın.
Ne öğreneceksin
- Hazırlık
- İlk modeller
- Değerlendirme
- Güvenlikte kullanım
Ön koşullar
Aynı yolun 101 ve 201 düzeyindeki konularına hâkim olmalısın.
Lab ortamı
Dersler, tarayıcında açılan sana özel bir Kali Linux terminalinde geçer. Kurulum gerekmez; lab her derste temiz başlar.
Sık sorulan sorular
- Bu kurs benim düzeyime uygun mu?
- Kurs 301 düzeyindedir; daha düşük düzeydeki kursların konularını bildiğin varsayılır.
- Kurulum gerekir mi?
- Hayır. Her ders tarayıcında açılan sana özel bir lab ortamında geçer.
- Dersler nasıl işleniyor?
- Her ders 8 ile 10 adımdan ve bir kısa sınavdan oluşur. İlk adımlarda yazman gereken komut gösterilir, sonraki adımlarda yardım azalır; iki denemede takılırsan çözüm açılır.
- Ücretsiz deneyebilir miyim?
- Evet. Her kursun ilk üç dersi ücretsizdir.