Veri analizi ve büyük veri

38 kurs, 642 ders. Tarayıcıda gerçek Kali Linux labı.

Veri analizine giriş (Seviye 101, 18 ders): Veri nedir, nasıl soru sorulur, tablo nasıl okunur; güvenlik kayıtlarından ilk analizini komut satırında yapıp kısa bir rapora dönüştürürsün.
Komut satırında veri analizi (Seviye 101, 17 ders): cut, sort, uniq, awk, jq ve csvkit ile CSV ve JSON verisini ağır bir program kurmadan süzer, sayar, birleştirir ve özetlersin.
Analistler için istatistik temelleri (Seviye 101, 17 ders): Ortalama, ortanca, yayılım, yüzdelik ve oranları gerçek olay verisi üzerinde hesaplar; sayıların ne zaman yanılttığını fark edersin.
Veri analizi için Python ve Jupyter (Seviye 101, 17 ders): Jupyter defterinde çalışmayı, Python’un csv, json ve datetime modülleriyle kayıt okumayı ve analizini tekrarlanabilir bir deftere dönüştürmeyi öğrenirsin.
Büyük veriye giriş (Seviye 101, 17 ders): Verinin neden tek makineye sığmadığını, dağıtık depolama ve işlemenin temel fikirlerini, toplu ve akış işleme farkını ve modern veri mimarisinin parçalarını öğrenirsin.
NumPy ile sayısal veri işleme (Seviye 201, 17 ders): Büyük sayı kümelerini hızlı işlemeyi ve olay sayıları üzerinde basit istatistik çıkarmayı öğrenirsin.
Pandas ile veri analizi ve log inceleme (Seviye 201, 22 ders): Tablo biçimindeki veriyi okur, temizler ve özetlersin; güvenlik loglarından anlamlı rapor çıkarırsın.
Matplotlib ile veri görselleştirme (Seviye 201, 17 ders): Veriyi okunaklı grafiklere dönüştürür, güvenlik olaylarını yöneticiye anlatan görseller hazırlarsın.
Hadoop ve HDFS: dağıtık depolama ve toplu işleme (Seviye 201, 19 ders): Tek makineye sığmayan log verisini HDFS’te saklar, izinlerle korur ve toplu işlerle işlersin.
Hive ile büyük veride SQL (Seviye 201, 18 ders): HDFS’teki dosyaları SQL ile sorgular, bölümlendirir ve rapor tablolarına dönüştürürsün.
Veri temizleme ve hazırlama (Seviye 201, 18 ders): Kirli, eksik ve tutarsız veriyi bulur; biçimleri, zamanları ve kimlikleri standartlaştırır, temizliği belgeleyip tekrarlanabilir bir hazırlık betiği yazarsın.
Log ve metin verisini ayrıştırmak (Seviye 201, 19 ders): Syslog, web sunucusu, JSON ve Windows olay kayıtlarını düzenli ifadeler ve Python ile alanlarına ayırır, ortak bir şemaya dönüştürür ve analize hazırlarsın.
İstatistik 201: dağılımlar, korelasyon ve testler (Seviye 201, 16 ders): Olasılık, dağılımlar, güven aralıkları, hipotez testleri ve korelasyonla “bu fark gerçek mi” sorusunu veriyle yanıtlarsın.
DuckDB ile analitik SQL (Seviye 201, 19 ders): Sunucu gerektirmeyen DuckDB ile CSV, JSON ve Parquet dosyalarını doğrudan sorgular; pencere fonksiyonları, CTE ve zaman gruplamasıyla log analizi yaparsın.
Veriyle rapor yazmak ve anlatmak (Seviye 201, 16 ders): Analiz sonucunu okuyucusuna göre özetler, doğru grafiği seçer, bulgu–kanıt–öneri yapısında rapor yazar ve otomatik üretilen haftalık rapor hazırlarsın.
Scikit-learn ile makine öğrenmesi ve anomali tespiti (Seviye 301, 20 ders): Veriden öğrenen basit modeller kurar, değerlendirir ve güvenlik verisinde olağandışı davranışı bulmakta kullanırsın.
Apache Kafka ile olay akışları (Seviye 301, 18 ders): Log ve olay akışlarını Kafka ile toplar, tekrar oynatır ve güvenli biçimde tüketirsin.
Apache Spark ile büyük veri işleme (Seviye 301, 21 ders): PySpark ile büyük olay verisini okur, temizler, birleştirir ve tekrar çalıştırılabilir toplu işlere dönüştürürsün.
Pandas ileri düzey: yeniden şekillendirme ve performans (Seviye 301, 17 ders): Çok düzeyli indeksler, yeniden şekillendirme, pencere hesapları, parça parça işleme ve bellek ile hız iyileştirmeleriyle milyonlarca satırlık log verisini analiz edersin.
İleri görselleştirme: seaborn, Plotly ve panolar (Seviye 301, 18 ders): seaborn ile istatistiksel grafikler, Plotly ile etkileşimli görseller ve küçük bir pano uygulamasıyla güvenlik verisini keşfedilebilir hâle getirirsin.
Olay verisinde zaman serisi analizi (Seviye 301, 16 ders): Olay sayılarını zaman serisine çevirir; mevsimsellik, eğilim, sıçrama ve düzenli aralıklı iletişimi (beaconing) bulur, basit tahminlerle beklenen düzeyi belirlersin.
Airflow ile veri hatları (Seviye 301, 17 ders): ETL ve ELT kavramlarından başlayarak Apache Airflow ile zamanlanmış, yeniden denenebilir, izlenebilir ve güvenli veri hatları kurarsın.
Veri kalitesi ve doğrulama (Seviye 301, 16 ders): Veri kalitesinin boyutlarını ölçer, şema ve iş kuralı testleri yazar, hattın içine kalite kapıları koyar ve kalite sorunlarını kökünden izlersin.
Güvenlik kayıtlarının analizi (Seviye 301, 18 ders): Kimlik doğrulama, uç nokta, ağ, DNS, proxy ve web kayıtlarını Pandas ve SQL ile analiz eder; kaba kuvvet, imkânsız yolculuk, yanal hareket ve veri sızdırma izlerini bulursun.
Veri gölü tasarımı (Seviye 301, 16 ders): Ham, temiz ve sunum katmanlarıyla bir veri gölü tasarlar; nesne depolama, Parquet, bölümleme, katalog ve erişim politikalarıyla güvenlik verisini düzenli ve ucuz saklarsın.
Hadoop kümesi işletmesi ve güvenliği (Seviye 301, 16 ders): HDFS ve YARN’ı işletir; yüksek erişilebilirlik, kaynak kuyrukları, Kerberos, Ranger politikaları, denetim kayıtları ve yedeklerle kümeyi güvenli ve ayakta tutarsın.
Vaka çalışmaları: veriyle olay incelemesi (Seviye 301, 15 ders): Gerçekçi altı olay vakasını yalnızca veri kümeleriyle inceler; soruyu kurar, kanıtı sorgular, zaman çizelgesi çıkarır ve bulgunu raporlarsın.
Spark ileri düzey: performans ve akış işleme (Seviye 401, 17 ders): Spark yürütme modelini derinlemesine okur; karıştırma, çarpık veri, bellek ve birleştirme stratejilerini ayarlar, yapılandırılmış akışla durumlu ve pencereli gerçek zamanlı tespit kurarsın.
Kafka ileri düzey: Connect, Streams ve işletme (Seviye 401, 16 ders): Kafka Connect ile kaynak ve hedef bağlar, şema kayıt defteriyle sözleşmeli olaylar üretir, Kafka Streams ile zenginleştirme yapar; kümeyi güvenli, gözlemlenebilir ve felakete dayanıklı işletirsin.
Güvenlik verisinde ileri anomali tespiti (Seviye 401, 15 ders): Kullanıcı ve varlık davranışını özniteliklere dönüştürür; istatistiksel, yoğunluk ve ağaç tabanlı yöntemleri karşılaştırır, alarm yorgunluğunu azaltan, açıklanabilir bir tespit hattı kurarsın.
Tehdit avı için veri analizi (Seviye 401, 17 ders): Hipotez odaklı av yöntemiyle büyük log kümelerinde istifleme, sıklık, zaman ve ilişki analizi yapar; bulguyu tekrar kullanılabilir tespit kuralına ve av raporuna dönüştürürsün.
Analitikte veri gizliliği ve güvenliği (Seviye 401, 16 ders): Analiz verisini en aza indirir; maskeleme, takma adlandırma, k-anonimlik ve farksal gizlilik uygular, yeniden tanımlama riskini ölçer ve erişimi denetlenebilir hâle getirirsin.
Veri hattı güvenliği ve işletmesi (Seviye 401, 15 ders): Veri hatlarının tehdit modelini çıkarır; sır, kimlik, ağ, bütünlük ve soy ağacı denetimleriyle hattı korur, izler ve olay anında müdahale edersin.
Açık tablo biçimleri: Apache Iceberg (Seviye 401, 15 ders): Apache Iceberg tablolarıyla veri gölüne işlem güvencesi, şema ve bölüm evrimi, zaman yolculuğu ve geri alma eklersin; silme talepleri ve denetim için tablo geçmişini kullanırsın.
İş rolü bitirme: güvenlik veri analisti (Seviye 401, 12 ders): Bir güvenlik veri analistinin bir haftasını yaşarsın: veri talebi, temizlik, analiz, kural ayarı, pano, rapor ve akran gözden geçirmesi.
Güvenlik veri platformu tasarlamak (Seviye 501, 17 ders): Bir kurumun tüm güvenlik verisini toplayan, saklayan, işleyen ve sunan platformu gereksinimden mimariye, maliyetten yönetişime kadar tasarlar ve küçük ölçekte kurarsın.
Ölçekte tespit: akış analitiği ve korelasyon (Seviye 501, 15 ders): Milyonlarca olay arasında tespit kurallarını akışta çalıştırır; durumlu korelasyon, zenginleştirme, puanlama ve kod olarak tespit yaklaşımıyla ölçeklenen bir tespit motoru kurarsın.
İş rolü bitirme: güvenlik veri mühendisi (Seviye 501, 12 ders): Bir güvenlik veri mühendisi olarak yeni bir log kaynağını devreye alır, hattı kurar, kalite ve gizlilik denetimi ekler, gece yarısı arızasını çözer ve devri belgelersin.

Projeler

Komut satırında mağaza satış özeti: Turnalı Perakende'nin mağazalardan gelen satış CSV dosyalarını komut satırı araçlarıyla birleştirir, süzer ve gruplar, mağaza bazında haftalık bir özet tablosu çıkarırsın.
Defterde klinik bekleme süreleri çözümlemesi: Lavinya Klinikleri'nin randevu kayıtlarını bir Jupyter defterinde inceler, şube bazında ortalama, ortanca ve yayılımı hesaplar ve bulguları grafiklerle açıklarsın.
Büyük CSV'yi Parquet'e çevir ve farkı ölç: Kuzeyyıldızı Kargo'nun milyonlarca satırlık gönderi dosyasını Parquet biçimine çevirir, boyut ve sorgu süresi farkını ölçer ve hangi biçimin neden seçileceğini anlatan kısa bir not yazarsın.
Dağınık müşteri kayıtlarını Pandas ile temizle: Karaçam Mobilya'nın yinelenen, eksik ve tutarsız biçimli müşteri kayıtlarını Pandas ile temizler, yaptığın her dönüşümü ve etkilenen satır sayısını bir temizlik kaydında belgelendirirsin.
Web sunucusu kayıtlarından trafik raporu: Selvikent Belediyesi'nin web sunucusu erişim kayıtlarını tabloya dönüştürür, en çok istenen sayfaları, hata oranlarını ve saatlik yükü hesaplar ve grafiklerle bir trafik raporu hazırlarsın.
DuckDB ile sayaç tüketimi çözümlemesi: Demirsu Enerji'nin Parquet dosyalarındaki sayaç okumalarını DuckDB ile sorgular, pencere fonksiyonlarıyla günlük tüketimi ve olağan dışı sıçramaları bulur ve sonuç tablolarını dışa aktarırsın.
İki kampanyayı istatistik testiyle karşılaştır: Ayçiçeği Gıda'nın iki farklı kampanya denemesinin sonuçlarını karşılaştırır, uygun testi seçip uygular, güven aralığını hesaplar ve yöneticiler için bir karar notu yazarsın.
Çağrı merkezi kayıtlarını HDFS'e yükle ve Hive ile sorgula: Yakamoz Telekom'un çağrı merkezi kayıtlarını HDFS'e yükler, Hive'da bölümlenmiş tablolar tanımlar ve en sık arıza türleri ile çözüm sürelerini veren sorguları yazarsın.
Yönetim için aylık doluluk raporu hazırla: Mercanköşk Otelcilik'in rezervasyon verisinden aylık doluluk raporu hazırlar, doğru grafik türlerini seçer, ana mesajı öne çıkarır ve raporu tek komutla yeniden üretilebilir yaparsın.
Oturum açma kayıtlarında anomali tespiti: Yelkovan Bankası'nın hazırlanmış oturum açma kayıtlarından özellikler çıkarır, Scikit-learn ile bir anomali modeli eğitir, sonuçları etiketli örneklerle değerlendirir ve şüpheli oturumları gerekçesiyle raporlarsın.
Airflow ile kalite kapılı günlük veri hattı: Mavikaya Lojistik'in günlük sevkiyat dosyalarını alan, doğrulayan ve yükleyen bir Airflow iş akışı yazar, şema ve değer kurallarını geçemeyen veriyi ayırır ve bozuk bir günü yeniden çalıştırırsın.
Kafka ile üretim hattı olay akışı: Ilgıntepe Tekstil'in dokuma makinelerinden gelen olaylar için Kafka konularını tasarlar, üretici ve tüketici programlarını yazar, tüketici grubuyla ölçekler ve bir tüketici düşünce veri kaybolmadığını gösterirsin.
Olay kayıtlarından zaman çizelgesi ve etkileşimli pano: Saklıvadi Üniversitesi'nde yaşanmış bir kesintiye ait hazırlanmış kayıtları zaman serisi olarak inceler, olayın başlangıcını ve yayılışını bulur ve bunu gösteren etkileşimli bir pano hazırlarsın.
Spark ile uygulama kullanım oturumlarını çıkar: Göktaşı Yazılım'ın uygulama kullanım kayıtlarını yerel kipte PySpark ile işler, tıklamaları oturumlara böler, oturum ölçütlerini hesaplar ve sonucu bölümlenmiş Parquet olarak yazarsın.
Hazırlanmış kurum kayıtlarında tehdit avı çalışması: Lodoskaya Denizcilik'in hazırlanmış kimlik doğrulama, vekil ve uç nokta kayıtları üzerinde üç av varsayımı kurar, DuckDB ve çizge çözümlemesiyle sınar ve kanıtlarıyla bir av raporu yazarsın.
Öğrenci verisinden gizliliği korunan çözümleme kümesi üret: Gelincik Okulları'nın öğrenci başarı verisini çözümlemeye açmadan önce takma adlandırır, genelleştirir ve yeniden tanımlama riskini ölçer, alınan önlemleri bir gizlilik notunda açıklarsın.
Veri hattının güvenlik denetimi ve sıkılaştırması: Yakamoz Telekom'un lab ortamındaki iş akışı, nesne deposu ve ileti kuyruğundan oluşan veri hattını denetler, açıkta duran gizli bilgileri, geniş yetkileri ve şifresiz bağlantıları giderir ve denetim raporunu yazarsın.
Akan veride ilişkilendirme kurallarıyla tespit: Yelkovan Bankası'nın Kafka'dan akan kimlik doğrulama ve işlem olaylarını Spark yapılandırılmış akışla işler, iki ilişkilendirme kuralı yazar, geç gelen olayları ele alır ve yük altında gecikmeyi ölçersin.