Büyük veriye giriş
Verinin neden tek makineye sığmadığını, dağıtık depolama ve işlemenin temel fikirlerini, toplu ve akış işleme farkını ve modern veri mimarisinin parçalarını öğrenirsin.
Seviye 101 · 17 ders · 15 pratik lab
Dersler
Kavramlar
- Büyük veri nedir: hacim, hız, çeşitlilik
- Dikey ve yatay ölçekleme
- Dağıtık sistemin temelleri: düğüm, bölüm, kopya
- Arızalar ve tutarlılık ödünleşimi
- Kısa görev: bir kurumun günlük log hacmini hesapla
Depolama ve biçimler
- Satır ve sütun tabanlı depolama
- Dosya biçimleri: CSV, JSON, Avro, Parquet
- Sıkıştırma ve bölünebilir dosyalar
- Bölümleme: veriyi tarihe göre klasörlemek
- Kısa görev: CSV’yi Parquet’e çevirip boyutları karşılaştır
İşleme
- Toplu ve akış işleme
- Böl, işle, birleştir: MapReduce fikri
- Ekosistem haritası: Hadoop, Hive, Spark, Kafka
- Veri mimarisi: kaynak, alım, depolama, sunum
- Kısa görev: kelime sayımını MapReduce gibi elle yap
Güvenlik verisi ölçeğinde
- Güvenlik verisi neden büyük veridir
- Bitirme görevi: bir SOC için veri akış şeması çiz
Pratik lablar
- Günlük log hacmini kestir: Cihaz sayısı ve olay başına ortalama boyut verilen bir kurumun günlük ve yıllık log hacmini GB cinsinden hesapla.
- Saklama süresine göre depolama: Novaro Telekom'un üç log türü için farklı saklama süreleri ve çoğaltma katsayısıyla gereken toplam ham depolamayı tablo hâlinde hesapla.
- Büyüme ve tepe yük planı: Yılda yüzde 30 büyüyen ve kampanya günlerinde beş kat sıçrayan olay akışı için üç yıllık depolama ve saniyelik olay kapasitesi planı çıkar.
- Satır mı sütun mu: Beş sorgu örneğini okuyup her biri için satır tabanlı mı sütun tabanlı mı biçimin daha uygun olduğunu gerekçesiyle seç.
- CSV, JSON ve Parquet boyut kıyası: Aynı uyarı verisini CSV, JSON ve sıkıştırılmış Parquet olarak kaydedip boyutları ve tek sütun okuma süresini bir tabloya yaz.
- Bölünebilir sıkıştırma seçimi: gzip, bzip2 ve Parquet içi sıkıştırma arasında paralel okuma açısından seçim yapıp küçük bir deneyle sonucunu kanıtla.
- Tarihe göre klasörle: Tek dosyada gelen bir aylık olayları yıl=/ay=/gün= klasör yapısına bölen bir betik yaz.
- Yanlış bölümleme anahtarı: Kullanıcı kimliğine göre bölümlenmiş ve binlerce küçük dosya üreten bir veri kümesini tarih bölümlemesine geçirip dosya sayısını karşılaştır.
- Sorgu desenine göre bölümleme tasarla: Bir hafta boyunca çalıştırılan sorguların listesinden en çok veri atlamayı sağlayan bölümleme şemasını seçip gerekçesini yaz.
- Elle eşleme ve indirgeme: Üç küçük log parçasında her parça için ayrı sayım yapıp sonuçları birleştirerek hata kodlarının toplamını bul.
- Python ile mini MapReduce: Eşleme, karıştırma ve indirgeme adımlarını ayrı işlevler olarak yazıp alan adı başına istek sayısını üreten bir betik hazırla.
- Dengesiz anahtar sorunu: Tek bir IP'nin verinin yarısını oluşturduğu bir sayımda indirgeyici yükünü ölçüp anahtarı tuzlayarak yükü dengele.
- Akış mı toplu iş mi: Sekiz iş ihtiyacını okuyup her birinin akış mı toplu işleme mi gerektirdiğini gerekçesiyle sınıflandır.
- Ekosistem bileşenini eşle: Bir perakende şirketinin veri akışındaki altı adımı Kafka, HDFS, Hive ve Spark gibi bileşenlerle eşleyip architecture.csv dosyasına yaz.
- Tek noktadan çökme riski: Verilen veri mimarisi çiziminde tek hata noktalarını ve kopyasız katmanları bulup her biri için bir iyileştirme öner.
Kurs hakkında
Verinin neden tek makineye sığmadığını, dağıtık depolama ve işlemenin temel fikirlerini, toplu ve akış işleme farkını ve modern veri mimarisinin parçalarını öğrenirsin.
Ne öğreneceksin
- Kavramlar
- Depolama ve biçimler
- İşleme
- Güvenlik verisi ölçeğinde
Ön koşullar
Ön bilgi gerekmez; kurs sıfırdan başlar.
Lab ortamı
Dersler, tarayıcında açılan sana özel bir Kali Linux terminalinde geçer. Kurulum gerekmez; lab her derste temiz başlar.
Sık sorulan sorular
- Bu kurs benim düzeyime uygun mu?
- Kurs başlangıç düzeyindedir; her terim ilk geçtiği yerde açıklanır.
- Kurulum gerekir mi?
- Hayır. Her ders tarayıcında açılan sana özel bir lab ortamında geçer.
- Dersler nasıl işleniyor?
- Her ders 8 ile 10 adımdan ve bir kısa sınavdan oluşur. İlk adımlarda yazman gereken komut gösterilir, sonraki adımlarda yardım azalır; iki denemede takılırsan çözüm açılır.
- Ücretsiz deneyebilir miyim?
- Evet. Her kursun ilk üç dersi ücretsizdir.