Airflow ile veri hatları
ETL ve ELT kavramlarından başlayarak Apache Airflow ile zamanlanmış, yeniden denenebilir, izlenebilir ve güvenli veri hatları kurarsın.
Seviye 301 · 17 ders · 15 pratik lab
Dersler
Veri hattı kavramları
- ETL ve ELT: çıkar, dönüştür, yükle
- Tekrar çalıştırılabilirlik (idempotency)
- Zamanlama, gecikme ve geriye dönük doldurma
- Kısa görev: log hattının adımlarını tasarla
Airflow temelleri
- Airflow mimarisi: zamanlayıcı, yürütücü, meta veritabanı
- İlk DAG: görevler ve bağımlılıklar
- Operatörler ve TaskFlow API
- Şablonlar ve mantıksal tarih
- Kısa görev: günlük log alım DAG’ı
Sağlam hatlar
- Yeniden deneme, zaman aşımı ve uyarılar
- Sensörler ve dış bağımlılıklar
- Görevler arası veri aktarımı: XCom
- Dinamik görevler
- Kısa görev: yarıda kalan çalışmayı kurtar
İşletme ve güvenlik
- Bağlantılar ve sır yönetimi
- Airflow’da roller ve denetim kaydı
- Bitirme görevi: alım, temizlik ve rapor üreten uçtan uca hat
Pratik lablar
- ETL adımlarını sırala: Karışık verilen sekiz veri hattı adımını çıkar, dönüştür, yükle sırasına koyup bağımlılıklarını steps.csv dosyasına yaz.
- Yeniden çalışınca çift kayıt üreten görev: İkinci çalıştırmada kayıtları ikiye katlayan bir yükleme görevini idempotent hâle getirip iki kez çalıştırarak kanıtla.
- Geç gelen veri ve geri doldurma: Üç gün geç gelen dosyalar için geri doldurma çalıştırıp yalnızca etkilenen günlerin yeniden işlendiğini doğrula.
- İlk DAG'ı etkinleştir: Hazır verilmiş üç görevli bir DAG'daki bağımlılık hatasını düzeltip başarıyla çalıştır ve görev sırasını raporla.
- TaskFlow ile görev yaz: TaskFlow API ile bir dosyayı okuyan, süzen ve özet yazan üç görevli bir DAG yaz.
- Mantıksal tarihle doğru dosyayı seç: Her çalıştırmada bugünün dosyasını okuyan hatalı bir DAG'ı şablon değişkenleriyle mantıksal tarihin dosyasını okuyacak biçimde düzelt.
- Yeniden deneme ve zaman aşımı ekle: Ara sıra başarısız olan bir indirme görevine yeniden deneme, bekleme süresi ve zaman aşımı ekleyip davranışı günlükten göster.
- Dosya gelene kadar bekle: Kaynak dosya gelmeden başlayan bir hattı sensörle bekletip dosya hiç gelmezse uyarı üreten bir zaman aşımı tanımla.
- Yarıda kalan çalıştırmayı kurtar: Ortadaki görevi başarısız olmuş bir çalıştırmada yalnızca başarısız ve sonraki görevleri temizleyip yeniden çalıştırarak çıktıyı tamamla.
- XCom ile küçük değer aktar: Bir görevin hesapladığı satır sayısını XCom ile sonraki göreve aktarıp eşik altındaysa hattı durdur.
- XCom'a büyük veri koyma hatası: XCom ile koca bir tabloyu taşıyan DAG'ı dosya yolu aktaracak biçimde düzeltip meta veritabanındaki boyut farkını göster.
- Dinamik görevlerle kaynak başına işlem: Kaynak listesinden dinamik görev eşleme ile her log kaynağı için ayrı görev üretip biri başarısız olunca diğerlerinin sürdüğünü göster.
- Bağlantıyı koddan çıkar: DAG koduna gömülü veritabanı adresi ve parolasını Airflow bağlantısına taşıyıp kodda gizli bilgi kalmadığını göster.
- Rolleri en az yetkiye indir: Herkesin yönetici olduğu bir Airflow kurulumunda görüntüleyici, kullanıcı ve yönetici rollerini doğru kişilere atayıp erişimi sına.
- Denetim kaydından kim neyi değiştirdi: Airflow denetim kayıtlarını inceleyip gece yarısı bir DAG'ı duraklatan ve bir bağlantıyı değiştiren hesabı zaman çizelgesiyle raporla.
Kurs hakkında
ETL ve ELT kavramlarından başlayarak Apache Airflow ile zamanlanmış, yeniden denenebilir, izlenebilir ve güvenli veri hatları kurarsın.
Ne öğreneceksin
- Veri hattı kavramları
- Airflow temelleri
- Sağlam hatlar
- İşletme ve güvenlik
Ön koşullar
Aynı yolun 101 ve 201 düzeyindeki konularına hâkim olmalısın.
Lab ortamı
Dersler, tarayıcında açılan sana özel bir Kali Linux terminalinde ve ona bağlı özel bir lab ağında geçer. Kurulum gerekmez.
Sık sorulan sorular
- Bu kurs benim düzeyime uygun mu?
- Kurs 301 düzeyindedir; daha düşük düzeydeki kursların konularını bildiğin varsayılır.
- Kurulum gerekir mi?
- Hayır. Her ders tarayıcında açılan sana özel bir lab ortamında geçer.
- Dersler nasıl işleniyor?
- Her ders 8 ile 10 adımdan ve bir kısa sınavdan oluşur. İlk adımlarda yazman gereken komut gösterilir, sonraki adımlarda yardım azalır; iki denemede takılırsan çözüm açılır.
- Ücretsiz deneyebilir miyim?
- Evet. Her kursun ilk üç dersi ücretsizdir.