Hive ile büyük veride SQL
HDFS’teki dosyaları SQL ile sorgular, bölümlendirir ve rapor tablolarına dönüştürürsün.
Seviye 201 · 18 ders · 15 pratik lab
Dersler
Başlangıç
- Hive nedir ve ilk sorgu: Hive’ın dosyalar üzerinde SQL çalıştırdığını görür, Beeline ile ilk sorguyu yazarsın.
- Veritabanı ve tablo oluşturmak: Hive veritabanı ve tablolarını tanımlar, veri türlerini seçersin.
- CSV dosyaları için dış tablo: Var olan CSV dosyalarını taşımadan tabloya bağlar, dış ve yönetilen tablo farkını bilirsin.
- Kısa görev: web log tablosu kur
Sorgulama
- Süzmek ve eksik değerleri yönetmek: WHERE ile satırları süzer, NULL değerleri ayıklar ya da doldurursun.
- GROUP BY ile toplamak ve özetlemek: Olayları kaynak, gün ve türe göre sayar, özetlersin.
- Tabloları birleştirmek: JOIN: Olay tablosunu varlık tablosuyla eşleştirir, eşleşmeyen kayıtları ayrıca incelersin.
- Pencere fonksiyonları ile sıralama
- Kısa görev: kullanıcı başına başarısız giriş raporu
Depolama ve düzen
- Tarihe göre bölümlemek: Tabloyu günlere böler, sorguların yalnızca gerekli bölümleri okumasını sağlarsın.
- Tek bir günü güvenle yeniden yazmak: Düzeltilmiş verinin yalnızca ilgili gün bölümünü INSERT OVERWRITE ile değiştirir, diğer günlere dokunmazsın.
- Sonuçları ORC ve Parquet olarak kaydetmek: Sorgu sonucunu sütun tabanlı biçimlerde yeni tabloya yazarsın.
- Kısa görev: bölümlü arşiv tablosu
Erişim ve işletme
- Görünümler ve sütun maskeleme: Hassas sütunları gizleyen görünümler kurar, kişisel veriye erişimi sınırlarsın.
- Hive yetkilendirmesi: Rol ve GRANT ile kimin hangi tabloyu okuyabileceğini belirlersin.
- Sık görülen Hive veri sorunlarını teşhis etmek: Kaymış sütunlar, bozuk tarih ve boş sonuç gibi sorunları bulup düzeltirsin.
- Beeline ile betikli sorgular ve parametreler
- Bitirme görevi: günlük güvenlik olay raporu: Bölümlenmiş olay verisinden her gün çalışan bir özet rapor tablosu üretirsin.
Pratik lablar
- CSV üzerine dış tablo: HDFS'teki kart okuyucu kayıtları üzerine doğru sütun türleriyle dış tablo tanımlayıp satır sayısını kontrol et.
- Başlık satırı ve tırnaklı alanlar: Başlık satırı ve tırnak içinde virgül içeren bir dosyada yanlış okunan tabloyu doğru SerDe ve tablo özellikleriyle yeniden tanımla.
- Yönetilen tabloyu silmeden önce: Yanlışlıkla yönetilen olarak kurulmuş bir tabloyu veriyi kaybetmeden dış tabloya çevirip DROP sonrası dosyaların durduğunu kanıtla.
- Uç noktaya göre hata sayısı: HiveQL ile web tablosunda uç nokta başına 4xx ve 5xx sayısını koşullu sayımla tek sorguda çıkar.
- JOIN ile kullanıcıyı departmana bağla: VPN oturum tablosunu personel tablosuyla birleştirip departman başına gece oturumu sayısını ve eşleşmeyen kullanıcıları göster.
- Pencere işleviyle ardışık hatalar: LAG ve sıralama işlevleriyle aynı kullanıcının beş dakika içinde art arda beş kez başarısız olduğu durumları bul.
- Tarih bölümlü tablo kur: Olay tablosunu gün bölümlü olarak kurup üç günlük veriyi yükle ve SHOW PARTITIONS ile doğrula.
- Tek günü güvenle yeniden yaz: Hatalı yüklenmiş bir günü INSERT OVERWRITE ile yalnızca o bölümü değiştirerek düzelt ve diğer günlerin satır sayısının değişmediğini göster.
- Dinamik bölümleme ve ORC'ye taşıma: Bölümsüz büyük bir metin tablosunu dinamik bölümlemeyle ORC tablosuna taşıyıp sorgu süresi ve boyut farkını raporla.
- Kişisel alanı gizleyen görünüm: Müşteri tablosundan kimlik numarası ve telefon sütunlarını dışarıda bırakan bir görünüm oluşturup analist rolüne yalnızca onu aç.
- Sütun maskeleme ile kısmi gösterim: E-posta ve kart numarasını yalnızca son dört karakteri görünecek biçimde maskeleyen bir görünüm yaz ve sonucu doğrula.
- Fazla yetkiyi bul ve geri al: Hive yetki tablolarında gereğinden fazla izin almış rolleri bulup en az yetki ilkesine göre düzeltilmiş GRANT/REVOKE betiğini yaz.
- Parametreli Beeline sorgusu: Tarihi değişken olarak alan bir Beeline komutuyla o günün olay sayısını CSV olarak dışa aktar.
- NULL dolu sütunun nedeni: Tüm değerleri NULL dönen bir sütunun neden boş okunduğunu ayırıcı ve tür uyumsuzluğu üzerinden bulup tabloyu düzelt.
- Eksik bölümü onar: HDFS'e elle kopyalanmış ama sorgularda görünmeyen günleri MSCK REPAIR ile tabloya ekleyip eksik gün kalmadığını doğrula.
Kurs hakkında
HDFS’teki dosyaları SQL ile sorgular, bölümlendirir ve rapor tablolarına dönüştürürsün.
Ne öğreneceksin
- Başlangıç
- Sorgulama
- Depolama ve düzen
- Erişim ve işletme
Ön koşullar
Aynı yolun 101 düzeyindeki kurslarını bitirmiş olmak ya da o konuları biliyor olmak yeterlidir.
Lab ortamı
Dersler, tarayıcında açılan sana özel bir Kali Linux terminalinde ve ona bağlı özel bir lab ağında geçer. Kurulum gerekmez.
Sık sorulan sorular
- Bu kurs benim düzeyime uygun mu?
- Kurs 201 düzeyindedir; daha düşük düzeydeki kursların konularını bildiğin varsayılır.
- Kurulum gerekir mi?
- Hayır. Her ders tarayıcında açılan sana özel bir lab ortamında geçer.
- Dersler nasıl işleniyor?
- Her ders 8 ile 10 adımdan ve bir kısa sınavdan oluşur. İlk adımlarda yazman gereken komut gösterilir, sonraki adımlarda yardım azalır; iki denemede takılırsan çözüm açılır.
- Ücretsiz deneyebilir miyim?
- Evet. Her kursun ilk üç dersi ücretsizdir.