Veri temizleme ve hazırlama
Kirli, eksik ve tutarsız veriyi bulur; biçimleri, zamanları ve kimlikleri standartlaştırır, temizliği belgeleyip tekrarlanabilir bir hazırlık betiği yazarsın.
Seviye 201 · 18 ders · 15 pratik lab
Dersler
Kirli veriyi tanımak
- Kirli veri türleri: eksik, yinelenen, tutarsız, hatalı
- Veriyi profillemek: sütun sütun inceleme
- Geçerlilik kuralları yazmak
- Kısa görev: varlık envanterini profille
Standartlaştırmak
- Metni standartlaştırmak: boşluk, büyük harf, Unicode
- Zaman damgalarını ve saat dilimlerini eşitlemek
- IP adresleri, makine adları ve kullanıcı adları
- Kategorileri eşlemek: aynı şeyin beş yazılışı
- Kısa görev: iki envanterin adlarını eşitle
Eksik ve yinelenen
- Eksik verinin desenleri ve nedenleri
- Doldurmak mı, atmak mı
- Yinelenenleri bulmak: tam ve bulanık eşleşme
- Aynı kişi, farklı kayıt: varlık eşleştirme
- Kısa görev: kullanıcı listesindeki yinelenenleri ayıkla
Tekrarlanabilir hazırlık
- Düzenli veri ilkeleri: her satır bir gözlem
- Temizlik kaydı: ne değişti, neden
- Hazırlık betiği ve küçük testler
- Bitirme görevi: üç kaynaklı envanteri birleştir ve temizle
Pratik lablar
- Sütun sütun profil çıkar: Mavikum Bank'ın şube cihaz listesinde her sütunun boş oranını, benzersiz değer sayısını ve en sık değerini profile.csv dosyasına yaz.
- Geçerlilik kurallarını yaz: Bir abone tablosu için tarih, e-posta ve telefon alanlarına geçerlilik kuralları yazıp kuralı çiğneyen satırları ayıkla.
- Mantıksal tutarsızlıkları yakala: Kapanış tarihi açılıştan önce olan biletler ve gelecekte doğmuş kullanıcılar gibi alanlar arası tutarsızlıkları bulup türüne göre raporla.
- Boşluk ve büyük harf karmaşası: Departman adlarındaki fazla boşlukları ve büyük-küçük harf farklarını temizleyip benzersiz departman sayısının kaçtan kaça düştüğünü yaz.
- Türkçe karakter ve Unicode tuzakları: İ/ı ve birleşik karakter farkları yüzünden eşleşmeyen kullanıcı adlarını Unicode normalleştirmesiyle hizalayıp eşleşme oranını göster.
- Saat dilimi karışık üç kaynak: Yerel saat, UTC ve sapmalı ISO biçiminde gelen üç kaynağın zaman damgalarını UTC'ye hizalayıp olay sırasının nasıl değiştiğini göster.
- Beş yazımı tek kategoriye indir: “Win10”, “Windows 10”, “win 10 pro” gibi işletim sistemi yazımlarını eşleme tablosuyla tek bir standart değere indir.
- Ana makine adlarını standartlaştır: Kısa ad, tam alan adı ve büyük harfli yazımlar arasında dağılmış ana makine adlarını tek biçime çevirip yinelenenleri say.
- IP adreslerini doğrula ve normalleştir: Başında sıfır, boşluk ve port eki bulunan IP değerlerini ipaddress modülüyle doğrulayıp geçersizleri gerekçesiyle ayır.
- Eksik verinin deseni: Eksik değerlerin rastgele mi yoksa belli bir şube ya da tarihle mi ilişkili olduğunu bir tabloyla göster.
- Doldur ya da at kararı: Üç sütundaki eksik değerler için doldurma ya da atma kararını gerekçelendirip uygulayın ve özet istatistiğin nasıl değiştiğini yaz.
- Bulanık eşleşmeyle yinelenen müşteri: Ad yazım hataları ve farklı adres biçimleriyle iki kez kaydedilmiş müşterileri benzerlik puanıyla eşleyip birleştirme önerilerini listele.
- Geniş tabloyu düzenli yap: Her ayın ayrı sütun olduğu bir rapor tablosunu satır başına bir gözlem olacak biçimde uzun forma çevir.
- Temizlik günlüğü tut: Bir temizlik betiğine her adımda kaç satırın değiştiğini ve nedenini yazan bir günlük ekleyip cleaning_log.csv üret.
- Hazırlık betiğine test ekle: Bir veri hazırlama betiğindeki üç işlev için küçük testler yazıp gizli bir hatayı testlerle ortaya çıkar ve düzelt.
Kurs hakkında
Kirli, eksik ve tutarsız veriyi bulur; biçimleri, zamanları ve kimlikleri standartlaştırır, temizliği belgeleyip tekrarlanabilir bir hazırlık betiği yazarsın.
Ne öğreneceksin
- Kirli veriyi tanımak
- Standartlaştırmak
- Eksik ve yinelenen
- Tekrarlanabilir hazırlık
Ön koşullar
Aynı yolun 101 düzeyindeki kurslarını bitirmiş olmak ya da o konuları biliyor olmak yeterlidir.
Lab ortamı
Dersler, tarayıcında açılan sana özel bir Kali Linux terminalinde geçer. Kurulum gerekmez; lab her derste temiz başlar.
Sık sorulan sorular
- Bu kurs benim düzeyime uygun mu?
- Kurs 201 düzeyindedir; daha düşük düzeydeki kursların konularını bildiğin varsayılır.
- Kurulum gerekir mi?
- Hayır. Her ders tarayıcında açılan sana özel bir lab ortamında geçer.
- Dersler nasıl işleniyor?
- Her ders 8 ile 10 adımdan ve bir kısa sınavdan oluşur. İlk adımlarda yazman gereken komut gösterilir, sonraki adımlarda yardım azalır; iki denemede takılırsan çözüm açılır.
- Ücretsiz deneyebilir miyim?
- Evet. Her kursun ilk üç dersi ücretsizdir.