Membersihkan Data Seperti Profesional

Data Berantakan? Tenang

Salah satu fakta yang sering mengejutkan pemula adalah bahwa sebagian besar waktu dalam proyek Data Science tidak digunakan untuk membuat model Machine Learning, melainkan untuk membersihkan dan menyiapkan data. Berbagai survei industri menunjukkan bahwa Data Scientist dapat menghabiskan lebih dari setengah waktu proyek untuk proses persiapan data sebelum analisis atau pemodelan dimulai.

Dalam dunia Financial Engineering, kualitas data sangat menentukan kualitas hasil analisis. Data transaksi, harga saham, laporan keuangan, atau data pelanggan sering kali mengandung kesalahan input, data kosong, format yang tidak konsisten, hingga duplikasi data. Jika masalah tersebut tidak diperbaiki terlebih dahulu, hasil model Machine Learning bisa menjadi tidak akurat.

Karena itu, proses data preprocessing atau persiapan data menjadi tahap yang sangat penting. Tujuannya adalah memastikan data bersih, konsisten, dan siap digunakan oleh algoritma Machine Learning. Banyak praktisi bahkan mengatakan bahwa model sederhana dengan data yang bersih sering menghasilkan performa lebih baik dibanding model canggih dengan data yang buruk.

Mengatasi Missing Value

Missing value adalah kondisi ketika sebagian data tidak memiliki nilai atau informasi yang lengkap. Misalnya kolom pendapatan pelanggan yang kosong atau data umur yang tidak terisi.

Data yang hilang dapat memengaruhi hasil analisis dan menurunkan performa model. Oleh karena itu, missing value harus ditangani sebelum proses pelatihan model dilakukan.

Point Penting

  1. Hapus data jika jumlah data hilang sangat sedikit.
  2. Isi dengan rata-rata (mean) atau median untuk data numerik.
  3. Isi dengan kategori yang paling sering muncul untuk data kategorikal.
  4. Analisis penyebab data hilang sebelum mengambil keputusan.

Dalam dunia keuangan, missing value bisa muncul karena kesalahan input, sistem yang gagal mencatat transaksi, atau data historis yang tidak lengkap.

Mengubah Data Teks Menjadi Angka

Algoritma Machine Learning umumnya bekerja menggunakan angka. Karena itu, data berbentuk teks perlu diubah menjadi representasi numerik sebelum dapat digunakan oleh model.

Sebagai contoh, data jenis pekerjaan seperti "Karyawan", "Wiraswasta", dan "Mahasiswa" harus diubah menjadi format angka yang dapat dipahami komputer. Teknik ini dikenal sebagai encoding.

Point Penting

  1. Label Encoding → setiap kategori diberi kode angka.
  2. One-Hot Encoding → membuat kolom baru untuk setiap kategori.
  3. Digunakan untuk data kategorikal.
  4. Membantu model memahami informasi non-numerik.

Pemilihan metode encoding yang tepat sangat penting karena dapat memengaruhi performa model Machine Learning.

Menormalkan Data

Dalam banyak kasus, variabel dalam dataset memiliki skala yang sangat berbeda. Misalnya umur berkisar 20–60 tahun, sedangkan pendapatan bisa mencapai jutaan rupiah.

Jika tidak disesuaikan, model tertentu dapat memberikan bobot yang lebih besar pada variabel dengan nilai yang jauh lebih besar. Untuk mengatasi masalah ini digunakan teknik normalisasi atau standarisasi data.

Point Penting

  1. Menyamakan skala antar variabel.
  2. Membantu algoritma bekerja lebih optimal.
  3. Penting untuk metode berbasis jarak seperti K-Means dan KNN.
  4. Dapat meningkatkan stabilitas proses pelatihan model.

Normalisasi tidak selalu wajib, tetapi menjadi praktik umum dalam banyak proyek Machine Learning modern.

Workflow Preprocessing yang Benar

Salah satu kesalahan pemula adalah melakukan preprocessing secara acak tanpa urutan yang jelas. Padahal proses persiapan data yang sistematis akan menghasilkan dataset yang lebih berkualitas dan siap digunakan untuk analisis.

Sebelum membuat model, Data Scientist biasanya melakukan serangkaian langkah yang terstruktur untuk memastikan kualitas data tetap terjaga.

Workflow Sederhana

  1. Memahami struktur data.
  2. Menghapus data duplikat.
  3. Menangani missing value.
  4. Memeriksa outlier dan anomali.
  5. Mengubah data kategorikal menjadi angka.
  6. Normalisasi atau standarisasi data.
  7. Membagi data menjadi data latih dan data uji.

Point Penting

  1. Jangan langsung membuat model.
  2. Pastikan kualitas data terlebih dahulu.
  3. Gunakan workflow yang konsisten.
  4. Dokumentasikan setiap perubahan pada data.

Membersihkan data adalah salah satu keterampilan paling penting dalam Machine Learning dan Financial Engineering. Proses seperti menangani missing value, mengubah teks menjadi angka, melakukan normalisasi, dan mengikuti workflow preprocessing yang benar akan membantu menghasilkan model yang lebih akurat dan dapat dipercaya. Dalam praktik nyata, kualitas data sering menjadi faktor yang lebih menentukan dibandingkan pemilihan algoritma yang digunakan. Dengan kata lain, data yang bersih adalah fondasi utama bagi keputusan yang cerdas dan berbasis data.