Klasifikasi Decision Tree



Decision Tree adalah model klasifikasi yang menggunakan struktur pohon, dimana setiap node mempresentasikan atribut dan cabangnya mempresentasikan nilai dari atribut, sedangkan daunnya digunakan untuk mempresentasikan kelas.

Berikut contoh dari model klasifikasi decision tree:


Dari data tersebut, terdapat 4 atribut (nilai x) yaitu age, income, student dan credit rating. Kelas (nilai y) pada data tersebut adalah buys computer dimana ada 2 kelas (binary class) yaitu yes dan no. Yang menjadi root (akar) pada data tersebut adalah age.

Terdapat 4 tahapan algoritma decision tree, antara lain sebagai berikut:

1.    Siapkan data training

2.    Pilih atribut sebagai akar

3.    Buat cabang untuk tiap-tiap nilai

4.    Ulangi proses untuk setiap cabang sampai semua kasus pada cabang memiliki kelas yang sama


Agar lebih jelas uraian di atas, perhatikan contoh berikut:

  • Siapkan data training

  • Pilih atribut sebagai akar

Untuk memilih atribut akar, didasarkan pada nilai Gain tertinggi dari atribut-atribut yang ada. Untuk mendapatkan nilai Gain, harus ditentukan terlebih dahulu nilai Entropy

Untuk menghitung Entropy dan Gain Akar, agar lebih mudah perhitungannya, kita dapat membuat menggunakan excel seperti berikut:

Berikut perhitungan Entropy Akar

Berikut setelah dirapikan di excel:

Setelah itu kita dapat menghitung Gain Akar sebagai berikut:

Berikut setelah dituangkan dalam excel:

Dari hasil pada Node 1, dapat diketahui bahwa atribut dengan Gain tertinggi adalah HUMADITY yaitu sebesar 0.37051. Dengan demikian HUMADITY dapat menjadi node akar.

·       Buat cabang untuk tiap-tiap nilai

Untuk memudahkan, dataset di filter dengan mengambil data yang memiliki kelembaban HUMADITY = HIGH untuk membuat table Node 1.1 sebagai berikut:

Berikut perhitungan Entropy dan Gain Cabang

Gain tertinggi sebagai Node 1.1 adalah sebagai berikut:

·       Ulangi proses untuk setiap cabang sampai semua kasus pada cabang memiliki kelas yang sama

Gain tertinggi sebagai Node 1.1.2 adalah sebagai berikut:









Sekian dari saya, terimakasih cantik/ganteng sudah berkunjung di blog saya 😊

Komentar

Posting Komentar

Postingan populer dari blog ini

Klasifikasi Support Vector Machine (SVM)

Gambar
Konsep klasifikasi dengan Support Vector Machine (SVM) adalah mencari hyperlane terbaik yang berfungsi sebagai pemisah dua kelas data. Ide sederhana dari SVM adalah memaksimalkan margin, yang merupakan jarak pemisah antara kelas data. SVM mampu bekerja pada dataset yang berdimensi tinggi dengan menggunakan kernel trik. SVM hanya menggunakan beberapa titik data terpilih yang berkontribusi (Support Vector) untuk membentuk model yang akan digunakan dalam proses klasifikasi. Tujuan utama dari model klasifikasi SVM adalah mencari hyperplane maksimum. Berikut gambar yang dapat membantu kita dalam memahami tujuan utama dari SVM: Decision Boundary yaitu pemisah antar class (hyperplane). Margin yaitu jarak terdekat dari decision boundary dengan data yang ingin dipisahkan. Support Vector yaitu anggota kelas yang berperan untuk menentukan margin. Kasus itu tidak melulu tampilannya mudah seperti gambar sebelumnya. Faktanya ketika di lapangan, data bisa rapat-rapat, data dapat menumpuk-numpuk, sehi...
Baca selengkapnya

Klasifikasi Naive Bayes

Gambar
Pada blog sebelumnya, kita telah membahas mengenai pemanfaatan machine learning, salah satunya untuk memprediksi. Sebenarnya memprediksi itu bisa ditarik ke arah regresi ataupun klasifikasi, hanya bedanya kalau regresi output-nya adalah numerik (berupa angka-angka) sedangkan klasifikasi output-nya berupa kategorikal (bisa binary atau multiclass). Dimana binary class itu hanya 2 pilihan (yes/no, on/off, 0/1, hitam/putih, dan lain sebagainya) sedangkan pada multiclass itu jika pilihannya atau keputusannya ada 3, 4, 5, dan seterusnya (jadi lebih besar dari 2). Terdapat beberapa model yang bisa digunakan untuk mengklasifikasi dataset yaitu: Naive Bayes (NB). Pada model ini terkait dengan probabilitas (kemunculan suatu kelas dari data yang ada) K Nears Neighbords (KNN), intinya adalah melihat tetangga terdekat dari data yang ada. Decision Tree (DT), intinya adalah melihat percabangan pohon terakhirnya menuju ke kelas yang mana. Support Vector Machine (SVM), kerjanya yaitu kita coba membuat ...
Baca selengkapnya

Neural Network

Gambar
 Neural network adalah model yang terinspirasi oleh bagaimana neuron dalam otak manusia bekerja. Tiap neuron pada otak manusia saling berhubungan dan informasi mengalir dari setiap neuron tersebut. Berikut beberapa elemen yang diterapkan dalam machine learning: Dendrit (Dendrites) berfungsi untuk mengirimkan impuls yang diterima ke badan sel syaraf. Akson (Axon) berfungsi untuk mengirimkan impuls dari badan sel ke jaringan lain. Sinapsis berfungsi sebagai unit fungsional di antara dua sel syaraf. Berikut bentuk machine learning yang mengacu pada fungsi neuron: Tiap neuron menerima input dan melakukan operasi dot dengan sebuah weight, menjumlahkannya (weighted sum) dan menambahkan bias. Hasil dari operasi ini akan dijadikan parameter dari activation function yang akan dijadikan output dari neuron tersebut. Struktur Neural Network Karakteristik dari ANN (Artificial Neural Network) dilihat dari pola hubungan antar neuron, metode penentuan bobot dari tiap koneksi, dan fungsi aktivitasn...
Baca selengkapnya