Reinforcment Learning

Reinforcment Learning (RL) adalah salah satu metode pembelajaran pada Artificial Intelligence (AI) mengenai apa yang mesti dilakukan (mengimplementasikan aksi kedalam situasi) pada sebuah masalah/problem untuk mendapatkan hasil/reward yang maksimal.


Komponen Utama Agen RL

Agen RL dapat mencakup satu atau lebih komponen berikut:

  • Kebijakan : Fungsi perilaku agen
          *   Peta dari status ke tindakan

          *   Dapat deterministik (a = phi (s)) atau stokastik
          
  • Fungsi Nilai : Seberapa baik agen berada dalam keadaan tertentu atau seberapa baik melakukan tindakan dalam keadaan tertentu
          *   Apakah prediksi hasil/reward masa depan
          *   Dapat digunakan untuk memilih tindakan
          
  • Model : Representasi agen dari lingkungan
          *   Memprediksi apa yang akan dilakukan lingkungan selanjutnya
          *   P memprediksi status berikutnya
           
          *   R memprediksi hasil/reward langsung berikutnya
         



Taksonomi Agen RL
  • Fungsi Kebijakan vs Nilai
          *   Berbasis nilai
               ->   Tidak ada kebijakan (implisit)
               ->   Fungsi nilai
          *   Berbasis kebijakan
               ->   Aturan
               ->   Tidak ada fungsi lain
          *   Aktor kritikus
               ->   Aturan
               ->   Fungsi nilai
  • Model (dengan Fungsi Kebijakan dan/atau Nilai)
          *   Model bebas
          *   Model berbasis



Contoh Soal MAZE

Action : N, E, S, W
State : Lokasi Agen
  • Aturan
      
           Panah mewakili kebijakan (phi(s)) untuk setiap state
  • Fungsi Nilai
      
           Angka mewakili nilai  dari setiap state
  • Model
      
          Tata letak kotak mewakili model transisi  
          Nomor mewakili hasil/reward langsung 



Elemen pada RL

  • Policy (Aturan)
          Policy adalah cara suatu agent untuk berperilaku pada sebuah situasi. Dengan kata lain elemen ini adalah pemetaan aksi yang akan diambil oleh sang agent, lalu diimplementasikan pada suatu situasi
  • Reward Function (Fungsi Hasil/Reward)
          Elemen ini didefinisikan sebagai goal/tujuan yang ingin dicapai sebuah agent. Dalam proses ini agent akan memaksimalkan reward dari aksi yang sudah dilakukan. Reward Function akan menjadi acuan agent mengenai mana yang baik dan yang buruk.
  • Value Function (Fungsi Nilai)
          Jika Reward Function mendefinisikan hasil yang terbaik saat itu juga, pada Value Function ini agent akan mempertimbangkan hasil yang terbaik untuk jangka panjang. Atau dalam kata lain, nilai sebuah keadaan (state) adalah jumlah total reward yang bisa dikumpulkan agen hingga masa berikutnya, dimulai dari keadaan (state) tersebut. Reward didapatkan langsung dari lingkungan (environment), sedangkan value harus diestimasi secara terus menerus dari hasil pengamatan si agent.
  • Environment Model (Model Lingkungan)
          Pada elemen ini, agent akan memprediksi keadaan dan reward selanjutnya. Elemen ini digunakan untuk perencanaan atau dalam kata lain, agent akan memutuskan aksi dengan mempertimbangkan kemungkinan situasi di masa yang akan datang.



Bagaimana cara Agent menemukan aksi yang tepat?
Pada awalnya Agent tidak diberi clue mengenai aksi apa yang harus dilakukan. Agent akan mempelajari aksi dengan prinsip Trial and Error, lalu mengambil keputusan berdasarkan reward yang didapatkan (reward maksimal).



Q-Learning dan SARSA

Q-Learning dan SARSA (State-Action-Reward-State-Action) adalah dua algoritma RL bebas model yang umum digunakan. Mereka berbeda dalam hal strategi eksplorasi mereka sementara strategi eksploitasi mereka serupa. Q-Learning adalah metode di luar kebijakan di mana agen mempelajari nilai (value) berdasarkan tindakan a* yang diturunkan dari kebijakan (Policy) lain. Sedangkan SARSA adalah metode sesuai kebijakan di mana agen mempelajari nilai berdasarkan tindakan saat ini yang diperoleh dari kebijakan saat ini.


Q Learning
  • Langkah 1 : Inisialisasi
Inisialisasi semua nilai Q dalam tabel Q ke 0, agen tidak memiliki pengetahuan tentang lingkungan tempatnya berada.
  • Langkah 2 : Jelajahi Ruang
Masalah eksplorasi vs eksploitasi, agen terus menjelajahi lingkungan dengan mengeksekusi tindakan di wilayahnya.
  • Langkah 3 : Amati Imbalannya (Reward)
Saat menjelajah, agen akan mengamati hadiah apa yang didapatnya dari mengeksekusi tindakan tertentu (at) di status (st) untuk pergi ke status berikutnya (st + 1).
  • Langkah 4 : Perbarui Fungsi Nilai
Setelah mengamati hadiah, agen kemudian memperbarui fungsi nilai untuk keadaan tertentu dan pasangan tindakan menggunakan rumus berikut, ini mengembalikan tabel-Q yang diperbarui

Komentar

Posting Komentar

Postingan populer dari blog ini

Klasifikasi Support Vector Machine (SVM)

Gambar
Konsep klasifikasi dengan Support Vector Machine (SVM) adalah mencari hyperlane terbaik yang berfungsi sebagai pemisah dua kelas data. Ide sederhana dari SVM adalah memaksimalkan margin, yang merupakan jarak pemisah antara kelas data. SVM mampu bekerja pada dataset yang berdimensi tinggi dengan menggunakan kernel trik. SVM hanya menggunakan beberapa titik data terpilih yang berkontribusi (Support Vector) untuk membentuk model yang akan digunakan dalam proses klasifikasi. Tujuan utama dari model klasifikasi SVM adalah mencari hyperplane maksimum. Berikut gambar yang dapat membantu kita dalam memahami tujuan utama dari SVM: Decision Boundary yaitu pemisah antar class (hyperplane). Margin yaitu jarak terdekat dari decision boundary dengan data yang ingin dipisahkan. Support Vector yaitu anggota kelas yang berperan untuk menentukan margin. Kasus itu tidak melulu tampilannya mudah seperti gambar sebelumnya. Faktanya ketika di lapangan, data bisa rapat-rapat, data dapat menumpuk-numpuk, sehi...
Baca selengkapnya

Klasifikasi Naive Bayes

Gambar
Pada blog sebelumnya, kita telah membahas mengenai pemanfaatan machine learning, salah satunya untuk memprediksi. Sebenarnya memprediksi itu bisa ditarik ke arah regresi ataupun klasifikasi, hanya bedanya kalau regresi output-nya adalah numerik (berupa angka-angka) sedangkan klasifikasi output-nya berupa kategorikal (bisa binary atau multiclass). Dimana binary class itu hanya 2 pilihan (yes/no, on/off, 0/1, hitam/putih, dan lain sebagainya) sedangkan pada multiclass itu jika pilihannya atau keputusannya ada 3, 4, 5, dan seterusnya (jadi lebih besar dari 2). Terdapat beberapa model yang bisa digunakan untuk mengklasifikasi dataset yaitu: Naive Bayes (NB). Pada model ini terkait dengan probabilitas (kemunculan suatu kelas dari data yang ada) K Nears Neighbords (KNN), intinya adalah melihat tetangga terdekat dari data yang ada. Decision Tree (DT), intinya adalah melihat percabangan pohon terakhirnya menuju ke kelas yang mana. Support Vector Machine (SVM), kerjanya yaitu kita coba membuat ...
Baca selengkapnya

Neural Network

Gambar
 Neural network adalah model yang terinspirasi oleh bagaimana neuron dalam otak manusia bekerja. Tiap neuron pada otak manusia saling berhubungan dan informasi mengalir dari setiap neuron tersebut. Berikut beberapa elemen yang diterapkan dalam machine learning: Dendrit (Dendrites) berfungsi untuk mengirimkan impuls yang diterima ke badan sel syaraf. Akson (Axon) berfungsi untuk mengirimkan impuls dari badan sel ke jaringan lain. Sinapsis berfungsi sebagai unit fungsional di antara dua sel syaraf. Berikut bentuk machine learning yang mengacu pada fungsi neuron: Tiap neuron menerima input dan melakukan operasi dot dengan sebuah weight, menjumlahkannya (weighted sum) dan menambahkan bias. Hasil dari operasi ini akan dijadikan parameter dari activation function yang akan dijadikan output dari neuron tersebut. Struktur Neural Network Karakteristik dari ANN (Artificial Neural Network) dilihat dari pola hubungan antar neuron, metode penentuan bobot dari tiap koneksi, dan fungsi aktivitasn...
Baca selengkapnya