Maximum Likelihood for the Binomial Distribution

Datasans
5 min readAug 27, 2018

--

Assalamualaikum pa haji..

Alhamdulillah kali ini kita bisa bertemu lagi, setelah kita membahas tentang peluang dan likelihood kemarin sore, sekarang kita akan lanjut membahas tentang c̶a̶r̶a̶ ̶m̶e̶m̶p̶e̶r̶l̶e̶b̶a̶t̶ ̶b̶u̶l̶u̶ ̶d̶a̶d̶a̶ maximum likelihood for the binomial distribution. Opoo kuwiii???

Well, Maximum Likelihood banyak manfaatnya lho, salah satunya digunakan untuk mengestimasi peluang dari rangkaian kejadian yang diamati, menentukan mean, atau ekspektasi matematika lainnya.

Anu kepriwe?

Oke, dadi kaya kie lur!

n adalah total jumlah orang yang kita tanyai tentang produk yang lebih mereka sukai, Pepsi atau Coca-Cola.”

Dalam kasus ini, misalkan n = 7. Dan p adalah peluang seseorang secara random memilih Pepsi dibandingkan Coca-Cola. Dalam kasus ini, p = 0.5.

Perhatikan persamaan berikut!

Persamaan tersebut bisa dibaca sebagai berikut:

“Peluang x (jumlah orang yang lebih memilih Pepsi) jika terdapat n (jumlah total orang yang ditanya) dengan p (peluang orang secara random memilih Pepsi).”

Sehingga kita tahu peluang terdapat 4 orang dari 7 orang yang ditanya adalah:

Sekarang kita akan menghitung likelihood dari p=0.5.

Maka yang perlu kita lakukan adalah menyusun ulang sisi kiri persamaan menjadi:

Persamaan tersebut bisa dibaca sebagai berikut:

Likelihood dari p (peluang orang secara random memilih Pepsi) jika terdapat n (jumlah total orang yang ditanya) dan x (jumlah orang yang lebih memilih Pepsi).”

Sisi kanan persamaan, tidak berubah.

Dan kita tahu sekarang bahwa likelihood dari p=0.5 jika terdapat 4 orang yang memilih Pepsi dari 7 orang yang ditanya adalah:

Nah sekarang perhatikan. Selanjutnya kita akan mencari likelihood dari p=0.25, masih dengan 4 orang yang memilih Pepsi dari 7 orang yang ditanya. Hasilnya adalah:

Selanjutnya, kita akan mencari likelihood dari p=0.57, tetap dengan 4 orang yang memilih Pepsi dari 7 orang yang ditanya. Hasilnya adalah:

Wow! Likelihood dari p=0.57 adalah 0.294, lebih besar dari likelihood p=0.5 yaitu 0.273.

Apabila kita plot nilai likelihood dari seluruh nilai p yang berada diantara 0 dan 1. Maka hasilnya seperti berikut.

Perhatikan! Puncak dari kurva itu adalah Maximum Likelihood! Dan kemiringannya (gradient) 0.

Wooow! Itu artinya kita bisa mencari nilai Maximum Likelihood dari nilai p dengan mencari turunannya yang sama dengan 0.

Ayo kita lakukan!!! Turunkan fungsi likelihood-nya.

Tapi, tunggu. Sepertinya sulit mencari turunan dari persamaan diatas.

Jangan khawatir, kita bisa lebih mudah mencari turunan dari lognya!

Tapi, apa nggak apa-apa? Kan beda tuh persamaannya.

Tenang aja, kedua persamaan tersebut punya titik puncak yang sama kok, coba bandingkan kurva keduanya.

Tuh kan…

Jadi sekarang kita bisa mencari turunan fungsi likelihood diatas dengan mencari turunan fungsi log likelihood-nya. Mari kita lakukan!

fungsi log di sisi kanan dipecah menjadi penjumlahan
pangkat dalam log menjadi perkalian

Sekarang kita siap menurunkan fungsi log likelihood tersebut.

Ketika turunannya 0, maka:

Tadaa! Maximum Likelihood estimator dari p adalah 4/7.

Yang artinya, apabila terdapat 4 orang yang lebih memilih Pepsi dibandingkan Coca-Cola dari total 7 orang yang ditanyai, maka peluang p orang secara random memilih Pepsi adalah 4/7.

Sepertinya tidak perlu pakai Maximum Likelihood juga bisa ya, cukup dibayangkan saja. Jangan salah, solusi ini mudah karena saya membuatnya mudah. Coba saja lakukan pada distribusi lainnya.

Wow, kita baru saja menghitung Maximum Likelihood estimator dari p untuk data x dan n diketahui. Bagaimanapun juga kita sebenarnya tidak begitu memerlukan data untuk menentukan rumus umum dari Maximum Likelihood estimator dari p.

Apa yang telah kita lakukan diatas jika digeneralisir, akan memberikan kita Maximum Likelihood estimator untuk peluang p ketika terdapat x sukses dari n buah percobaan. Keren ngga?

Oke guys, kita baru saja mulai sekarang. Inilah intinya.

Kita lihat kembali fugsi likelihood dari distribusi binomial seperti yang telah kita definisikan di awal.

Ingat kan darimana kita mendapatkannya? Sisi kiri hanya dibalik saja dari fungsi peluangnya.

Ambil nilai log-nya!

fungsi log di sisi kanan dipecah menjadi penjumlahan
pangkat dalam log menjadi perkalian

Sekarang kita siap menurunkan fungsi log likelihood tersebut.

Ketika turunannya 0, maka:

Sebagian dari kalian mungkin berpikir, “apaan dah, Maximum Likelihood estimator untuk p cuma ngitung rataannya doang.” Well, memang solusi yang kita dapatkan kali ini cukup sederhana, tapi apa yang kita kerjakan barusan mengandung mathematical proof yang bisa memberikan backup intuisi yang bagus untuk menentukan Maximum Likelihood estimator lainnya.

Good Luck!

Adapted from YouTube Channel of “StatQuest with Josh Stamer”

--

--

Datasans

All things about data science that are discussed “sans ae”, data sains? sans lah…