P-Values : 5 Minutes Explanation

Datasans
6 min readMay 3, 2020

--

source: https://wallpapersafari.com/

Ditulis oleh : Rio Nur Arifin

P-values adalah sebuah hal yang menurut saya pemahamannya tidak bisa dituliskan dalam 1 baris kalimat definitif. Karena di dalam definisnya sendiri akan mengandung istilah yang definisinya tidak mudah untuk dipahami. (Walaupun menurut saya, masih jauh lebih mudah dibanding memahami hatinya). Kalo ngga percaya, coba baca ini, kalo ngerti nggausah lanjut.

Nilai p atau nilai probabilitas atau signifikansi asimtotik adalah probabilitas untuk suatu model statistik dimana, apabila hipotesis nol benar, maka parameter (misalnya, perbedaan rata-rata sampel antara dua kelompok) akan sama dengan atau lebih besar daripada nilai yang sebenarnya. (Wikipedia)

Agar mudah memahaminya, bayangkan kita memiliki 2 jenis vaksin coronavirus atau covid19 atau ncov19, vaksin A dan vaksin B. Dan kita ingin mencari tahu apakah vaksin A berbeda dengan vaksin B.

Kita memberikan 1 orang responden vaksin A, dan 1 orang lainnya vaksin B.

Responden vaksin A kebal terhadap virus, responden vaksin B tidak kebal terhadap virus.

Dari hasil ini apakah kita bisa menyimpukan bahwa vaksin A lebih baik daripada vaksin B?

Sayangnya tidak. Ada banyak hal yang membuat vaksin B tidak berhasil dengan baik. Bisa karna pengaruh obat lain yang dikonsumsi responden B, atau karna alergi, atau mungkin responden B tidak menggunaknnya dengan dosis yang tepat, atau hal lainnya. Atau jangan-jangan vaksin A memang tidak berfungsi semestinya, responden A memang memiliki daya tahan tubuh yang sangat baik sehingga tanpa vaksinpun dia akan kebal terhadap virus.

Ketika melakukan testing, ada banyak sekali hal-hal diluar pengujian yang mungkin berpengaruh terhadap hasil test.

Maka kita akan lakukan pengujian pada 2 orang untuk masing-masing vaksin.

Pengujian kali ini menunjukkan bahwa kedua responden vaksin A kebal, sedangkan hanya 1 dari 2 responden vaksin B yang kebal.

Apakah vaksin A lebih baik dari vaksin B?

Sayangnya kita masih belum bisa menjawabnya dengan yakin karna bisa saja suatu hal diluar pengujian terjadi pada responden B yang tidak kebal sehingga menyebabkan vaksinnya tidak bekerja dengan baik. Atau bisa juga justru responden B yang kebal bukan karena vaksin entah bagaimana.

Jadi apa yang kita lakukan selanjutnya? Betul, kita akan tes vaksin A dan vaksin B masing-masing terhadap banyak responden sekaligus dengan random sampling.

Dan hasilnya adalah, pada vaksin A, 1242 responden kebal dan 5 lainnya tidak.

Pada vaksin B, 7 responden kebal dan 1435 lainnya tidak.

99.6% responden vaksin A kebal, sebaliknya hanya 7 dari 1442 responden B atau 0.5% saja yang kebal terhadap virus.

Melihat hasil seperti ini, sangat jelas terlihat bahwa vaksin A lebih baik dibandingkan vaksin B. Atau dengan kata lain kita tidak mungkin menyimpulkan bahwa hasil tersebut hanyalah random chance. Atau tidak mungkin juga bahwa 1242 responden A yang kebal hanyalah kebetulan saja memang kebal (mengingat kita melakukan random sampling di awal). Atau bahkan 1435 responden B yang tidak kebal tersebut, semuanya menderita alergi terhadap vaksin B. Engga sih. Terlalu banyak responden vaksin A yang menjadi kebal, dan responden B yang ngga kebal untuk mengatakan bahwa hasil pengujian tersebut hanyalah hasil acak saja.

Nah, bagaimana jika hasilnya seperti ini,

Vaksin A memberikan hasil kebal pada 37% respondennya, disisi lain vaksin B memberikan presentase yang lebih kecil yaitu 29%. Dengan mempertimbangkan bahwa tidak ada pengujian yang ideal, dan mempertimbangkan kejadian-kejadian acak yang tak terduga selama pengujian, seberapa confident kita menyimpulkan bahwa vaksin A lebih baik dari vaksin B?

P-values mengukur seberapa confident kita dalam menyimpulkan bahwa vaksin A berbeda dari vaksin B (dalam hal ini vaksin A lebih baik dari vaksin B). P-values bernilai antara 0–1. Semakin kecil nilainya (mendekati 0) semakin confident kita bisa simpulkan bahwa vaksin A dan B berbeda.

Lalu seberapa kecil p-values sehingga kita cukup yakin untuk menyimpulkan bahwa vaksin A dan B berbeda?

Menurut pengalaman saya, biasanya nilai yang umum dan seringkali dipakai adalah 0.05.

Yang bisa diinterpretasikan, (walau agak aneh kalimatnya tapi coba pahami saja), apabila vaksin A dan B adalah vaksin yang sama (tidak berbeda), dan jika dilakukan pengujian yang sama persis berkali-kali, maka hanya 5% dari pengujian tersebut yang menghasilkan kesimpulan yang salah.

Perhatikan hasil uji berikut:

Dengan vaksin yang sama diujikan pada sampel yang berbeda, kita bisa pastikan bahwa hasil dari pengujian ini jika berbeda adalah karna hal acak seperti alergi pada vaksin, imunitas yang memang sudah baik, dsb.

Pada kasus ini, p-value nya adalah 0.9.

Sehingga kita gagal menyimpulkan bahwa terdapat perbedaan pada kedua vaksin dari hasil pengujian ini.

Jika kita melakukan pengujian berkali-kali, kita akan mendapatkan beberapa nilai p-value seperti berikut.

Bagaimanapun juga, jika kita melakukan ini terus-menerus, suatu saat bisa saja semua responden dengan alergi berakhir pada vaksin sebelah kiri, dan mungkin responden dengan imun yang baik berakhir pada vaksin sebelah kanan, yang menjadikan p-value dari pengujian spesifik tersebut menjadi 0.01,

Pada kasus pengujian kali ini, kita akan katakan bahwa kedua vaksin tersebut berbeda, walaupun kenyataannya kita tahu bahwa kedua vaksin tersebut adalah vaksin yang sama.

P-value yang sangat kecil, padahal tidak ada perbedaan pada kedua kelompok, hal ini disebut False Positive.

Threshold p-values = 0.05 bisa diinterpretasikan bahwa ada 5% dari seluruh pengujian dimana perbedaan hasil uji hanya diakibatkan oleh hal acak, yang akan menghasilkan p-value kurang dari 0.05.

Atau dengan kata lain, jika tidak ada perbedaan antara vaksin A dan vaksin B, maka dari seluruh pengujian, hanya 5% yang menghasilkan False Positive.

Penentuan threshold p-values bergantung dengan hipotesis apa yang akan diuji, semakin penting suatu perbedaan dari 2 objek pengujian, maka kita bisa menge-set p-values sekecil mungkin untuk membuat False Positive nya juga sekecil mungkin.

Jadi secara sederhana interpretasinya kurang lebih seperti ini:

Jika kita melakukan uji hipotesis kemudian mendapatkan p-value 0.01, artinya, jika 2 kelompok sampel yang kita uji tersebut adalah sama, maka pengujian kita tersebut termasuk dalam 1% dari seluruh pengujian (jika dilakukan berkali-kali). Jadi, apakah pengandaian bahwa 2 kelompok tersebut adalah sama dengan peluang 1% cukup meyakinkan? Saya rasa tidak, 2 kelompok tersebut lebih masuk akal jika berasal dari populasi yang berbeda.

Referensi:
https://id.wikipedia.org/wiki/Nilai_p
https://www.youtube.com/watch?v=vemZtEM63GY

--

--

Datasans
Datasans

Written by Datasans

All things about data science that are discussed “sans ae”, data sains? sans lah…

No responses yet