Hasil Scoring NA

[joejnt]

Dear team algoritma,

Saya membuat model scoring (behaviour) dengan menggunakan log.regression. Data yang saya gunakan sengaja mempertahankan ada nilai NA, tujuannya untuk antisipasi apabila ada data baru yang debiturnya baru (belum pernah ada history pembayaran angsuran dan billing) datanya seperti ini:

Untuk pemodelan proporsi dibuat 80% data train dan 20% data test. Hasil dari log.regression variable yang terpilih ada sebanyak 44 var dari 108 var.

Hasil evaluasi model seperti ini:

Masalah yang saya dapatkan, pada saat model di prediksi ke data baru, ada beberapa yang score nya NA. Itu disebabkan karena ada beberapa dari variable yang penting pada data baru nilai nya NA, sedangkan pada saat pemodelan untuk beberapa variable penting tidak terdapat nilai NA. Berikut hasil dari predict ke data baru (bukan data test) yang hasilnya NA.

Untuk kondisi seperti ini, treatment apa yang harus saya lakukan ?

Saya sudah membuat adjustment pada bins, dengan mendefinikan nilai NA menjadi missing, namun hasilnya tetap menjadi NA.

Mohon sarannya,

Best regards
JT

[arkanayudhistira]

Dear Pak @joejnt,

Untuk memahami penyebab nilai NA pada kolom score tersebut, apakah saya boleh mengetahui code pembuatan kolom score tersebut menunjukkan nilai apa?

[joejnt]

Dear @arkanayudhistira

Untuk syntax yang saya gunakan adalah:

score_card <- scorecard(bins = binning,
model = model2,
odds0 = 1/19,
points0 = 600,
pdo = 15)

Fungsi yang saya dibuat untuk menentukan threshold

predict_behaviour <- function(data, score_card, cutoff = 556){
new_score <- scorecard_ply(data, score_card)
new_score <- new_score %>%
mutate(
recommendation = case_when(
score > cutoff ~ "GOOD",
TRUE ~ "BAD"
)
 )
  new_score
}

Predict ke data baru:

predict_behaviour(data = new_data,
score_card = score_card,
cutoff = 556)

[arkanayudhistira]

Sebenarnya, secara default fungsi glm() akan mengimplementasikan penghapusan baris yang memiliki nilai NA secara otomatis jika diberikan data NA. Sehingga kemungkinan besar penyebab NA tersebut bukan dari model glm() nya. Apakah boleh di periksa isi dari hasil scorecard() dan scorecard_ply() terlebih dahulu untuk memastikan hasilnya sudah tepat?

[joejnt]

Dear @arkanayudhistira

Jika melihat dari data scorecard dan apply score, pada struktur tidak ada data NA. Karena pada saat binning (woebin) untuk data NA sudah didefinisikan.

Berikut ini adalah kondisi data pada saat pembentukan scorecard:

Berikut ini adalah kondisi data pada saat setelah di apply scorecard (scorecard_ply())

[arkanayudhistira]

Baik pak @joejnt, berdasarkan data hasil screenshot Bapak, sepertinya error tersebut terjadi ketika proses scorecard_ply(), dimana seharusnya output yang dihasilkan adalah sebuah tabel dengan jumlah baris outputnya sesuai dengan jumlah baris data tabel yang diinput dan nilainya tidak 0.

Kemungkinan besar kesalahannya terdapat pada input yang Bapak berikan, yaitu new_data. Apakah format data dari new_data sudah sesuai dengan data yang diinput ke score_card nya? (pastikan kolom-kolomnya sama dengan kolom variable di score_card)

[IrfanChairurrachman]

Dear @joejnt ,

Terima kasih telah bertanya melalui Github discussions Algoritma. Untuk menjaga agar forum diskusi berjalan kondusif, karena tidak ada respon lanjutan setelah 7 hari dari respon terakhir, kami akan menandai pertanyaan sudah terjawab dan menutup diskusi ini. Semoga dapat dipahami dan terima kasih.

Best regards,
Team Algoritma