Error in map2() while forecasting in time series model using purrr package

[galuhchynintya]

Dear tim algoritma,
Sy mengalami kendala saat proses model fitting pada data scotty untuk analisa time series. Urutan pengerjaannya saya mengikuti contoh pada https://rpubs.com/Argaadya/hotel-forecast.

combine the data with the specification

train_crossing <- crossing(train_list, recipe_spec, seasonal_forecast, outlier_spec, method_forecast )

test_crossing <- crossing(val_list, recipe_spec, seasonal_forecast, outlier_spec, method_forecast)

model fitting and evaluation

transformed_data <- map2(.x = train_crossing$data,
.y = train_crossing$preprocess_spec,
.f = ~exec( .y, .x))

fitting and forecasting

forecast_map <- transformed_data %>%
map2(.y = train_crossing$season_spec,
.f = ~exec(.y, .x)) %>%
map2(.y = train_crossing$out_spec,
.f = ~exec(.y, .x)) %>%
map2(.y = train_crossing$model_spec,
.f = ~exec(.y,.x)) %>%
map(forecast, h = 7) %>%
map(~pluck(.x, "mean")) %>%
map(as.numeric)

Berikut error yang terjadi pada function map2()

Berikut bentuk dari tibble train_crossing

Mohon dibantu cek di bagian mana kira-kira letak salahnya. Terima kasih.

[adizaen]

Dear Bu @galuhchynintya

Terima kasih atas pertanyaan nya Bu.

Setelah kami telaah lebih lanjut, sepertinya data yang Ibu masukan ke fungsi map2() mungkin memiliki perbedaan panjang atau tipenya. Mungkin Ibu bisa coba cek terlebih dahulu, pastikan bahwa data di train_crossing$season_spec dan train_crossing$model_spec sudah benar dan panjangnya sama. Agar lebih yakin, Ibu bisa coba print (tampilkan) isi train_crossing$season_spec dan train_crossing$model_spec sebelum menjalankan fungsi map2() untuk melihat strukturnya.

Mungkin itu saran dari kami Bu. Silakan untuk dicoba terlebih dahulu dan jika masih ada kendala, feel free untuk mengajukan pertanyaan follow up ya Bu. Terima kasih.

Best regards,
Team Algoritma

[galuhchynintya]

Terima kasih mas Adi, untuk sarannya sudah saya coba.
Hasil print dari train_crossing$season_spec dan train_crossing$model_spec panjangnya sama-sama 288 mas.

Hasil print transformed data: terdiri dari 144 tbl_df (1176 x 1)
Hasil print train_crossing$season_spec: 288
Hasil print train_crossing$out_spec: 288
Hasil print train_crossing$model_spec: 288

Kemarin saya otak-atik mas Adi, dan sudah tidak muncul error pada function map2() tsb lagi tapi sekarang waktu komputasinya lama sekali, ditunggu sampai 30 menit belum juga selesai. Akhirnya saya coba untuk proses ber bagian seperti berikut
step1 <- transformed_data %>% map2(.y = train_crossing$season_spec, .f = ~exec(.y, .x))
step2 <- step1 %>% map2(.y = train_crossing$out_spec, .f = ~exec(.y, .x))
step3 <- step2 %>% map2(.y = train_crossing$model_spec, .f = ~exec(.y, .x))
Pada step 1 dan step 2 waktu komputasi tidak lama, tapi di step 3 itu yang lama. Tolong diberikan saran lagi mas Adi, ini kira-kira karena apa.
Awalnya saya kira karena jenis proses yg terlalu banyak, berikut spesifikasi proses awal
-Preprocessing data: No data transformation, Squared value, Scaled value, dan Log transformation
-Seasonality: daily, weekly, dan daily&weekly
-Model: holt-winters, auto-arima, ets, stlm, dan tbats

Karena waktu komputasi yg terlampau lama di step 3, jadi saya coba untuk gunakan 2 model saja. Tapi ditunggu 30 menit tetap belum selesai juga mas Adi.

[galuhchynintya]

Dear mas Adi,
Di penjelasan saya sebelumnya, saat waktu komputasi terlampau lama, setelah saya perhatikan lagi dibagian memory yang digunakan, sampai berwarna merah.

Tadi saya coba satu-satu jalankan setiap model di step 3, error yang sama terjadi seperti awal saat menggunakan semua model. Error seperti dibawah ini terjadi pada step 3 dengan model auto arima.

Hasil print transformed_data: terdiri dari 36 tbl_df (1176 x 1)
Hasil print train_crossing$season_spec: 72
Hasil print train_crossing$out_spec: 72
Hasil print train_crossing$model_spec: 72

Apa yang membuat error hanya di model auto arima sj ya mas?

[VictorNugraha]

Hai Bu @galuhchynintya ,

Izin menambahkan saran dari jawaban Mas Adi sebelumnya.

Ibu boleh coba menjalankann proses pembuatan model auto.arima() tanpa menggunakan bantuan fungsi map2(), tujuannya untuk memastikan apakah persiapan datanya sudah benar atau sesuai dengan kebtuhannya. Jika pada penggunaan dari fungsi auto.arima() masih error, saya curiga bahwa ada kesalahan pada bentukan datanya. Berikut adalah beberapa yang mungkin bisa dicek dari bentukan datanya.

• Apakah sudah dalam bentukan time series
• Apakah target yang ingin diprediksi sudah dalam integer

Berikut sedikit saran dari saya, untuk mengecek kendala yang sedang dihadapi.

Semoga membantu dan jika ada kendala lagi, silahkan hubungi kami.

Terima kasih.

[galuhchynintya]

Terima kasih atas responnya mas Victor. Ini sebetulnya untuk pengerjaan capstone ML kemarin mas Victor, tapi saya masih penasaran di mana letak kesalahannya. Berikut saya lampirkan file zip dari data dan Rmd nya.
Scotty_TS.zip
Terima kasih

[ranydwi]

Dear Bu @galuhchynintya

File ibu sudah kami terima dan sedang dalam proses pengecekan oleh internal team. Mohon ditunggu Bu 🙏. Terima kasih.

[galuhchynintya]

Terima kasih mba Rany

[ranydwi]

Dear Bu @galuhchynintya , setelah saya periksa Rmd Ibu, saya menduga model terlalu lama dijalankan karena ibu membuat sangat banyak kombinasi parameter yang ada pada model Ibu. Untuk mengurangi komputasi, ibu bisa melakukan beberapa hal seperti berikut (bisa disesuaikan dengan keinginan ibu kembali):

• Gunakan transformasi variabel max 2 jenis transformasi (Ex: Log dan Sqrt)
• Model yang dipakai bisa dikurangi max 2 jenis model
• Outlier tidak perlu dilakukan imputasi karena dari data sebetulnya tidak ada fenomena outlier yang terlalu signifikan.

Kemudian untuk fungsi yang ibu jalankan, ada beberapa yang sepertinya typo Bu. Bisa dijalankan code berikut:

forecast_map <- train_crossing %>%
 map2(season_spec, #make ts object
      .f = ~exec(.y, .x)) %>%
 map2(.y = model_spec, #fitting into the model
      .f =  ~exec(.y, .x)) %>%
 map(~ forecast(.x, h = 24 * 7)) %>%  #forecast
 map(~pluck(.x, "mean")) %>% #pluck() for extracting element from a vector or environment
 map(~ as.numeric(.x))

Code di atas saya keluarkan untuk penambahan outlier ke dalam model. Semoga membantu ya Bu

[galuhchynintya]

Dear mba Rany,

Terima kasih mba, alhamdulillah sudah bisa sekarang.

[ranydwi]

Dear Bu @galuhchynintya

alhamdulillah... dengan senang hati Bu Galuh. Semangat selaluu 😊