DSS Airlflow Get Data From Database

[KentBryant]

Kalau semisal saya memiliki DB yg selalu overwrite setiap harinya bagaimana untuk memanage data tersebut sehingga tidak duplicate dan bagaimana untuk ngepull secara langsung dari DB, apakah perlu 2 system untuk pull dan data processingnya??

[arkanayudhistira]

Dear @KentBryant,

1. Untuk fetching database, database apakah yang Bapak gunakan untuk fetching data tersebut? Untuk setiap database biasanya memiliki API dalam bentuk library khusus yang dapat dimanfaatkan oleh Python untuk melakukan fetching datanya, kami akan bantu mencarikan library yang dapat bapak gunakan.
2. Untuk mencegah terjadinya duplicate, Bapak dapat memanfaatkan fungsi dari pandas yaitu .drop_duplicates() yang akan secara otomatis menghilangkan baris-baris dalam tabel yang merupakan data duplikat atau melakukan filter berdasarkan waktu sehingga data yang akan diambil hanyalah data baru

Ditunggu jawabannya, semoga membantu!

[adizaen]

Dear @KentBryant

Terima kasih telah bertanya melalui Github discussions Algoritma. Untuk menjaga agar forum diskusi berjalan kondusif, karena tidak ada respon lanjutan setelah 7 hari dari respon terakhir, kami izin menandai pertanyaan sudah terjawab dan menutup diskusi ini. Semoga dapat dipahami dan terima kasih.

Best regards,
Team Algoritma