Mengenal Change Data Capture
Vložit
- čas přidán 23. 08. 2024
- Mengenal Change Data Capture
JOIN PREMIUM : www.youtube.co...
DISCORD PREMIUM : • Post
Donasi :
Saweria : saweria.co/Pro...
Social Media :
Instagram : / programmerzamannow
Facebook : / programmerzamannow
Telegram : t.me/Programme...
CZcams : / programmerzamannow
Mantap pak eko, sebagai DE(Data Engineer) saya berasa refresh knowledge hehe
mantab pak, request bikinkan tutorial spring security dari pemula sampe mahir pak sekaligus integrasi sama keycloack. Jadi course berbayar juga gk apa2. likenya temen2 jika setuju :)
Buat video tentang pemahaman data engineering pak eko, kaya tools apa aja yg perlu di kuasai dan menjaga data integrity dari data ingestion sampai ke user
Noted
Setuju
baru bikin ini pake kafka dan debezium, gara2 ini naik gaji 😂
mantul sekali
Bikin tutorial nya pak hehe
Wah mantep gan
iya, jadi awalnya di kantor gw ada prosess ETL dari mysql ke clickhouse dan itu jalan setiap malem pake cronjob, jadi data yang masuk data H-1, dan disitu gw kepikiran gimana ETL itu bisa realtime , akhirnya bikin deh pake kafka sama debezium
Cara biar hemat memory gmn ya? Default config-nya consume banyak memory soalnya.
pak kapan kapan bahas multitenant architecture dan bestpractice nya.
wah pas banget ni studi kasusnya, baru denger debzium, udah hampir 4 tahun buat dan maintain listener bikinan sendiri, buat listen perubahan di oracle lalu di insert ke elastic.
Mantap, Ini yang saya cari untuk implementasi di fitur Display Dashboard di kantor
Metode ya lebih ke Data Streaming dengan skala besar atau big data .... mantap 👍
Menarik, kalo di terapkan di machine learning menarik juga buat trigger data training
Wii dah nyenggol2 DE ni, lanjut Pa Eko
Keren banget mas, mas Eko saya mau nanya kalo misalnya hanya 1 database nya apakah best practice nya untuk stream change data tetap pakai debezium, atau gausah mas?
makasih banyak abangkuh!👏🏻👌🏻
Bikin seri data engineering pak
Setuju
Subangna dimana a' ? Hoyong ameng lah 😁
wahh makasih Kang, saat ini saya ngelisten change di db nya pake cronjob setiap 2 detik sekali, wkwkwk
rajin sekali
bikin overheat sistemnya ga tuh?
coba cek penggunaan cpu, ram, dll setelah menggunakan cara itu naik drastis ga bang?
Permisi pak Eko izin mau tanya, untuk contoh case penggunaan debezium ini seperti aplikasi RealTime dashboard begitu ya pak?
trimakasih banyak pak 🙏
baru aja beres pake Debezium sama kafka, terus nyoba flink juga enak sih flink
flink itu untuk apa mas?
@@kemasghanis.7358 sama saya pakai buat CDC juga
@@kemasghanis.7358 saya pakai untuk CDC juga mas
Untuk display antrian arsitekturnya gmn ya mas, biar selalu dapat data realtime
Makasih Pak Eko 👍🙏
Kalau ETL di industri itu gimana pak?
Next tutorial tools pke pentahoo dong pak eko
lagi riset pake SQL SERVER + CDC Debezium + kafka. Ada problem, mungkin bisa di koreksi. Ketika struktur tabel berubah, perubahan struktur juga tidak langusng berubah. Jadi perlu di "disable/enable" kembali CDC nya. Mungkin ada yang mengalami, apakah memang harus seperti itu ya?
Keren ilmunya pak! sehat2 terus
selama ini saya ngandelin Postgres notify ama listen
pakai ini aja udah cukup harusnya kalau kamu cuma pakai database postgres, karena biasanya udah dioptimasi untuk postgres karena yang buat postresnya langsung
Sama kayak Hibernate envers ya pak
Untuk Perubahan yuk bilang AMIN (All in 01 Anies-Muhaimin)
ada masalah apa sih kawan
apa beda ny dgn Audit Trail ?
kalau setelah mendengarkan perubahan maunya bukan kirim ke db lain, tapi mau call suatu api itu gimana pak ?
kirim ke kafka, trus bikin listener di kafka untuk manggil api lain
mas sama SCD sama kah?
Pak bahas database transactional jika kita menggunakan lebih dari 1 jenis database dong
Gak bisa kalo itu
Solusinya gimana ya pak? Apakah harus 1 proses di endpoint tersebut harus pake 1 tipe database?
mau nerapin CDC juga di tempat kerja, tapi archive log di oracle nya ga mau dibuka karena alasan storage, jadi bingung pak 🤣 jadinya ya cdc trigger based, ga bisa log based, mohon kalo ada inspirasi lain 😅
kenapa gak mau dibuka?
@@ProgrammerZamanNow alasan storage kata dba nya pak, kalo lognya dibuka nanti storagenya lama2 besar
Pak eko, saya pernah coba pake debezium buat listen postgresql, tapi pas initial data copy ke kafka jadi bloated bgt, datanya emg hampir 1m tapi storage hampir tembus 1tb buat nampung data capture nya aja di kafka.
Apakah saya ada salah implementasi di / settingan debeziu ato kafkanya ya?
Di kafka bisa di setting retention nya, misal 100Gb jadi lebih dari itu otomatia data lama hilang
berarti consume datanya harus cepet juga ya pak eko?, itu padahal datanya masih belum ada 1/4 nya..
kalo sepengalaman pak eko buat data yang mayan besar apakah emang butuh server yang gede pula storage nya buat catch up datanya? belom lagi kafka node nya harus minimal 3. cmiiw
Pak eko, mau tanya bedanya change data capture sama database replication apa ya ?
itu replica sesama database yang sama
@@ProgrammerZamanNow Terima kasih pak eko pencerahannya
Ini connector MySQL nya bs dipakek utk MariaDB kah Pak?
harusnya bisa
@@ProgrammerZamanNow ok Pak thx ingfo
wih gw butuh sh cmn dbnya udh 4.5TB, backup aja pun gk ada :'(
kalo corrupt datanya, langsung gak bisa tidur
@@ProgrammerZamanNow saya tiap hari berdoa supaya cepat pindah 😭
@@glowiever pindah db apa pindah kerja