Permisi, pak. Izin bertanya, apakah seorang Data Engineer harus menggunakan OS Linux? Kalau iya, distro Linux apa yang cocok untuk pemula? Terima kasih sebelumnya.
Untuk arsitektur Busines Intellegence yang sumber datanya dari SQL server, excel file dan High Frequency data, apakah cukup dengan menggunakan arsitektur datawarehouse atau bisa mengimplementasikan arsitektur data pipe line ?
Cukup sekali. Apa pain points Anda? Misalnya, kalau sulit untuk analisis data dari sumber yang berbeda2, langkah pertama satukan dulu semuanya di sebuah tempat, misal ditaruh di SQL server-nya.
Kalau row-based replication (mysql/mariadb) masuk ke stream kan ya, apa correctness nya bisa dibilang lebih buruk dari statement-based replication (a.k.a batch)? Kejadian yang paling menakutkan dari segi kualitas untuk stream apa ya kak? Oiya untuk data ingestion itu bisa dibilang replikasi kan ya kak?
Yang tricky dalam streaming itu soal operationalnya. Ketika ada data yang salah, treatmentnya jauh lebih tricky dibanding dengan batch. Data ingestion bisa dibilang replikasi, karena pada intinya copy data ke sebuah centralized data lake
Baik kak Terima kasih atas balasannya bisa buat batu loncatan saya buat menjelajahi dwh pipelining mariadb dengan membandingkannya dengan skema dari kak Rendy🙏
Thanks Bang untuk video pembelajarannya, sekalian mau tanya kalau IDE GUI nya yang bisa dipakai untuk mengakses ke Hive / Hadoop apakah ada free ataupun paid yang bisa direkomendasikan?
Untuk Hive, saya pernah pakai Ambari. Tapi kurang saya sarankan. Bisa coba Zeppelin ya. Untuk Hadoop, tidak ada GUI-nya, kalau IDE tergantung bahasa masing2. Misal kalau Java / Scala itu nyamannya pakai Intellij biasanya. Bisa juga pakai Visual Studio Code.
Betul, biar paham dalemannya. Biasanya lebih banyak resource yang menjelaskan bagaimana teknologinya bekerja. Pemahaman konsepnya itu sekali udah paham bisa kamu pake di yang tidak open source juga karena biasanya cukup serupa.
Mohon maaf ada kesalahan teknis, videonya terpotong di akhir, untuk batch / stream dan tips saya lanjut di czcams.com/video/HRrRajop3I8/video.html
penjelasannya sangat enak dipahami, terima kasih banyak kang!
Terima kasih banyak, semoga sukses selalu 😇
Jazakumullahu katsiroon dan terima kasih materinya mas...selama ini saya ikuti materi nya jelas dan mudah dipahami.
Terima kasih!
setuju
Kak makasih bnyak udah bikin akun ini dan materi ini.
sangat mudah dipahami, makasih banget bang.
Makasih ilmunya pak, mudah dipahami.
Apresiasi
terimakasih info nya
keren ... terimakasih kang
lanjut terus pak, paham betul
Terima kasih, baru lanjut lagi rilis baru. Semoga bermanfaat.
Permisi, pak. Izin bertanya, apakah seorang Data Engineer harus menggunakan OS Linux? Kalau iya, distro Linux apa yang cocok untuk pemula?
Terima kasih sebelumnya.
Kereeennn
mas, bikin video yang update tools nya donk...
Thanks sharing nya, auto subscribe
terima kasih!
Terima kasih ilmunya Bang
Sama2. Semoga bermanfaat.
Thanks bang
Untuk arsitektur Busines Intellegence yang sumber datanya dari SQL server, excel file dan High Frequency data, apakah cukup dengan menggunakan arsitektur datawarehouse atau bisa mengimplementasikan arsitektur data pipe line ?
Cukup sekali. Apa pain points Anda? Misalnya, kalau sulit untuk analisis data dari sumber yang berbeda2, langkah pertama satukan dulu semuanya di sebuah tempat, misal ditaruh di SQL server-nya.
Kalau row-based replication (mysql/mariadb) masuk ke stream kan ya, apa correctness nya bisa dibilang lebih buruk dari statement-based replication (a.k.a batch)?
Kejadian yang paling menakutkan dari segi kualitas untuk stream apa ya kak?
Oiya untuk data ingestion itu bisa dibilang replikasi kan ya kak?
Yang tricky dalam streaming itu soal operationalnya. Ketika ada data yang salah, treatmentnya jauh lebih tricky dibanding dengan batch.
Data ingestion bisa dibilang replikasi, karena pada intinya copy data ke sebuah centralized data lake
Baik kak Terima kasih atas balasannya bisa buat batu loncatan saya buat menjelajahi dwh pipelining mariadb dengan membandingkannya dengan skema dari kak Rendy🙏
Thanks Bang untuk video pembelajarannya,
sekalian mau tanya kalau IDE GUI nya yang bisa dipakai untuk mengakses ke Hive / Hadoop apakah ada free ataupun paid yang bisa direkomendasikan?
Untuk Hive, saya pernah pakai Ambari. Tapi kurang saya sarankan. Bisa coba Zeppelin ya.
Untuk Hadoop, tidak ada GUI-nya, kalau IDE tergantung bahasa masing2. Misal kalau Java / Scala itu nyamannya pakai Intellij biasanya. Bisa juga pakai Visual Studio Code.
videonya kepotong di 22:56 mas
Wah terima kasih mas, saya baru ngeh, saya upload lanjutannya di sini czcams.com/video/HRrRajop3I8/video.html
makasi sharingnya mas... bermanfaat dan mudah penjelasannya.. ayo semua yang mampir disini pada subscribe...
ini untuk begineer bagusnya mulai dari yang open source ya Bang?
Betul, biar paham dalemannya. Biasanya lebih banyak resource yang menjelaskan bagaimana teknologinya bekerja. Pemahaman konsepnya itu sekali udah paham bisa kamu pake di yang tidak open source juga karena biasanya cukup serupa.
@@InsinyurData Siap terima kasih, ditunggu Bang tutorial end to end beginner DE nya, semangat sukses