- 16
- 97 486
Insinyur Data
Indonesia
Registrace 22. 11. 2020
Insinyur Data bertujuan menjadi salah satu tempat belajar praktik data engineering teman-teman se-Indonesia.
Kontributor:
Rendy Bambang Junior. Berpengalaman membangun data infrastruktur dan pipeline di start-up unicorn di Indonesia, dari gigabyte hingga petabyte, SQL dan No-SQL, data lake dan data warehouse, batch dan streaming.
Social media & blog: linktr.ee/rendybjunior
Kontributor:
Rendy Bambang Junior. Berpengalaman membangun data infrastruktur dan pipeline di start-up unicorn di Indonesia, dari gigabyte hingga petabyte, SQL dan No-SQL, data lake dan data warehouse, batch dan streaming.
Social media & blog: linktr.ee/rendybjunior
Query Pakai AI di BigQuery - Seri AI untuk Data Eps. 1
Tidak jarang kita dengar bahwa “AI tidak akan menggantikan manusia, namun manusia lain yang menggunakan AI akan menggantikanmu”. Bagaimana dengan data scientist, data analyst, dan data engineer? Apa saja AI yang memudahkan untuk kita di bidang data? Saya akan bahas dalam seri blog “Seri AI untuk Data” di mulai dengan BigQuery Code Assist.
Referensi:
- HBR article, kita akan direplace manusia lain yang pakai AI hbr.org/2023/08/ai-wont-replace-humans-but-humans-with-ai-will-replace-humans-without-ai
- Research Github Copilot lebih dari 2x efektif github.blog/news-insights/research/research-quantifying-github-copilots-impact-on-developer-productivity-and-happiness/
- How-to lengkapnya di sini cloud.google.com/bigquery/docs/write-sql-gemini
- Setup Gemini di BigQuery: cloud.google.com/gemini/docs/bigquery/set-up-gemini
- Saat ini gratis, namun akan jadi berbayar, detail pricing di sini cloud.google.com/products/gemini/pricing#gemini-in-bigquery-pricing
Referensi:
- HBR article, kita akan direplace manusia lain yang pakai AI hbr.org/2023/08/ai-wont-replace-humans-but-humans-with-ai-will-replace-humans-without-ai
- Research Github Copilot lebih dari 2x efektif github.blog/news-insights/research/research-quantifying-github-copilots-impact-on-developer-productivity-and-happiness/
- How-to lengkapnya di sini cloud.google.com/bigquery/docs/write-sql-gemini
- Setup Gemini di BigQuery: cloud.google.com/gemini/docs/bigquery/set-up-gemini
- Saat ini gratis, namun akan jadi berbayar, detail pricing di sini cloud.google.com/products/gemini/pricing#gemini-in-bigquery-pricing
zhlédnutí: 135
Video
dbt : Transformation Tool yang Makin Ngetrend
zhlédnutí 2,9KPřed 2 lety
Dalam seri Belajar Bareng pertama ini saya akan membahas dbt. dbt adalah transformation tool yang menurut saya keren banget dan bakal makin banyak yang pakai ke depannya. Dalam seri Belajar Bareng, saya akan mengajak teman-teman belajar bareng sebuah teknologi dengan mengikuti Getting Started documentation official. Selain itu saya akan bawakan juga konsep-konsep pentingnya dan kenapa teknologi...
Columnar Database dan File Format: Data Engineer Wajib Paham!
zhlédnutí 1,7KPřed 2 lety
Kebanyakan data lake dan data warehouse itu menggunakan teknologi database atau file format yang columnar. Kenapa columnar ya? Kenapa ini cocok untuk workload data dan analytics? Gimana sih konsepnya? Kok bisa cepet? Gasss ditonton sampe abis, demo-nya ngejelasin sampe detail. Notes: ada kesalahan di slide pada menit ke 10 mulai detik ke 57, harusnya yang warna biru itu `def.parquet` bukan `abc...
Data Ingestion : Konsep, Macam, Tips, dan Demo MySQL ke BigQuery
zhlédnutí 6KPřed 3 lety
Data ingestion memegang peranan sentral dalam data pipeline, yaitu mengumpulkan data dari berbagai sumber ke satu tempat. Apa saja macam-macamnya (berdasarkan sumber dan metode), bagaimana caranya, dan apa tipsnya, dibahas di dalam video ini. Untuk memahami lebih mudah, tonton terlebih dahulu video arsitektur dan scheduler di playlist seri pengenalan data engineering di sini czcams.com/play/PLs...
Workflow Manager / Scheduler Data Pipeline : Konsep, Contoh, dan Tips
zhlédnutí 6KPřed 3 lety
Salah satu komponen sentral dari batch data pipeline adalah workflow manager / scheduler. Saya jabarkan definisinya, contoh-contoh mulai dari yang paling simple, yang paling banyak dipakai, dan yang paling terbaru / ngetrend (saat video ini dibuat tentunya :p). Saya detailkan juga arsitektur salah satunya. Diakhiri tips memilih scheduler. Playlist Seri Pengenalan Data Engineering: czcams.com/pl...
Lanjutan Arsitektur Data Pipeline : Batch atau Stream? Tips-nya?
zhlédnutí 1,6KPřed 3 lety
Mohon maaf video Arsitektur Data Pipeline (czcams.com/video/wthuW6N7TQc/video.html) terpotong diakhir, ada kesalahan teknis. Di video ini saya lanjutkan bagian yang terpotong, yaitu batch atau stream, dan tips untuk arsitektur data pipeline. Playlist Seri Pengenalan Data Engineering: czcams.com/play/PLsZBbJgNKpNU48qBva4eEjqCYHp4shZaP.html Timeline: 00:00 Batch atau stream? 02:58 Tips Presentasi...
Arsitektur Data Pipeline Batch dan Stream : Bedanya dan Tips
zhlédnutí 9KPřed 3 lety
Apa itu arsitektur data pipeline? Apa bedanya batch dan stream? Contoh teknologinya apa? Kapan pakai batch atau stream? Apa saja tipsnya? Video kali ini membahas tentang arsitektur data pipeline batch dan stream. Kanal ini saya niatkan untuk menumbuhkan talent data engineer di Indonesia. Saat saya ingin lebih serius membuat kurikulum, saya berpikir baiknya mulai dari mana. Saya pun berkesimpula...
Cara Query Repeated Fields dan Unnest di BigQuery | Tutorial BigQuery Eps. 7 #BigQuerySeries
zhlédnutí 1,2KPřed 3 lety
BigQuery bisa punya array / repeated fields, tapi gimana cara query-nya? Apa itu unnest dan cara pakainya gimana? Video ini membahas bagaimana cara membuat array, membuat data tabular dari array (flattening) dan fungsi array lainnya Playlist Seri Tutorial BigQuery: czcams.com/play/PLsZBbJgNKpNW8GgTIhP8haaw8LWDqbpmD.html Support: saweria.co/rendybjunior Timestamp: 00:00 Pendahuluan dan Konsep Ar...
Apa Itu Data Engineer? Kenapa perlu? Apa aja skill-nya?
zhlédnutí 22KPřed 3 lety
Video ini membahas apa saja lingkup kerja data engineer, kenapa data engineer diperlukan, dan apa saja yang perlu dipelajari untuk menjadi data engineer. Selain itu, saya sertakan komunitas tempat bertanya dan belajar tentang data engineering. Link komunitas: t.me/businessintelligenceID s.id/idbigdatajoin t.me/pythonID t.me/datascienceindonesia t.me/machinelearningid Mau belajar lebih terstrukt...
BigQuery UDF SQL & Javascript untuk Analsis Github Commit | Tutorial BigQuery Eps. 6 #BigQuerySeries
zhlédnutí 871Před 3 lety
Bagaimana membuat UDF di BigQuery? Ada dua cara: SQL dan Javascript. Dalam video ini kita akan analisis message commit Github public repo, dan hitung berapa commit yang merupakan bug fixing dan feature development. Playlist Seri Tutorial BigQuery: czcams.com/play/PLsZBbJgNKpNW8GgTIhP8haaw8LWDqbpmD.html Support: saweria.co/rendybjunior Timestamp: 00:00 Introduction 01:45 Github commit data 03:30...
Selamat datang di kanal Insinyur Data
zhlédnutí 535Před 3 lety
Selamat datang di kanal Insinyur Data (en: Data Engineer). Saya Rendy Bambang Junior. Saya Google Developer Expert di Google Cloud, dengan spesialisasi di big data. Berpengalaman membangun data infrastruktur dan pipeline di start-up unicorn di Indonesia, dari gigabyte hingga petabyte, SQL dan No-SQL, data lake dan data warehouse, batch dan streaming. Harapannya channel ini bisa jadi salah satu ...
BigQuery Scripting, Query Data Secara Prosedural | Tutorial BigQuery Eps. 5 #BigQuerySeries
zhlédnutí 2,7KPřed 3 lety
Pada tutorial kali ini, saya membahas BigQuery Scripting, yaitu cara query data secara prosedural. Saya membahas cara mendeklarasikan variabel dan tipenya, cara set nilai ke variabel, cara looping, dan lain-lain, dalam sebuah use case. Playlist Seri Tutorial BigQuery: czcams.com/play/PLsZBbJgNKpNW8GgTIhP8haaw8LWDqbpmD.html Support: saweria.co/rendybjunior Timestamp: 00:00 Konsep 02:39 Variabel ...
Query Cloud SQL MySQL dari BigQuery dengan External Query | Tutorial BigQuery Eps. 4 #BigQuerySeries
zhlédnutí 2,2KPřed 3 lety
Dalam episode ini, saya menjelaskan bagaimana cara query langsung dari BigQuery ke Cloud SQL (MySQL) menggunakan external query. Video ini merupakan request dari mas Budhi Setyawan di episode sebelumnya. Jadi kalau kalian ada pertanyaan atau request lanjutan ide videonya, langsung komen aja ya. Playlist Seri Tutorial BigQuery: czcams.com/play/PLsZBbJgNKpNW8GgTIhP8haaw8LWDqbpmD.html Support: saw...
Query Google Sheet dari BigQuery dengan External Table | Tutorial BigQuery Eps. 3 #BigQuerySeries
zhlédnutí 3,6KPřed 3 lety
Dalam video ini, saya menjelaskan secara singkat padat dan semoga jelas, bagaimana cara query Google Sheet dari BigQuery dengan menggunakan External Table Playlist Seri Tutorial BigQuery: czcams.com/play/PLsZBbJgNKpNW8GgTIhP8haaw8LWDqbpmD.html
Membaca Data di BigQuery dengan Python SDK | Tutorial BigQuery Eps. 2 #BigQuerySeries
zhlédnutí 5KPřed 3 lety
Di seri belajar BigQuery episode pertama, ada komen request cara membaca data di BigQuery dari aplikasi. Dalam video ini, saya jelaskan dalam bahasa Python dengan menggunakan BigQuery client library. Playlist Seri Tutorial BigQuery: czcams.com/play/PLsZBbJgNKpNW8GgTIhP8haaw8LWDqbpmD.html Background music: "All that" dari www.bensound.com
Pengenalan BigQuery dan Langsung Praktik Query! | Tutorial BigQuery Eps. 1 #BigQuerySeries
zhlédnutí 32KPřed 3 lety
Pengenalan BigQuery dan Langsung Praktik Query! | Tutorial BigQuery Eps. 1 #BigQuerySeries
btw untuk enable Gemini integrate BQ harus purchase untuk cloud APInya dl ya mas? atau bisa yg free? untuk yg sandbox version apakah bisa?
Tidak perlu purchase karena free, namun memang perlu aktivasi billing, di sandbox tidak ada. Saya biasa pakai virtual debit saldo 15rb cukup, karena hanya dicek saja apakah manusia atau robot.
@@InsinyurData siap thanks informasinya
Yeeeay .. semangat bikin video 👍🏻
Thanks mas ✨✨
Mau tanya bg, sayakan dapat tugas proyek ahkir semester 2 yaitu reverse Enggineering basis data sebuah aplikasi dan kebetulan kami mengajukan judul Aplikasi temu dan mencari 4 poin di bawah, untuk mendapatkan data aplikasi temu semua dimensionnyaa dan semua metrixnya itu bagaimana bg? -deskripsikan sistem Aplikasi temu -erd dan model data fisik aplikasi temu -menganalisis kebutuhan query yang digunakan pada aplikasi temu -membuat basis data dan menguji coba query menggunakan mySql
file presentasinya kehapus bang?🥲
file presentasinya kehapus ya bang?🥲
Mas, petunjuknya sudah beda dengan google query yang versi sekarang, mohon di update ya Mas makasih
bang mau minta materinya, url d atas udah nggk aktif makasi bang
matematika untuk data engineer apa aja bang
Ka bagi tutor untuk data human risourt variant dong ka
Mantaap bang, thanks!
Mantaap bang, terima kasih atas ilmunya!!
suaranya kecil bgt kak tapi pembahasan nya sangat menarik 👍
mas mau tanya dong, dbt untuk keperluan di airbyte gimana ya ? makasih 🙏
Maaf saya pengangguran Cari kerja Tolong di bantu
bang tanya , bagaimana cara mengganti nama field yang sudah dibuat ?
Ini yah cloud.google.com/bigquery/docs/managing-table-schemas#change_a_columns_name
Bang tutorial big data terkait noaa_tsunami dong, kira-kira apa aja yang perlu kita analisa atau apa yang cocok perlu di analisa
Videonya bagus kak , saran suarnya kurang besar
Permisi, pak. Izin bertanya, apakah seorang Data Engineer harus menggunakan OS Linux? Kalau iya, distro Linux apa yang cocok untuk pemula? Terima kasih sebelumnya.
keren mas thankyou informasinya
Bang, kalo belajar di windows dulu bisa ga ? atau mesti langsung di Linux ?
Bisa, lebih mudah dengan adanya WSL.
@@InsinyurData Oke bang, makasih,
kak bisa cobakan demo bigquery dengan google earth engine untuk data GIS
Kalau saya mau undang untuk sharing di kantor saya untuk internal team di sekitar Cikarang... Apa bisa dibantu? Thankyou
Boleh minta tolong query untuk perintah ini bagaimana kak Carilah data total price di masing-masing kode (code), di kota (city) SAC, dan lakukan pengurutan berdasarkan kode (code) paling awal hingga akhir!
Penjelasan terlalu panjang, berbelit-belit, entah arahnya mau kemana, volume sound kecil...
suaranya kurang gede
nice tutorials! thank you... btw need to speak up a bit hehehe... btw tinggal di simplicity ya 😃layoutnya mirip simplicity bsd
mas rendy udah jarang update yaa, padahal seru banget belajar data dari channel ini.. sukses terus mas di ruang guru!
Keren sekali penjelasannya mas, mungkin saya usul untuk materi dagster , sepertinya agak berbeda dengan airflow
Sebelumnya makasi mas Rendy, mau tanya, kalo Navicate Premium itu untuk apa ? Trims
Kak mau nanya untuk edit schema type gimana kak?
thank you mas...
mas, bikin video yang update tools nya donk...
Mau tanya pak itu pake OS apa ya komputernya?
gokil kejadian skrng 2023 needs nya makin2
kak, audionya kurang besar. padahal tutorialnya udah bagus
coba periksa ke THT atau beli headphone yang proper.
ini bisa ngolah data lebih dari 900.000 row kan yaa? soalnya spreadsheet hanya 380.000 an
Izin mas semoga direply ya mas, jadi gini mas, saya kan ada kerjaan tiap hari untuk koneksi mesin finger kemudian datanya ditarik ke sistem informasi untuk divisualisasikan jamnya pada target kolom yang ditentukan.. nah apakah ini termasuk data ingestion? terima kasih.
terimakasih info nya
Menarik sekali pembahasannya mas, kebetulan saya ada project untuk dump database dari mysql dan akan di export ke bigquery. Semisal saya dump data dari 'dbeaver' metode ini efektif untuk digunakan kah?
tengyu yac bang..smg sukses sehat sll ya..
Menarik dibahas Mas untuk bikin job yang copy Sheet ke BigQuery 😄
Mas baru kenal big query..apakah layanan ini free? saya coba sign up cloud kok bayar ya? bener kah?
sebutin juga dong tools2nya
Kang Rendy, kapan upload video tutorial lagi kang?
Om tukang insinyur gmn caranya integrate sama airflow ya untuk run jobnya
Kak rekomendasi laptop DE dong
Tambah lagi bang kontennya, bermanfaat bgt ini, baru subscribe nih
kak tempatku query history,saved,queries, jobhistory dll, ga muncul seperti di tutorial itu munculinnya gimana ya?
sangat mudah dipahami, makasih banget bang.
Kak makasih bnyak udah bikin akun ini dan materi ini.