untuk data custom disimpan ke relasi database, ya gunakan field type text, lalu di jquery kita olah custom2 data tersebut menjadi json sebelum submit form, lalu simpan deh json tadi ke field text
kang .. bahas timescaleDB donk.. lebih bagus lg TimescaleDB + PostgreSQL + Hasura.. utk kasus2 aplikasi yg tidak terlalu besar.. masih butuh relational db.. tapi butuh realtime.. dan partitioned and indexed by timestamp menggunakan hypertable
Tarantool (buat OLTP, sejenis redis tapi support sql biasa, jadi dia append semua mutasi ke log, dan apply ke RAM, ada 2 engine memtx buat yg pure inmem, vinyl buat yg partial ke disk, lebih fleksibel dari cql, speednya sejenis sama scylladb, cuma ga multicore/multiregion by default) Clickhouse (buat OLAP, atau bigquery kalo kantornya tajir, sama2 column oriented juga, jadi query2 yg lelet di postgres/mysql di clickhouse biasanya cuma sedetik, tapi ya buat backoffice/anak2 data, bukan buat dikroyok rame2, support materialized view reactive by insert seperti di scylladb) queue-nya pun gw pake 2 itu dipaksa jadi queue (tergantung butuh cepet atau butuh hemat), signalingnya pake NATS
Bang yang elasticsearch tuh bisa digabung dengan db lain kah? misal data di simpen di relational db, terus nyari datanya lewat elasticsearch? atau gimana konsepnya
Yup bisa pake CDC macam debezium (real-time), masuk ke kafka, consume pake python/nodejs/Java, masukin ke elasticsearch Atau pake Apache airflow (batch scheduler)
mas, boleh request tutorial lengkap untuk masing2 topik: 1) angular. 2) Nest.js secara lengkap. setahu saya belum dicover di channel ini. semoga berkenan. terimakasih.
@@ProgrammerZamanNow boleh tau kenapa alasannya? angular tidak akan dibuat. maksud saya alasan seperti apakah tidak cocok dengan atmosfer startups atau hal lainnya begiitu. takutnya buang waktu kl ternyata angular ke depannya kurang bagus masa depannya
Kang, ijin bertanya Kalau DB utama kt mysql untuk insert/update/delete dan butuh fitur elastic search utk display nya. Bagaimana cara pengaturan nyalin datanya?
Kak, tanya dong, gimana ya caranya ketika worker udh consume queue kita, lalu datanya di insert ke DB. Agar tidak terjadi to many conection di mysql gimana ya? Soalnya sya menggunakan 1 mysql, yg digunakan untuk wrtie data dari queue, dan read / write dari website. Soalnya data dari worker bisa insert 2rb an data per detik
@@ichsanashiddiqi5138 1. Close connection di akhir kodingan consumer kalo emang udah selesai 2. Batasi jumlah consumer 3. Insert sekaligus dengan batch Insert into ... Values (...),(...),(...) Maksimal 25 row sekali insert (paling optimal)
klo udh belajar Mongo db apakah perlu belajar Cassandra lagi? (untuk lapangan pekerjaan saat ini terutama perusahaan besar) soalnya baru belajar redis dan mongo db di materi ini (niatnya belajar elastic ama kafka)
kalo data ga banyak2 amat bisa tetep pake tsvectornya postgres, jadi selalu in sync dengan data asli ga nambah stack baru, tapi ya search2nya pake di replica saja jangan query dari master
bang klo untuk menyimpan file gambar, dokument pdf atau excel, cocoknya disimpen didalam projects atau disimpen kedalam database, atau ada cara lain? jika disimpen ke database, baiknya menggunakan data store apa? dan yg disimpan apa nya? file originalnya atau file yg sudah di konversi ke base64 ?
biasanya aplikasi modern pakai lebih dari satu database, dipisah-pisah perdomain, juga terkadang terdapat duplikasi menyesuaikan kebutuhan, tujuannya macam2
rasanya buat perusahaan big giant doank, saking ga fleksibelnya/limitasinya 11-12 sama cassandra/scylladb, bigtable (ga bisa ini ga bisa itu, query2 kompleks ga bakal jalan)
thankiess kang,, dari dulu ndak tertarik dgn database selain sql karna ndak tau fungsiny,, sekarang jadi ngerasa layak untuk dicari tahu
untuk data custom disimpan ke relasi database, ya gunakan field type text, lalu di jquery kita olah custom2 data tersebut menjadi json sebelum submit form, lalu simpan deh json tadi ke field text
Pas banget kang, gw lg bingung mo migrasi db ato engga.
Dengan nntn ini gw jd ngerti fungsi tu datastore
pas skli sedang belajar MongoDb :) terima kasih kang Eko
kang .. bahas timescaleDB donk.. lebih bagus lg TimescaleDB + PostgreSQL + Hasura.. utk kasus2 aplikasi yg tidak terlalu besar.. masih butuh relational db.. tapi butuh realtime.. dan partitioned and indexed by timestamp menggunakan hypertable
Menarik
mantap pak eko, saya tonton sampai selesai
Tarantool (buat OLTP, sejenis redis tapi support sql biasa, jadi dia append semua mutasi ke log, dan apply ke RAM, ada 2 engine memtx buat yg pure inmem, vinyl buat yg partial ke disk, lebih fleksibel dari cql, speednya sejenis sama scylladb, cuma ga multicore/multiregion by default)
Clickhouse (buat OLAP, atau bigquery kalo kantornya tajir, sama2 column oriented juga, jadi query2 yg lelet di postgres/mysql di clickhouse biasanya cuma sedetik, tapi ya buat backoffice/anak2 data, bukan buat dikroyok rame2, support materialized view reactive by insert seperti di scylladb)
queue-nya pun gw pake 2 itu dipaksa jadi queue (tergantung butuh cepet atau butuh hemat), signalingnya pake NATS
keren, boleh dicoba nih
Om request bahas N.A.T.S 😁
Terima kasih ilmunya bang
ngomong-ngomong soal discord, jadi inget video dari bytebytego yang bahas soal disocrd juga
Bang, lanjutin materi typescript-nya dong..😅
up
sampe saat ini sy gk pernah secara full menerapkan MongoDB, cm pake MongoDB GridFS utk menyimpan file.
Bang yang elasticsearch tuh bisa digabung dengan db lain kah? misal data di simpen di relational db, terus nyari datanya lewat elasticsearch? atau gimana konsepnya
biasa pake CDC atau trigger ke queue lalu diinsert ke ES/search engine apapun (jadi eventual consistency)
Yup bisa pake CDC macam debezium (real-time), masuk ke kafka, consume pake python/nodejs/Java, masukin ke elasticsearch
Atau pake Apache airflow (batch scheduler)
Ooh baru tau, thanks bang
mas, boleh request tutorial lengkap untuk masing2 topik: 1) angular. 2) Nest.js secara lengkap. setahu saya belum dicover di channel ini. semoga berkenan. terimakasih.
angular tidak akan saya buat, nestjs sudah ada agenda
@@ProgrammerZamanNow boleh tau kenapa alasannya? angular tidak akan dibuat. maksud saya alasan seperti apakah tidak cocok dengan atmosfer startups atau hal lainnya begiitu. takutnya buang waktu kl ternyata angular ke depannya kurang bagus masa depannya
cmiiw mas eko fokus backend@@fakeITDevTeam
Kang, ijin bertanya
Kalau DB utama kt mysql untuk insert/update/delete dan butuh fitur elastic search utk display nya. Bagaimana cara pengaturan nyalin datanya?
semua tipe db dipilih pake genset
kafka ama redis sering aku pake
Kak, tanya dong, gimana ya caranya ketika worker udh consume queue kita, lalu datanya di insert ke DB. Agar tidak terjadi to many conection di mysql gimana ya? Soalnya sya menggunakan 1 mysql, yg digunakan untuk wrtie data dari queue, dan read / write dari website.
Soalnya data dari worker bisa insert 2rb an data per detik
redis ku aku juga pakai, klo kafka untuk simpan case apa mas ?
@@ichsanashiddiqi5138 bantu jawab, bisa pakai connection pooling. Kalau di postgresql ada yang namanya pgbouncer
@@ichsanashiddiqi5138
1. Close connection di akhir kodingan consumer kalo emang udah selesai
2. Batasi jumlah consumer
3. Insert sekaligus dengan batch
Insert into ...
Values (...),(...),(...)
Maksimal 25 row sekali insert (paling optimal)
klo udh belajar Mongo db apakah perlu belajar Cassandra lagi? (untuk lapangan pekerjaan saat ini terutama perusahaan besar)
soalnya baru belajar redis dan mongo db di materi ini (niatnya belajar elastic ama kafka)
Pelajarin aja kalo ada waktu luang mah, seperti yg pak eko bilang belajar hal baru bisa dapet konsep baru dan paradigma baru
Mohon dibuatkan pembahasan untuk timeseries database
up
nanti di kelas mongodb ada timeseries
buat reporting scylla db atau clickhouse ?
Worthin an mana antara Elasticsearch atau Meilisearch untuk dijadikan driver Indexing dari database relational pa ?
yg ES boros resource sih, tergantung query pattern, alternatif lain ada typesense yg ini semua taruh ram tapi jadi bocor juga kalo datanya bejibun
kalo data ga banyak2 amat bisa tetep pake tsvectornya postgres, jadi selalu in sync dengan data asli ga nambah stack baru, tapi ya search2nya pake di replica saja jangan query dari master
Om tambahin vector database
untuk llm, sm rs nih db nya
Sumologic itu termasuk datastore juga gak pak?
bang klo untuk menyimpan file gambar, dokument pdf atau excel, cocoknya disimpen didalam projects atau disimpen kedalam database, atau ada cara lain?
jika disimpen ke database, baiknya menggunakan data store apa? dan yg disimpan apa nya? file originalnya atau file yg sudah di konversi ke base64 ?
pake s3 aja bro biar enak
S3 solusi terbaik si
cloud storage
object storage atau nas mount saja, jangan taruh database, ntar backupnya jadi painful gara2 terlalu banyak
enaknya yang disimpan di database berupa PATH file nya, untuk file nya sendiri disimpan di cloud storage
youtube searchin querynya seperti apa ya pak ?
Pak mau tanya data store apa yang cocok untuk membuat api last seen.
Datanya berubah tiap detik
Redis atau elasticsearch mungkin
Tapi kayaknya lebih cocok redis
Permisi pak mau nanya saya biasanya untuk filtering mengirim request ke body , apakah krg lebih elasticsearch seperti itu pak?
jangan jangan semua Api Makai method post semua ya?
@@bilmansarmadi1932 iya pak
Klo firebase gmn ka
Bang, berarti kalo bikin project, berarti gk harus satu database ya di gunakan?
biasanya aplikasi modern pakai lebih dari satu database, dipisah-pisah perdomain, juga terkadang terdapat duplikasi menyesuaikan kebutuhan, tujuannya macam2
mang kenapa ya mysql ga termasuk dalam list nya apakah sudah tidak relevant kah?
diawal kan dijelaskan, datastore selain relational, mysql itu termasuk relational
Mau tanya kalau kita pake ORM apa masih harus buat domain / entity?
Masih, orm itu pasti bikin entity nya
Ada yg lagi belajar DynamoDB ?
rasanya buat perusahaan big giant doank, saking ga fleksibelnya/limitasinya 11-12 sama cassandra/scylladb, bigtable
(ga bisa ini ga bisa itu, query2 kompleks ga bakal jalan)
elasticsearch apakah bisa di migrasi datanya otomatis dari db kita sebelumnya?
seharusnya enggak, karena sudah bedah sistem dan schema nya
bahas redpanda pak eko, katanya 10x lebih cepet dari kafka
banyak sih yang ngeclaim seperti itu, tapi nanti kita liat, apakah adopsinya bakal banyak atau enggak