Analisis Sentimen data Twitter dengan Rapidminer - Seri Perkuliahan Data Analytic & Data Mining #13
Vložit
- čas přidán 16. 12. 2021
- Pada video ini, kita belajar melakukan analisis sentimen dari data Twitter berbahasa Indonesia menggunakan algoritma Naive Bayes, yakni salah satu teknik Machine Learning yang banyak digunakan pada permasalahan analisis sentimen. Terdapat dua bagian yang dibahas dalam video ini, bagian pertama membahas proses pembangunan model klasifikasi sentimen menggunakan algoritma Naive Bayes dengan data latih yang sudah dilabeli secara manusl, dan bagian kedua membahas cara penerapan model klasifikasi yang telah dibangun untuk menentukan sentimen dari data Twitter yang belum memiliki label sentimen.
Tutorial mengubah atribut biasa menjadi label: • Tutorial mengubah atri...
Video sebelumnya dapat dilihat di sini: • Membuat Dataset Analis...
Link unduh dokumen stopword Bahasa Indonesia: www.kaggle.com/oswinrh/indone...
Link unduh dataset analisis sentimen yang sudah dilabeli sebagian:
tinyurl.com/2p93nwrk
#rapidminer #twitter #analisissentimen #sentimentanalysis #datascience
Saya di proses Union selalu terkendala incompatible roles, padahal sampai proses "Process Document" semua masih aman dan sesuai dengan yang dicontohkan pada video,
setelah stuck dan mencoba beberapa cara, akhirnya saya menemukan solusinya yg mungkin berguna juga untuk teman-teman yang senasib.
caranya yaitu setelah retrieve data latih, gunakan Set Role untuk ubah role Sentimen jadi regular agar bisa di unionkan.
kemudian setelah union, pakai Set Role lagi untuk mengubah Sentimen kembali menjadi Label.
sebenarnya muter-muter role saja sih, tapi saya yang sudah coba atur set role setelah process doc namun tidak berhasil, dan akhirnya cara ribet tersebutlah yang berhasil dan bisa mengantarkan saya ke akhir proses. semoga membantu bagi yang membutuhkan :)
Waaah, tengkyu mbak.. mudah2an bermanfaat utk teman2 yang lain yang juga terkendala hal yang sama. Makasih yaa
iya sama masalahnya jg spt itu..ubah role setimen jadi reguler dimana ?
Oohh iya, btw makasih ya. Padahal sebelumnya tidak ada masalah mengikuti persis seperti video diatas, seperti nya masalah ini terjadi saat RapidMiner nya update 10.1
terimakasih sudah sharing problem solvingnya, Allah Bless You
Ka ini bisa minta tutornya ga ya? Jd dr retrieve ke set role ke union lalu ke set role lagi kah ka?
ngikutin playlist data mining dari awal penjelasan nya sangat bagus, terimakasih pak, tambahin terus video tentang analisis sentimennya 🙏
Terima kasih 🙏
Alhamdulillah sangat membantu sekali video ini.. terima kasih banyak
Alhamdulillaah. Terima kasih mas 🙂
Terima kasih, pemaparan video sangat jelas dan sangat membantu bagi saya yang pemula. Semangat membuat konten mas
Terima kasih banyak atas supportnya 😊🙏
Wah terima kasih banyak bapak, saya sangat terbantu dengan adanya video ini
sama2 :)
Terima kasih pak, sangat membantu
Terima kasih kembali 😊
penjelasan bapak lebih mudah dipahami, dari pada asdos di kelas saya :)
alhamdulillaah mas jika mudah dipahami. videonya dishare ke teman2nya ya biar semua bisa makin paham 🙂
selamat pagi bapak izin bertanya, untuk process preprocessing dari case folding hingga stemming itu dilakukan di operator process document ya pak ? nah di dalam operator tersebut apa dibuat lagi operator process document lagi untuk proses case folding, cleansing, tokenizing, stopword dan stemming? izin arahannya bapak,, terima kasih
Bisa dicek di menit ke 6:20 di video ini mas. Jadi, kita pakai operator "Process Document from Data", nah operator tersebut punya sub ruang di dalamnya (klik 2 kali), dan di dalam operator tersebutlah kita masukkan operator "case folding", "cleansing", "tokenization", dll.
Izin bertanya pak, untuk menghindari subjektivitas dari peneliti untuk mengklasifisikasikan data uji sentimen twitter (positif maupun negatif) secara manual di excel bagaimana ya pak? Apakah ada referensj jurnal yang menyatakan suatu tweet itu sentimen positif atau sentimen negatif? Karena pasti saat ujian skripsi besok ditanyakan pak, terimakasih banyak
sebaiknya minta orang yang pakar dalam bidang linguistik atau komunikasi untuk memberikan label secara manual :)
Hai Pak ijin bertanya
untuk proses labelisasi data mengunakan tools apa ya ???
Terimakasih
Halo juga🙂
Labelisasi data itu pastinya manual, manusia yang lakukan. Memang, hal tersebut adalah salah satu bagian yang cukup menguras waktu pada bidang machine learning.
halo pak, izin bertanya apakah terdapat teorinya mengenai kenapa bapak mengambil 300 data untuk dilabeli sentimen positif/negatif secara manual? dan menyebutnya sebagai data latih... untuk teori rasionya berati bagaimana ya pak? biasanya pelabelan diambil rasio 90:10 atau 80:20 gitu. terimakasih
Izin bertanya pa ko running di tf idf label sentimennya hilang ya pa? Hanya ada label text sajaa itu bagaimana ya?
sebenarnya labelnya ngga hilang, hanya belum dimunculkan saja. pastikan kolom label sudah diset role sebagai 'label' ya
kak mau nanya, kalo pake cross validation gausah store sm retrieve model lagi? dan semua sentimennya di isi aja gada yg kosong?
Sebetulnya store dan retrieve itu gunanya untuk menyimpan model yg sudah dilatih dan kemudian menggunakannya untuk dipakai di data baru. Kalau cross validation itu untuk mengevaluasi performa model secara komprehensif dengan berbagai variasi data. Jadi kalau ditanya demikian, ya tidak harus pakai retrieve dan store di crossval
Izin bertanya pak, bukannya data latih seharusnya lebih banyak dari data uji dg perbandingan 80:20%? 🙏
Selamat Siang pak, izin bertanya proses saya error saat ingin memasukkan operator Naive Bayer muncul warning "Cannot check whether input example set has special attribute 'label' " itu kenapa ya pak?
Mohon bantuannya
Di dalam datasetnya, kolom yang menjadi label belum ditentukan. Gunakan saja operator "Set Role". Operator pembaca datasetnya dikoneksikan ke Set Role, lalu parameter set role diatur: pilih atribut yg akan jadi label (misalnya kolom "Sentimen"), terus role nya diset "Label".
Izin bertanya Pak, bagaimana menampilkan kolom text waktu proses tokenize, disaya cuma muncul sentimen dan hasil tokenizenya saja
Klik operator "Process documents from data", lalu pada panel parameternya (sidebar kanan), itu centang bagian "Keep text". Semoga membantu 🙂
Saya sudah seperti ini tapi kok label text dengan sentimen menyatu ya pak?@@KuliahInformatika
izin bertanya pak, setelah process document punya saya kenapa yang bagian tabel sentimen dan text yang semula ada jadi tidak ada ya? yang tertera hanya hasil dari tf-idf nya. mohon dibantu untuk mencari solusinya, terima kasih banyak🙏
iya, karena setelah masuk operator "Process document from data", outputnya adalah matrix tf-idf.
Kalau gak salah, di video itu saya pakai Rapidminer 9.10. sekarang mungkin ada versi yang lebih baru lagi.
maaf mau tanya untuk proses pengambilan datanya bagai mana ya?saya masih awam. saat ini sedang membuat tesis sentimen analisis, data di ambil dari komentar di youtube dan situs berita..
Untuk mengambil data dari CZcams atau situs berita tidak bisa menggunakan Rapidminer. Alternatifnya membuat program dalam bahasa Python dan menggunakan library seperti pada link berikut: github.com/topics/youtube-comment-scraper
berarti pengujian diatas bisa tidak ya diujikan performanya? accuracy dll pada rapipd miner, atau harus pakai kfold?
pada contoh di atas pembahasannya memang belum sampai ke performa. Untuk menghitung akurasi bisa pakai k-fold cross validation, tapi itu tidak wajib. Jika datanya banyak, cukup pakai split validation, tapi jika datanya sedikit disarankan pakai k-fold cross validation.
Izin bertanya pak pada saat menghubungkan dari process document ke Naive Bayes pada operator Naive Bayes saya ada warning missing label itu gimana ya pak?
karena di datasetnya belum ada kolom yang diset jadi 'label'. Silakan cek video ini untuk mengatasinya: czcams.com/video/qN4biY67p5k/video.html
@@KuliahInformatika terimakasih pak solved, ilmunya sangat bermanfaat
operator process document tidak ada pak di versi terbaru, pake apa ya pak kalo di versi baru?
Operator 'process document' harus diinstall dulu dari extensionnya. nama extensionnya 'Text Processing'. silakan cek tutorial instalasi extension di sini: czcams.com/video/8h_l_tIaIIs/video.html
Maaf pak saya sudah mengikuti semua step yang ada di video, namun saya mengalami kendala saat me-unionkan data latih dan data testing. Kendala nya yaitu setelah di mainkan text atau tweet pada data testing menjadi "?" semua sama seperti pada atribut/kolom sentimen. Itu kenapa ya, pak? Semoga bisa terjawab, terimakasih
yang digabungkan bukan data mentah yang masih mengandung text/ tweet, tapi data yang sudah diproses dengan Tf-Idf. Coba disimak ulang ya :)
Pak mau bertanya, di proses store model saya kok aada tanda seru yaa? Tulisannya parameter repositori entry access a repositori by name. Itu kenapa ya pak?
coba dilihat apa warningnya, caranya klik tanda warrning (tanda seru kuning) pada operator store. Mungkin errornya karena Anda belum menentukan tempat penyimpanan modelnya.
Mau tanya pak , untuk yang naive bayesnya saya mengalami kendala pak , selalu gagal run di naive bayesnya pak
Coba dicek apa salahnya. Klik pada tanda seru kuning (warning)
Permisi pak izin bertanya, apakah dalam sentimen analysis harus negatif dan positif saja, bagaiman jika sentimennya neutral
ya, bisa juga ditambah sentimen netral untuk teks2 yang sifatnya tidak punya tendensi positif/ negatif
Halo mas, aku ada kendala, pas mau melakukan union ada pesan Incompatible roles : the attribute named Sentimen has different roles in the inputs sets (regular vs. label), bagaimana memperbaiki nya yaa mas?
Ini karena atribut "Sentimen" di data pertama dan data kedua beda role. Di dataset pertama, atribut "Sentimen" sebagai atribut "regular", sedangkan di dataset satunya lagi atribut "Sentimen" sebagai "label". Jadi salah satunya harus diubah agar sama.
@@KuliahInformatika saya jg kendala kaya gini pak. cara mengubahnya bagaimana ya? kalo dataset itu yg mana ya pak?
@@KuliahInformatika Salam Pak, saya juga mengalami kendala seperti ini. sudah saya cek & set role kolom sentimen sudah sama (label). apakah kendalanya ada di role untuk kolom text ya? sekalian tanya pak, dicontoh bapak kolom textnya berwarna kuning, itu di set role sebagai apa ya? terimakasih
@@KuliahInformatika saya sdh lakukan seperti video yg bapak share tetapi hasil masih sama aja masih muncul reguler vs label
Pak kenapa saya ketika filtering condition class is not missing data yg tdk terlabeli ikut terbaca ya datanya?
seharusnya tidak. pengaturannya bagaimana? konektornya sudah terpasang dengan benar atau belum?
jika data yg diinput sudah melalui proses preprocessing, operator yg digunakan apa saja pak?
Terimakasih..
Bisa langsung ke split data, atau jika datanya sudah disimpan di file yang berbeda (train dan test), maka bisa langsung dihubungkan ke operator "Naive Bayes"
Sebelumnya terima kasih pak atas ilmu yang diberikan. Saya sudah mengikuti langkah" nya tetapi ada hal yang error yaitu di tahapan Union dengan pesan error.
"Incompatible roles Incompatible roles : the attribute named Sentimen has different roles in the input sets ( regular vs. label )"
Mohon pencerahannya pak ?
Terimakasih 🙏
dataset Anda pada kolom 'sentimen' belum diubah menjadi 'label'. Silakan nonton video ini: czcams.com/video/qN4biY67p5k/video.html
Permisi mas mau nanya, knp yah saat saya jalan operator union ada pesan incompatible roles the attribute named sentimen has different role (reguler vs label) padahal saya sudah cek semua atribut sentimennya, udah label semua kok, baik di data latih maupun yg data uji nya apa mungkin krn saya pake file excel yah bang bukan yang csv🙏
Coba kirim screenshotnya ke muhammad.fachrie@staff.uty.ac.id
@@KuliahInformatika sdh saya kirim pak🙏
Terimakasih pak penjelasan nya , bagaimana apakah bisa cek perfomacenya pak ? 🙏
Sama2. Performanya bisa dicek jika kita punya data uji yang sudah terlabeli. Di video ini memang saya belum membahas tentang performance seperti akurasi.
Pak izin bertanya, saya menggunakan metode SVM, kenapa saat saya run terdapat masalah "Support Vector Machine cannot handle polynomial label" kebetulan datset saya label nya ada 3 kategori positif negatif dan netral, bagaimana solusinya ya pak terimakasih sebelumnya 🙏🏻
Iya, SVM dan juga neural networks melibatkan perhitungan matematika di dalam pemrosesan datanya. Oleh karena itu, label data jangan harus diubah dalam bentuk numerik, misalkan negatif = -1, positif = 1, netral = 0.
@@KuliahInformatika terimakasih pak🙏🏻
@@KuliahInformatika pak punten saya izin bertanya lagi, saya sudah melakukan pemrosesan sentimen data dengan metode SVM , tetapi dataset label saya yg sudah di ubah menjadi numerik pada parameter processing terjadi eror krna tidak support numerik, sehingga blm bisa menampilkan hasil akurasinya. Saya mencoba ubah kembali dataset label dengan 2 kategori hanya positif dan negatif ternyata bisa. Kalau Positif, negatif dan Netral tidak bisa. Nah pertanyaannya Saya, saya ingin menggunakan teknik pelabelan sebagai data testing dan sisa yg belum di labeli akan di labelin secara otomatis seperti video bapak tentang analisis sentimen dengan Naive Bayes, saat saya mengikuti tahapan seperti video bapak tetapi hanya beda di metode saja tetapi tidak bisa pak krna ada kendala eror pada saat run, apakah ada cara lain kah pak? Atau memang hal itu hanya di gunakan pada metode Naive Bayes saja?? . Oiya apakah bapak ada sosial media lain atau ada kelas untuk konsultasi bimbingan terkait Rapid miner ini pak? Mohon informasi nya pak🙏🏻 Maaf sebelumnya pak, dan Terimakasih banyak pak🙏🏻
@@dessyangelina5860 SVM memang basicnya untuk binary classification (klasifikasi 2 class). Tapi coba gunakan operator LibSVM di Rapidminer, setau saya itu bisa untuk multiclass classification. Bisa via email ke: muhammad.fachrie@staff.uty.ac.id atau IG @fachrie.jogja
Permisi pak kalau model yang bapak bikin seperti di video ini, apakah bisa ditambahkan operator cross validation? Klau bisa bagusnya di taruh dibagian mana pak🙏?
Bisa, tapi kita harus siapkan dulu data latih dan training yg sdh dalam bentuk TF-IDF, lalu operator Cross Validation diletakkan setelah operator utk membaca dataset yg kita pakai. Di dalam operator Cross Validation itu nanti kita letakkan operator utk algoritma klasifikasi, apply model dan performance
@@KuliahInformatika izin pak, berarti dari prediction sentimen itu ya pak kita split menjadi data training dan testing ? Operator apa saja yang dibutuhkan ya pak, terima kasih
@@KuliahInformatika permisi mau tanya pak apa ada saya lihat di jurnal operator apply modelnya ada 2 ada yg di dalam cross validation dan ada yg di luar jadi apa perbedaan operator apply model di dalam operator cross validation dan apply model di luar operator cross validation pak terima kasih sebelumnya🙏?
sebelumnya terimakasih kak buat penjelasannya, mau bertanya, untuk melihat accuracy, precision, dan recall nya menggunakan performance agar tidak terlihat 0 bagaimana ya kak?
Bisa menghubungkan operator "Apply Model" ke operator "Performance (Classification)"
@@KuliahInformatikasudah pak namun masih 0%. Mohon pencerahannya
permisi pak saya izin bertanya, pas kita pakai operator filter stopword(dictionary) itu masukkan file apa ya pak? terima kasih sebelumnya 🙏
Sepertinya di video sudah ada penjelasannya. Inputnya adalah file txt atau csv yang berisi daftar kata stopword dlm bahasa indonesia
@@KuliahInformatika baik siap terima kasih banyak bapak atas ilmunya😀🙏
@@KuliahInformatika bapak izin bertanya untuk hasil pembobotan tf-idf itu bagaimana cara kita melihatnya? kemudian bagaimana kita bisa mengetahui bahwa hasil pembobotan tersebut dapat mempengaruhi hasil akurasi? terima kasih pak🙏
halo pak, kenapa pada saat di run semuanya sudah benar tetapi pada saat hasilnya ditampilkan, kolom text nya tidak muncul ya?
Karena konektor dari datanya tidak ikut dihubungkan ke konektor result
@@KuliahInformatika cara menghubungkannya gimana pak
Maaf izin bertanya pak
Pada proses apply model entah kenapa data yg muncul hanya data latih yang telah di beri label manual. Sedangkan data model nya tidak keluar
Itu kenapa ya pak 🙏
Oya, konektor exa dari operator "Apply Model" harus disambungkan ke result
permisi pak, kenapa setelah saya process dokumen atribut sentimennya menjadi hilang ya? saya selalu ada notif kalau atribut sentimennya bukan label, tapi setelah saya coba set role setelah process, ada notif bahwa sentiment is missing. lalu solusinya bagaimana ya pak?
Posisi penempatan operatornya sudah seperti di video?
pak ijin bertanya pas saya sampek di ngisi unionnya sama filter excample nya kok gak mau ya pak
"incompatible role : the attribute named sentimen has different roles in input sets (regular vs. label)
bagaimana je solusinya itu ya pak?
Ya, karena data dari read csv dan dari retrieve punya kolom 'sentiment' yang role-nya berbeda. yang satu sebagai regular attribute, yg satu lagi sebagai label. Seharusnya keduanya diset sebagai label. Bagaimana menanganinya, tambahkan saja operator "Set Role" setelah read csv maupun setelah retrieve. Tutorialnya silakan cek di sini: czcams.com/video/qN4biY67p5k/video.html
Teks ga muncul karena datanya tidak dikoneksikan ke result.
Permisi mau nanya pak klau mau penanganan seperti tag negasi bgmn ya pak, sma caranya klau ingin perluas singkatan seperti "sy" jadi "saya", "bkn" menjadi "bukan", terus apakah bisa ditambahkan n-gram feature selection di bagian propocessing? Klau bisa bagaimna caranya ya pak? Terima kasih sebelumnya🙏
tag negasi itu maksudnya kata 'tidak', 'jangan', gitu ya? tinggal kita buang saja kata2 tersebut dari list stop word supaya dia tetap ada di dalam teks tweet kita.
untuk memperbaiki singkatan itu mau tidak mau kita harus melaukan replace kata dengan memasukkan list singkatan dan kata aslinya, dan ini memakan waktu yang cukup lama untuk membuat listnya, karena sangat banyak variasi singkatan yang kita temui. Biasanya saya abaikan saja hal-hal typo begini, dan dimasukkan sebagai batasan masalah.
@@KuliahInformatika baik pak terima kasih atas jawabannya
Hai Pak, saya mau nanya untuk penguji hasil accuracy saya pakai performance dan hasil accuracy dinyatakan "Unknown". Apakah itu harus dihitung sendiri Accuracy-nya menggunakan rumus accuracy?
Hmm.. saya baru pertama ketemu kasus seperti ini 🙂
Pastikan data uji telah berlabel dan terkoneksi ke operator "Apply Model", kemudian pastikan Apply Model terkoneksi ke operator performance, yakni operator "Performance (Classification)". Seharusnya jika ini dilakukan, tidak ada masalah. Sebetulnya jika ingin dihitung sendiri juga bisa. Caranya, data hasil klasifikasi dicopy saja, lalu pastekan di Ms. Excel atau aplikasi semacamnya, kita bisa pakai rumus "Countif" atau semacamnya yang ada di Excel untuk menghitung berapa yang diprediksi dengan benar. Semoga membantu.
"Untuk data uji telah berlabel" ini apakah label hasil dari prediksi atau bagaimana Pak? Karena data testing yang untuk label bersifat "kosong" atau "?"
@@Istiqlal_Hatta halo bang, saya juga mengalami kendala yang sama saat menggunakan performance, apakah abang sudah dapat solusinya?
@@Istiqlal_Hatta maaf kak, saya juga sedang mengalami masalah yg sama dengan kakak?apakah kakak SDH tau caranya untuk menampilkan nilai accurasinya?
@@KuliahInformatika sama saya juga tidak bisa menampilkan nilai akurasinya cuma 0
keren mas.....
Terima kasih. Semoga kontennya bermanfaat 🙏
terimakasih pak
sama2. terima kasih juga atas kunjungannya
Izin bertanya. Pak dari 1000 data, cuman 200an data pas di run. Itu kenapa ya? Terimakasih
200an itu pas training atau testing?
Terimakasih pak. penjelasannya sangat terstruktur.. izin bertanya,. bagaimna jika Algoritma yang digunakan lebih dari Satu? Misalnya KNN dan Random Forest. Mhn penjelasannya,. terimakasih
Cara mudahnya adalah mengcopy saja operator yang sudah ada, lalu ganti operatornya dengan classifier lain.
permisi bapak izin tanya apabila saat di proses "process document from data" results sentimennya hilang, harus gimana ya supaya bisa kembali?
kolom sentimen tidak berwarna hijau
Coba dicek, kolom sentimennya sudah dijadikan sebagai 'Label' belum. Diubah dulu role-nya, bisa pakai operator "Set Role"
Terima kasih kak videonya membantu banget, bisa minta tutorial yang pakai algoritma klasifikasi support vector machine kak ? terimakasih
alhamdulillaah jika videonya bisa membantu. Doakan ya supaya saya bisa buat yang versi SVM-nya :)
iya pak. saya pake cara di video ini tidak bisa. barangkali svm mah beda caranya. secepatnya pak biar saya juga cepet lulus hehe
Halo pak, izin bertanya. Kenapa ya banyak analisis sentimen yang saya baca hanya mengelompokkan 2 kelas, yaitu positif dan negatif, bukan kah ada kelas netral? Mengapa pada beberapa kasus penelitian kelas netral tidak pakai?
itu tergantung kebutuhan saja sebetulnya. Memang kalau mau lebih detil, sebaiknya sentimennya dibedakan menjadi tiga: positif, negatif, dan netral. karena tweet ataupun data teks itu tidak selamanya ada di area positif atau negatif, terkadang ada juga yang feel-nya itu netral saja, tidak memihak manapun.
@@KuliahInformatika terimakasih jawabannya pak, izin bertanya sekali lagi pak, seperti kita ketahui bahwa terkadang ada data teks yg feel nya hanya di netral saja, nah jika penelitiannya hanya dibutuhkan dua kelompok kelas. Yaitu negatif dan positif, saat pelabelan data pastinya ada data teks yg bersifat netral, dan data tweet yg bersifat netral ini apakah di hapus atau dimasukkan ke kategori mana ya pak?
@@VenaCava-tq2cz ada 2 opsi, pertama data netral tidak perlu diikutsertakan, atau yang kedua data netral dimasukkan ke dalam kelas positif. Saya biasanya pakai cara kedua.
@@KuliahInformatika terimakasihh banyak pak jawabannya sangat membantu 🙏🏻
Maaf pak apakah ada alasan tertentu kenapa yang netral dimasukkan ke positive? Apakah tidak mengapa? Seperti penjelasan diatas bahwa sentimen netral tidak memihak manapun? Semoga dijawab ya pak, terimakasihh pak 🙏🏻
hallo pak, penjelasannya sangat membantu..
untuk mengenai performance itu yang saya dapatkan jumlahnya sama seperti data latih, apakah benar?
atau untuk hasil performancenya sama seperti jumlah data uji?
performance itu diukur menggunakan data uji, bukan data latih. Umumnya nilai akurasi data uji dengan data latih ga akan identik/ sama persis. Biasanya ada perbedaan, akurasi data uji biasanya lebih rendah dari data latih, tapi tidak terlampau jauh.
Pak, kalau mau mengeluarkan akurasinya seperti apa ya
Kita perlu menyiapkan data uji yang telah berlabel, lalu mengoneksikannya ke operator Apply Model. Lalu, operator Apply Model tersebut dikoneksikan ke operator Performance Classification.
halo pak,sangat membantu tapi saya mengalami masalah,setelah menjadi data seperti diatas mau dilakukan pengukuran peforma menggunakan confusion matrix,tapi saya tidak tau export data nya agar bisa diujikan,mohon bantuannya gimana ya pak?
Dari Apply Model, koneksikan ke operator "Performance (Classification)", nanti setelah dirun, akan muncul confusion matrixnya
Pak izin bertanya, saya di filter examples nya sentimen nya tidak ada ya pak
Coba cek datasetnya, jangan2 memang kolom "sentimen"-nya memang belum ada.
Izin bertanya Pak, untuk membagi banyaknya data testing dan training itu bagaimana pak? Apakah ada algoritma khusus yang dipakai ataukah memakai feeling saja pak?
Tidak ada aturan bakunya. Secara umum proporsi data latih > data uji. Anda bisa pakai rasio 70:30, 80:20, atau 90:10, atau bisa juga selain itu.
@@KuliahInformatika Terimakasih banyak Pak🙏
@@KuliahInformatikauntuk datanya pak. Saya ada 1000 data yang belum dilabeli. Jika saya memilih 80:20, apakahdata secara keseluruhan (1000 data) harus dilabeli terlebih dahulu ataukah boleh juga hanya 80%nya saja dan 20%nya dibiarkan tidak ada label?
@@shintaardani6332 kalau kita ingin mengukur kinerja dari model yang kita bangun, maka semua data harus dilabeli supaya nanti bisa kita hitung berapa data uji yang diklasifikasikan dgn benar. Kalau tidak dilabeli, bagaimana kita bisa mengecek prediksi model benar atau tidak
Permisi mas mau nanya, klau mau menganalisis sentimen di rapid miner apakah harus pakai feature model? Soalnya sy ditanya sma dosen saya dan saya belum ngerti, dan klau tahap praprocessing itu hanya 4 tahap sj pak?, bagaimana dengan kata yang mengandung negasi saat praprocessing pak🙏?
yang dimaksud feature model di sini bagaimana? apakh feature engineering atau apa? tahap preprocessing bisa bervariasi, tapi standarnya itu adalah tokenisasi, case folding, stemming, stopword removal. kata yang mengandung negasi sebetulnya gak ada masalah, ttp bisa dipakai, tapi biasanya kata 'tidak' atau 'jangan' itu dihilangkan karena dianggap sbg stop word. CMIIW
@@KuliahInformatika iya mas feature engineering apakah harus pake ya mas?, terus klau kata singkat seperti "bkn" "yg" "km", cara ngakalin nya gimana ya mas?, terus divideo ini porsi data training dan testing nya berapa mas apakah 30:70 atau berapa mas? (Mohon maaf mas klau saya banyak bertanya soalnya saya ambil tugas akhir tentang analisis sentimen pak😁🙏)
feature engineering bisa dilakukan dengan menghapus kolom-kolom yang frekuensi kemunculannya sangat kecil. Jika ingin praktis, bisa menggunakan operator Select Attribute Genetic Algorithm. Utk singkatan2 biasanya saya hapus dengan cara memfilter kata yang panjang karakternya kurang dari 4 karakter. Di video ini, porsi data latih dan ujinya seinget saya 70:30
Assalamualailum, izin bertanya pak, untuk pelabelan apakah ada patokan kata atau batasan yang digunakan untuk mengelompokkan negatif dan positif? Itu ditentukan darimana ya pak? Terimakasih pak 🙏🏻
Wa'alaikumussalaam. Maaf baru bisa membalas komentarnya sekarang. Ada patokannya. pakai ilmu linguistik. Memang idealnya pelabelan data untuk sentimen analisis ini harus melibatkan pakar atau orang yang paham mengenai ilmu linguistik.
Kak kenapa saat saya tahap proses document from data di result varibel saya hilang kenapa ya?
kemungkinan besar ada kesalahan pada operator "Filter Stopwords (dictionary)" atau operator "Filter Tokens (by length)". Coba cek video saya yang ini: czcams.com/video/kPXtoYCnycg/video.html
semoga membantu ya :)
@@KuliahInformatika terimakasih mas sangat membantu
Terima kasih pak atas ilmunya, cuma saya menghadapai error saat proses masuk ke Naive Bayes yaitu pesan error menunjukkan "missing label, Input ExampleSet does not have a label attribute". Bagaimana ya cara memperbaikinya ? Sebelumnya Terima Kasih Pak.
Terima kasih kembali 🙂
Dataset pada kasus klasifikasi harus memiliki satu kolom yang berfungsi sebagai label. Silakan tonton penjelasannya di video ini: czcams.com/video/qN4biY67p5k/video.html
@@KuliahInformatika Terima kasih pak sudah tidak error lagi setelah menonton video diatas.
halo Pak, saat saya coba pakai performance classification itu tidak tampil nilainya ya? step" nya sudah sesuai sampai tahap video ini dan berjalan normal
Sepertinya konektor performance ('per') dari operator 'Performance Classification' belum dikoneksikan ke result
@@KuliahInformatika Pak, saya sudah berhasil membuat modelnya, apa bisa diskusi dengan bapak seputar analisis sentimen, mungkin ada kontak yg bisa saya hubungi?
@@putrabahriantararamadhan6970 kebetulan permasalahan yang abang alami sama dengan saya. ketika mau menguji performance dari algoritmanya error ya? apakah sekarang sudah ada solusinya?
@@putrabahriantararamadhan6970 kak, mohon bantuannya saya juga memiliki masalah yang sama, apakah kk sudah tau caranya??
halo bapak, izin bertanya knp pada proses saya, yg menjadi atribut spesial hanya atribut teks saja, sementara atribut sentimen malah masuk ke dalam atribut reguler? bagaimana ya solusinya. terimakasih
Koneksikan ke operator "Set Role", lalu nanti pada operator itu set atribut sentimen sebagai "label". Semoga membantu
@@KuliahInformatika terimakashih pak sebelumnya, mohon maaf untuk pr0cessing tahap stemming belum ada ya di video yt bapak...
maaf pak mau bertanya. Saya udah ikutin langkahnya sama persis dan udah berhasil juga sampai tahap akhir. Tapi waktu cek performance kok malah 0% semua ya?😢
kemungkinannya ada 2: proses pembagian data ada yang salah, atau memang dataset yang dibuat tidak bagus sehingga ML gagal mengklasifikasikannya
Pak klo sy tambahkan performance hasilnya kenapa 0 semua accurasinya
Di video itu memang belum membahas tentang performance. Sebelum pakai operator performance, harus ada Apply Model dulu dan hrs ada data testing dulu
Untuk video performancennya ada tidak pak
Bang, klau melihat tingkat akurasinya dimana? setelah proses ini berhasil?
di video ini saya belum sampai ke sana. Setelah operator "Apply Model" gunakan operator "Performance (Classification)", tapi pastikan data uji kita sudah berlabel semua ya.
IZIN BERTANYA PAK, KOK DI OPERATOR SAYA TIDAK ADA PROCESS DOCUMENT DATAA, TOKENISING DLL. APAKAH ADA PENGINSTALAN JG ATAU BAGAIMANA PAK? MOHON DI BANTU PAK UNTUK TUGAS AKHIR🙏🙏
Download di extemsions ka
Text Processing adalah operator extension yang harus diinstall tersendiri mbak. Tutorialnya silakan cek di sini ya: czcams.com/video/8h_l_tIaIIs/video.html
Assalamu'alaikum warahmatullah pak mohon maaf ijin di gunakan untuk bahan skripsi,, terimakasih sebelumnya pak,, semoga berkah selalu ilmunya pak 🙏🏻
selamat siang pak saya mau bertanya apa di aplikasi rapidminer kita bisa menentukan mood atau emosi dari data komentar yang kita punya secara otomatis? mohon pencerahannya pak terima kasih 🙏
Bisa saja mas. Itu basisnya kan klasifikasi data. Asalkkan kita punya datasetnya, kita bisa pakai algoritma klasifikasi apapun di Rapidminer.
@@KuliahInformatika saya mau bertanya2, bisa menguhubungi kemana ya pak?😁
Bisa via email: muhammad.fachrie@staff.uty.ac.id
ditunggu video tutorial stemming nya kak
insya Allah. ditunggu ya :)
Bang saya nyari oprator process documents kok tidak ada ya
Harus install tersendiri, karena dia berupa extension. Tutorial installnya bisa dilihat di sini: czcams.com/video/8h_l_tIaIIs/video.html
Pak sekarang di Rapidminer sudah ada stemming tapi saya cari2 tidak support bahasa bagaiman saya mendapatkan dictionary bahasa Indonesianya?
Iya, memang ada operator stemming, tapi tidak support untuk bahasa indonesia. Kalau mau, stemmingnya lewat Python (pakai library Sastrawi). Sejauh ini saya belum berhasil menggunakan stemming berbasis dictionary di Rapidminer untuk Bahasa Indonesia.
Terimakasih banyak Pak semoga rezekinya dimudahkan🙏
Mau tanya pak. Setelah proses ini selesai, klo mau nentuin nilai accuracy, presisi, dan recall caranya gimana ya pak
Iya, gimana ya pak?soalnya saya pakai performance nilainya unknown
oh iya, Anda harus siapkan dua data terpisah, yakni data training dan data testing, dan dua-duanya harus berlabel semua. Sedangkan di contoh video ini, pembahasan belum sampai sana., saya belum pakai data testing yang berlabel.
berati data yg dibaca ada dua ya pak?data latih dan data uji kalo mau jadikan data uji gimana ya pak?
pak mau tanya. alhamdulillah yg naive bayes sudah berhasil, klo svm gimana ya pak cara melabeli data automatis nya ? aku pake cara yg sama cuma diganti nb nya aja tp pas union sama replace missing value nya tidak bisa.
Seharusnya tinggal diubah operator Naive Bayesnya menjadi SVM sudah bisa.
coba nanti dicatat apa warning yang muncul pada bagian union dan replace missing value-nya
Halo bapak izin bertanya semoga dijawab ya, saya juga buat pengujian analisis sentimen tpi memang operator yang digunakan tidak sebanyak yg dicontohkan bapak. Yang saya tanyakan apa normal ya setelah di run (sudah ada preprocessing lengkap dan cross validation) dataset nya bertambah banyak. Itu alasannya kenapa ya pak kalau boleh tau, terimakasih 🙏🏻
Jumlah data/ record tidak mungkin bertambah setelah diproses, tapi jika berkurang masih mungkin.
@@KuliahInformatika apa mungkin karena saya menambahkan operator smote upsampling ya sebelum cross validation
hai pak, izin bertanya bagaimana ya pak dari tf idf ke rumus fitur seleksi information gain?
Halo Saras :)
kamu tinggal menghubungkan 'exa' dari operator "Process Documents from Data" ke operator "Weight by Information Gain" di Rapidminer. Tapi sebelum itu, pastikan dulu bahwa datasetmu sudah memiliki label. Semoga membantu :)
@@KuliahInformatika terimakasih pak atas jawabannya karena sangat membantu, boleh kah saya menghubungi bapak melalui personal? untuk mempertanyakan lebih lanjut pak?
Boleh, silakan via email muhammad.fachrie@staff.uty.ac.id
Mau bertanya kak...kalo ditambah lagi operator performance hasilnya kok 0 (nol) itu kira2 apanya yg salah kak??mohon infonya🙏🙏🙏terimakasih
assalamualaikum pak ijin bertanya ko yg saya hasil predictionnya negatif semua ya pak ? itu kenapa ya pak, terimakasih mohon bantuan penjelasannya
wa'alaikumussalaam. negatif semua itu banyak kemungkinan. bisa jadi memang data yang diprediksi semuanya negatif, atau bisa jadi pelabelan data trainingnya ada yang keliru, atau bisa jadi saat proses training distribusi datanya kebanyakan negatif, jadi data trainingnya berat sebelah, sehingga algoritma lebih banyak mempelajari data negatif ketimbang data positif
oalaa pantesan, memang data testing lebih dominan negatif, terimakasih pak sudah bantu menjawab 🙏🏻
Maaf pak izin bertanya 🙏
Proses untuk ke tahap k-fold cross validation ada Vidio tutorial nya ngak pak 🙏
Mohon maaf, belum ada video tentang crosa validation. Tapi caranya mudah, pakai operator Cross Validation, lalu sambungkan operator pembaca dataset ke Cross Validation, lalu klik 2x pada operator Cross Validation, maka Anda akan masuk ke dalam oprt tsb, kemudian di situ, tambahkan algoritma ML yang mau dipakai pada bagian canvas sebelah kiri, sambungkan semua koneksinya, lalu pada canvas sebelah kanan tambahkan operator Apply Model dan Performance Classification.
dalam cross validation ini datanya dalam bentuk apa ya pak?saya sudah coba sesuai yg diatas tapi katanya ada data yg missing,saya dr data Prediksi ini saya retrive saja pak,apakah ada tahap yg salah pak?
Kenapa ya setelah masuk make naive bayes saya kok muncul peringatan, padahal udah ngikutin smua alur sesuai arahan
Peringatannya seperti apa?
assalamualaikum, izinbertanya kembali pak, saya pas di bagian union bacaannya reguler vs label terus pak,padahal sudah saya ubah yg reguler ke label
Sudah nemu pemecahan masalahnya belum, Mas?
@@yoziauliaputri1282 belom mba
Wa'alaikumussalaam. Mohon maaf saya baru bisa cek komentarnya sekarang. Coba dicek, bagian "retrieve data analisis sentimen" sudah jadi label belum kolom "sentimen"-nya? jadi semua data yang kita inputkan ke workflow harus dipastikan bahwa kolom "sentimen"-nya sudah jadi label.
@@KuliahInformatika baik pak, terimakasih 🙏🏻
alhamdulillah sukses sdh sampai tahap ini. setelah ini klo mau diuji menggunakan apa ya pak?trims
Maksudnya menguji dalam bentuk aplikasi? Atau menguji model machine learningnya?
@@KuliahInformatika uji machine learningnya pak
dan boleh share sumber pustakanya pak, terimakasih
Terimakasig pak penjelasannya.
Ijin bertanya pak, untuk melihat hasil tingkat keberhasilan algoritma naive bayes bagaimana pak, apakah ada tutorialnya?
Terimakasih 🙏
Tingkat keberhasilan yang dimaksud seperti apa? Apakah akurasi? Jika iya, sudah saya jelaskan di video tersebut, menggunakan operator "Performance (classification)".
@@KuliahInformatika ohh iya, terimakaish pak 🙏
@@KuliahInformatika izin pak. saya sudah pakai tapi hasilnya 0 pak, kenapa ya pak🙏
@@paine1136 pastikan data ujinya sudah berlabel yaa
@@KuliahInformatika yang sentimen nya kan ya pak, sudah. Tapi masih begitu
Pak ingin bertanya kalau data analysticnya 70% dan data training 30% itu gimana yaah pak?
maksudnya data test 70% dan training 30% ya? sebenarnya bisa saja, tapi keumumannya, data training itu porsinya lebih banyak dari data test, supaya model ML yang dibangun memiliki pengetahuan yang cukup terkait pola-pola data yang akan dikenali
Pak kalau setelah dirun tampi text nya tidak muncuk itu kenapa ya?
Bermasalahnya gara2 difilter examples yg ke 2 nya
sudah teratasi kah?
untuk mengukur akurasi/performance nya bagaimana ya pak ?
kita hubungkan operator "Apply Model" ke operator "Performance Classification", tapi kita harus siapkan dulu data uji yang sudah berlabel supaya bisa dihitung akurasinya.
apakah data uji ini yg sentimen dibuat agar belabel angka kah pak?trs bagaimana nya caranya ya
Misi pak..untuk menghapus emoticon seperti 😅 gmn yh??
emoticon di Twitter itu aslinya disimbolkan dengan karakter yang ada di keyboard, misalnya emoticon senyum itu disimbolkan dengan tanda titik dua dan kurung tutup :). Maka untuk menghapus emoticon, replace saja simbol2 yang umum digunakan untuk membuat emoticon.
dihasil akhir kenapa tidak muncul textnya disaya?
kemungkinan ada step yang terlewat. pastikan konektor 'lab' pada operator 'Apply Model' terkoneksi ke result. semoga berhasil
@@KuliahInformatikasaya sudah ngikutin semuanya pak tapi tetap aja text nya munculnya hanya tanda ? Itu kenapa ya pak
mohon izin bertanya pak,saya sudah mengikuti seluruh step by step tutorial bapak dengan 300 data dan 210 data sudah diberi label manual,pada operator metode,saya menggunakan metode SVM,pada tahap run di apply model step terakhir,hasil result dari 91 data isinya positif semua,lalu kolom textnya kosong,apa emang bener seperti itu pak,saya mau sampai tahap akurasi,tapi ngeliat positif semua jadi ga yakin😂
di operator retrieve data dan model,ada icon warning sih pak,"parameter 'repository entry' accesses a repository by name(//localRepository/processes/model_analisis_sentimen). this may not be portable when sharing processes. tapi semua operator termasuk retrieve bisa run,ada ceklis hijaunya juga disebelah icon warning tersebut,mohon banget bantuannya pak
maaf saya baru bisa cek komennya satu per satu. Kalau butuh akurasi, maka semua data harus dilabeli dulu, setelah itu data kita bagi dua, misalnya 80% untuk data latih, 20% untuk data uji. nah nanti akurasi itu didapat dengan cara si Rapidminernya membandingkan hasil prediksinya dengan label yang ada di data uji kita. Pakai operator Apply Model dan Performance. Kalau data uji kita tidak dilabeli, maka akurasi tidak bisa dihitung.
pak ini saya coba gabungin atribut process documen sama yg data analisis ke union, kok data analisis nya gabisa yaa pak
mungkin bisa dituliskan di sini mbak error yg muncul seperti apa. biasanya ada tanda warning '!' di operatornya, itu bisa diklik dan nanti keluar apa kesalahannya.
@@KuliahInformatika your conncection is producting the wrong type of data. Try changing the starting point of the connection. itu pak
yang muncul
Oooh, sepertinya dari operator "Process document from data" itu Anda salah tarik, harusnya tarik dari output "exa", bukan "wor". Jadi operator union itu hanya mau menerima input berupa data tabular (exa). Gagal tadi itu karena kedua data yang mau digabungkan itu formatnya berbeda, makanya dia nggak mau union. Semoga membantu 🙂
@@KuliahInformatika iyaa bapak sudah saya hubungkan pakai yang exa kok. nah tulisan nya jg expected exampleset but received wordlist, yg wordlist itu yg data analisis atau yg data csv dari twitter itu yaa pak?
Nah, kalau yg dari "procesa documents from data" sudah benar exa, berarti yang salah itu di data analisis. Coba cek lg, td nyimpennya sebagai wordlist atau exa 🙂
Izin bertanya pak, kalau TA saya mau analisis sentimen suatu topik pada youtube, apakah ada ketentuan untuk menentukan video yg mau diambil komentarnya pak? Misalnya video yg mau diambil komentarnya hrs lebih dari 1 atau video trsbt hrs pernah trending ya pak?
pada dasarnya tidak ada aturan baku untuk hal tersebut. tapi memang, analisis sentimen umumnya dilakukan terhadap konten/ video yang sedang trending/ viral.
Pak, cara memunculkan text di result bagaimana ya?
yang muncul malah waktu dan id
kalau ikut tutorial di video sampai selesai, nanti teksnya muncul juga kok. Coba saja dicek di menit 32.13, di situ ada kolom teksnya (kolom warna kuning)
Ini kalau pake metode knn bisa ta pak?
Bisa. Pakai classifier lain juga bisa.
Bisa nggak bang buatin video analisis sentimen menggunakan algoritma k-nearest neighbor?
Sebetulnya prosesnya sama saja, hanya perlu mengganti operator naive bayes dengan operator knn
@@KuliahInformatika dalam video ini bapak pakai k-fold validation? Kalau pakai nilai K nya berapa ya pak?
@@randimursalim9444 pakai 10 yang bagus
Bang kenapa kolom sentimen saya hasilnya bergabung dengan kolom text?
Hmm.. bergabung gimana maksudnya? Jadi satu kolom begitu? Harusnya beda kolom
@@KuliahInformatika iya pak jadi 1 kolom text dan sentimen nya gabung
@@vindarjaya wah, unik nih.. saya sulit untuk kasih solusi karena ga tau workflow yang dibuat seperti apa
@@KuliahInformatika masih cari solusi juga ini. Udah buat excel berkali kali masih sama
Gimana solusinya ya pa? Textnya masih gabung dengan sentimen
Maaf izin bertanya pak 🙏
Cara untuk melihat akurasinya gimana pak
Terimakasih 🙏
harus ada data uji dahulu, di video ini belum sampai sana. Jika ingin melihat akurasi, siapkan data uji yang sudah berlabel, masukkan ke dalam proses rapidminer, lalu hubungkan ke operator "Apply Model", kemudian di bagian akhir disambungkan ke operator "Performance Classification".
boleh minta apknya kak?
bisa diunduh melalui web resminya: altair.com/altair-rapidminer
Kumpulan contoh tidak kompatibel
Kumpulan contoh yang diberikan tidak kompatibel: Atribut 'sentimen' memiliki tipe yang tidak kompatibel (nyata dan polinominal) dalam dua set input. Operator mengharapkan satu atau lebih contoh set yang kompatibel dengan yang lain. Ini biasanya berarti bahwa mereka harus memiliki jumlah atribut dan nama atribut yang sama
Datasetnya sepertinya kurang sesuai dengan contoh yang saya tunjukkan di video. Tipe data atribut 'sentimen' pada data latih tidak sama dengan tipe data atribut 'sentimen' pada data uji. Yang satu 'real', satu lagi "polynominal". Yang bertipe real harus diubah dulu menjadi polinominal. Cara mengubah tipe data silakan cek czcams.com/video/qN4biY67p5k/video.html pada menit 29:08
semoga membantu 🙂
Assalamualaikum pak, saya mengambil Tugas Akhir ttg analisis sentimen menggunakan Rapidminer. Bolehkan saya meminta email atau kontak bapak, kiranya bisa memberikan saran kpd saya apabila saya memiliki kendala dalam mengoperasikan rapidminer🙏
Silakan, dengan senang hati. Email saya: muhammad.fachrie@staff.uty.ac.id. Mohon maaf, komentarnya baru sempat saya balas
@@KuliahInformatika Terimakasih banyak pak🙏
Ijin bertanya pak, hasil dr analis sentimensda bagian text yg kosong..itu kira2 kenapa ya pak??
bagian text yang kosong itu karena dia habis terfilter oleh stop word ataupun filter token, jadi biasanya itu karena isi teksnya sedikit dan tidak begitu penting, makanya dia terhapus semua.
assalamualaikum pak, saya sudah ikuti instruksi dari awal hingga akhir, sekarang kalau mau lihat hasil pemodelan melalui performance kok malah 0 ya pak? itu gimana?
Wa'alaikumussalaam. banyak faktor: apakah pembagian datanya sudah representatif mewakili semua kelas? apakah pemilihan algoritma sudah tepat? apakah koneksi operator sudah sesuai atau belum?