OCR TensorFlow and Python (95.55% accuracy) | Automatic scoring of handwritten test papers

My 2nd channel (Mrzaizai2k - AI): / @mrzaizai2k-ai704
Extract handwritten information like name, and student ID and then recognize them with CRNN-CTC-Attention. Using lexicon search on the class list to help teachers on updating scores faster
This OCR project is coded with Tensorflow and Python
GitHub: github.com/mrzaizai2k/Automat...
TIMESTAMPS:
0:00 OCR TensorFlow and python (95.55% accuracy)
0:01: Reasons for Automatic scoring of handwritten test papers
1:27 Objectives
2:12 Text Detection
3:21 Text recognition with CRNN and CTC Loss
4:06 CTC loss function
5:59 Image Preprocessing
7:20 EAST and Scale Space Comparison
10:19 Model Architecture and Training
12:15 Evaluation on image dataset
19:36 Evaluation on video (95.55% accuracy)
21:22 IP webcam set up
23:36 Python coding
25:00 Testing Automatic scoring of handwritten test papers
#artificialintelligence #handwriting #tensorflow #python #computervision #ocr #cnn

[@mrzaizai2k160]

Sorry for the inconvenient, I'll update the english version soon on my NEW channel "Mrzaizai2k -AI". Pls SUBSCIBE to receive the update ON NEW VIDEOS: czcams.com/channels/FGCVG0P2eLS5jkDaE0vSfA.html

[@phongngo315]

Em chào anh ạ.
Hiện e đang xây dựng 1 phần mềm tương tự của anh và e có tham khảo qua cách làm của anh. Em đã thử làm theo các bước nhưng kết quả không được như em mong muốn. Cho nên em có một số thắc mắc như sau, mong anh có thể giải đáp giúp em.
1. Dữ liệu của em là chữ đánh máy được in ra chứ không phải là chữ viét tay, cho nên em đã thử cho dữ liệu train của mô hình là các hình ảnh chứa từ đó và label tương ứng. Tuy nhiên sau khi train xong thì mô hình không predict được bất kỳ ký tự nào cả mà hoàn toàn là rỗng. Vấn đề có phải nằm ở dữ liệu đầu vào ko ạ?
2. Em có thể sử dụng bộ dữ liệu của anh cho mục tiêu và đoán nhận chữ đánh máy được không ạ?
Em xin cảm ơn

[@vaibhavvarishsinghrathore7752]

Sir the explanation is awesome. Thanks Can you tell please more about attention-
1) What type of attention it is ? Is it self attention (giving the weighted sum of attention vector at every time step)
2) What is the reason for applying it just after CNN not apply it after RNN
3) Sir in code you have done the following steps regarding attention -
a) Permute
b) Dense layer
c) Mean (dimensionality reduction)
d) Repeat vector
4) Layers multiply
It would be great help sir . I can understand dense layer is implementing tanH fucntion but unable to understand reason behind other operations

[@mrzaizai2k160]

First, I don't know much about the attention, but I'll try to explain to you what I understand
This is the source code of attention that I used. It's in Vietnamese so pls use google translate: pbcquoc.github.io/vietnamese-ocr/
Yes it's self-attention. The weights are updated parallelly with CRNN
Attention: lilianweng.github.io/lil-log/2018/06/24/attention-attention.html
As in seq-2-seq project, you can see that without attention the path encoder connected to decoder is one path. which means information standing far away from each other (the model or LSTM can not remember the information so far away). In my project, CNN is like encoder and RNN is like decoder. It doesn't make sense to use attention after RNN
for a,c and d I guess it's because of tensorflow (the code is not important). For e) multiply is a x h
You can mail me directly through [e-mail]

[@vaibhavvarishsinghrathore7752]

@@mrzaizai2k160 Thanks a lot sir . Thank you so much for your answer. Hope everyone is fine and well around you sir

[@asds5750]

Can you show me the learning path to complete a project like this?? (what and where to learn??)

[@mrzaizai2k160]

Idk. I learn new things everyday. But I guess 7 steps to approach a ML project of google is a good start

[@pancakekiemtienonline6562]

cái kẹp đt mua ở đâu vậy bạn, với bạn cho mình xin cái tk gui để làm luận văn tốt nghiệp được ko

[@mrzaizai2k160]

Ra ngoài mấy tiệm bán ốp là có á bạn

[@doantrungkien3274]

Anh cho em xin công thức tính CER và WER với ạ

[@mrzaizai2k160]

Em cứ google là nó CER là số character nhận diện sai trên tổng số character. Wer là cho word

[@vaibhavvarishsinghrathore7752]

Sir will be it in english or native language ??

[@mrzaizai2k160]

yeah the model is for Vietnamese not for English. If you want to retrain the model. Here is my notebook www.kaggle.com/bomaich/vietnamese-handwritten-ocr-word-dataset. But you have to prepare your own dataset

[@vaibhavvarishsinghrathore7752]

Thank you sir

[@mrzaizai2k160]

The video is now have English subtitle