khúc inverted index thì content có bao nhiêu từ thì sẽ có bấy nhiêu cái index sẽ tạo ra một bộ index rất khổng lồ đó là hạn chế khi sài giải thuật này và khi dữ liệu cực lớn thì index cũng sẽ cũng sẽ bị trùng rất nhiều khi bạn nhập càng nhiều từ dẫn tới thời gian chạy vẫn sẽ lâu hơn 1 2 second khúc hash nội dung thì có thể bị sai nếu lưu nội dung dưới dạng html hoặc các trang tin tức clone tin của nhau nhưng khác timestamp -> vẫn sẽ bị duplicate khúc queue thì người dùng sẽ phải trả tiền rất nhiều vì 1 trang web sẽ đại diện cho 1 queue và 1 tỉ trang web sẽ là 1 tỉ queue một vấn đề nữa để kiểm tra dữ liệu có trong queue hay không thì phải pop từng phần tử trong queue ra để kiểm tra rồi nhét lại queue chứ nó ko dễ như cấu trúc dữ liêu hash table nói chung các bạn mới bắt đầu có thể xem để hình dung những thứ cơ bản dễ tiếp cận còn triển khai thực tế thì người ta sẽ ko triển khai theo hướng này đặc biệt là những start up.
@@jackiedo7370 bởi vậy System Design đâu có đơn giản đâu ngay ở mức cơ bản nhất nó cũng đã rất phức tạp rồi lý thuyết thì nói dễ chứ lúc đụng vô là sấp mặt từ A tới Z
Mình cũng đồng ý với bạn về 2 ý đầu. Nhưng mà ý thứ 3 không nhất thiết 1 queue chỉ có 1 website, bạn có thể bỏ 1000 site vào 1 queue cũng vẫn ok, performance chắc chắn bị giảm bù lại cost cũng giảm. Nhưng mình ko nghĩ đơn giản như v
@@devkhoa đúng nhưng hiệu suất performance sẽ cực tệ bạn có thể cải thiện bằng tăng số lượng worker pick event nhưng nếu các website có cùng url nằm kề nhau trong queue thì là spam người ta rồi =)) cách đặt cùng 1 queue khá là không hợp lý
Nếu anh em muốn đào sâu hơn nữa về hệ thống Search Engine, anh em có thể xem thêm 02 câu hỏi ở cuối video này và cùng nhau thảo luận tại phần bình luận này nhé. Cảm ơn các anh em đã quan tâm và ủng hộ.
Dạ anh Huy, em có thể xin được học các kiến thức về Search Engines (học sâu về cách thức hoạt động - thuật toán), thì em nên bắt đầu & lộ trình học - nguồn học nên tìm từ đâu uy tín ạ. Em cảm ơn anh
Video hay quá ạ. Từ cách a vẽ minh họa các luồng cho đến giải thích cách thức hoạt động của hệ thống mọi thứ đều rất trực quan và dễ hiểu. Mong anh sẽ ra thêm nhiều video về chủ đề System Design như này. Em cảm ơn ạ!!!!
Băm nội dung trang web để tránh duplicate sẽ bị sai khi nội dung trang copy nó thêm ngày tháng năm. Cách giải quyết này k triệt để. Ví dụ trang 1 có noi dung là "abc". Trang 2 là trang copy của trang 1 có noi dung như sau "hôm này là ngày 13/2/2024. abc". Cách giải quyết là compare noi dung của page 1 và page 2 giống nhau hoặc khác nhau bao nhiêu phần trăm để xem là ok thêm vào hệ thống
Các bạn có thể sử dụng các phần mềm như Goodnotes hoặc Notability để vẽ/viết trên iPad, bấm nút quay màn hình trên iPad, rồi edit trên máy tính để gộp video quay mặt mình và video iPad lại với nhau như anh Huy nhá ✍
theo e biết thì hash thì người ta băm web thành mã băm 64 bit nhị phân xong tính khoảng cách hamming nếu khoảng cách hamming nhỏ hơn ngưỡng đặt ra thì 2 trang web đc coi là trùng lặp. Có hẳn 1 bài hướng dẫn các cách tăng tốc độ tính toán nếu băm theo kiểu đó đc viết bởi ông nào ý cũng đang làm việc ở google=((
Còn có nhiều dạng khoảng cách khác như khoảng cách Levenshtein, Jaccard, khoảng cách Cô-sin,... Cách cài đặt cơ bản thường là chuẩn hóa văn bản tạo bộ vector đầu ra cho văn bản rồi so sánh các bộ vector của các văn bản để tính toán mức độ tương đồng giữa vector từ khóa cần tìm với vector các văn bản. Google và Binh nó làm vậy (về lý thuyết :D )
Video hay quá ông ơi 🎉 chủ đề hiện đại, giải thích chi tiết thiết thực. Hy vọng được xem thêm những video giải các bài toán thiết kế hệ thống như thế này 😊
Muốn làm cái này các bạn cần nghiên cứu lĩnh vực Xử lý ngôn ngữ tự nhiên, trong đó có một số mô hình mà mấy search engines mở đang dùng, hiện tại nó còn ra thuật toán mới hơn so với thuật toán ở giáo trình cũ của Standford.
Cám ơn anh đã chia sẽ những kiến thức rất quý báu, a có thể cho em hỏi một câu ngô nghê là trong việc tìm kiếm dữ liệu a có đề cập đến việc sử dụng inverted index để có kết quả nhanh chóng, vậy thì việc sử dụng công nghệ elasticsearch thì có điểm gì khác biệt so với cách đánh inverted index ạ? Việc đánh index sẽ làm giảm hiệu năng khi update lại dữ liệu thì đó là điểm chung của cả 2 công nghệ phải không ạ? Do cả inverted index và elasticsearch em đều chưa có trải nghiệm nên nếu hỏi không đúng a thông cảm nhé. Cám ơn a!
Kiến thức rất hay, Minh chuyên SEO làm sao biết system google dựa vào yếu tố gì để lưu dữ liệu minh vào db và trả kết quả cao hơn đối thủ 😢. Hiện tại vd minh có url trùng từ khoá enduser tìm, nội dung mới ko trùng, trải nghiệm trang đích tốt ... bla bla ☺️ làm sao để đc lưu db và trả kết quả cao hơn khi enduser tìm
16:05 nếu chỉ quét 1 lần thì khi nội dung web được cập nhật, content db của chúng ta sẽ bị outdated. Ví dụ các bài báo tường thuật trực tiếp sự kiện, Google search vẫn phải đảm bảo tìm kiếm được nội dung mới nhất mà không spam web của người ta liên tục (tốn tài nguyên của mình nữa). Mong anh nêu giải pháp cho vấn đề này ạ.
Mình nghĩ đoạn Database có Inverted Index trên 100 tỷ records vẫn còn nhiều bottleneck phải giải quyết nữa chứ không đơn giản như vậy (có thể Partitioning hay Sharding các kiểu, vấn đề network nữa, chưa kể giới hạn phần cứng cần distributed processing chứ 1 database instance ngốn quá nhiều storage như vậy là bất khả thi,...).....Nếu được thì bạn làm thêm 1 Video chuyên sâu về vấn đề này để ae làm Architecture giao lưu học hỏi với!!! Chỗ đó nếu dùng ElasticSearch thì có thể có những tối ưu gì khác?!
Tác giả đang vẽ ra một câu chuyện có thật nhưng trong tưởng tưởng. :)) mặc dù xem video có giá trị tham khảo nhưng về bản chất không thể apply trong thực tế. Điều này giống như câu chuyện học ở trường đại học mang tính hàn lâm nhưng ở môi trường doanh nghiệp thì ối dồi ôi.
Cảm ơn video của bạn, tuy nhiên tôi muốn hỏi thêm chút là khi xây dựng db thì nguồn url bạn lấy ở đâu để lọc các title, content, ... để add vào db. Vì db sẽ phải quét định kỳ để hoàn thiện data cũng như tăng tốc tìm kiếm, chứ không phải khi nào có user nào đó tìm kiếm rồi mới tiến hành tìm và xử lý thông tin và trả lại cho user ngay lúc đó.
Về phần dữ liệu khi được tìm kiếm trong database phần inverted index, em thấy cách hoạt động của nó tương đồng với thằng map reduce trong hadoop. Thì không biết là có thể áp dụng để sử dụng được thằng hadoop trong trường hợp này được không ạ.
Theo em nghĩ thì mình có thể dùng ML để encode nội dung trang web thành 1 vector sau đó có thể thực hiện so sánh thì sẽ cho kết quả tốt hơn hash nhưng hiệu suất có thể sẽ chậm hơn và tốn thêm công sức để phát triển mô hình ML có độ chính xác cao
@truongchidien3810 thực ra hash cũng có nhiều cách, tại bài bên trên mình đưa ra một cách kinh điển và gợi mở ý tưởng để các anh em cùng nhau thảo luận. Ý tưởng chuyển thành vector cũng hay đấy anh em
Tuy nghe có vẻ khả thi, nhưng Google đã không làm theo cách này vì tốn quá nhiều dữ liệu và quá chậm nếu theo mô hình này. có ý tưởng hay nhưng thực tế làm như này sẽ chỉ là tốn kém và phức tạp vấn đề tìm kiếm nên. trong khi các hệ thống tìm kiếm bây giờ là 0,0000001 s cho ra kết quả. thì ~ thời gian truy cập vào API
@@guitar300k ý là nguồn url ở đâu để lọc thông tin lưu vào db, sau đó người dùng tìm kiếm thì mới vào db để tìm thông tin. ví dụ với từ khóa "winter" ở video thì ban đầu làm sao để có được danh sách các url mà nội dung có chứa từ khóa "winter". Đó là mấu chốt. Nếu db được quét định kỳ thì cũng phải có một nơi nào đó để lấy toàn bộ url trên nền tảng web, sau đó quét lấy title, content, hash code rồi lưu vào db.
Check nội dung nên sẽ thực hiện hash nội dung anh em ah. Tuy nhiên đây là cách tiếp cận cơ bản nhất thôi, anh em có thể đào sâu hơn khi đặt thêm vấn đề: nội dung giống nhau đến 90% thôi chứ không phải toàn bộ, vậy sẽ cần cải tiến thêm nữa ở giải thuật. Ở cuối video trong phần tổng hợp ghi chú mình có nói tới đó.
@@tranquochuywecommit có 2 vấn đề mong anh chỉ giáo ạ: - dựa vào đâu để biết nội dung 2 trang giống nhau 80-90%? - nhiều trang chơi trò dùng font chữ lạ hoắc, không phải tiếng Việt nhưng có nét giống tiếng Việt, mắt con người vẫn đọc được tuy hơi khó thì có check được vụ trùng lặp nội dung không? (điển hình nhất là mấy trang báo lá cải)
khúc inverted index thì content có bao nhiêu từ thì sẽ có bấy nhiêu cái index sẽ tạo ra một bộ index rất khổng lồ đó là hạn chế khi sài giải thuật này và khi dữ liệu cực lớn thì index cũng sẽ cũng sẽ bị trùng rất nhiều khi bạn nhập càng nhiều từ dẫn tới thời gian chạy vẫn sẽ lâu hơn 1 2 second
khúc hash nội dung thì có thể bị sai nếu lưu nội dung dưới dạng html hoặc các trang tin tức clone tin của nhau nhưng khác timestamp -> vẫn sẽ bị duplicate
khúc queue thì người dùng sẽ phải trả tiền rất nhiều vì 1 trang web sẽ đại diện cho 1 queue và 1 tỉ trang web sẽ là 1 tỉ queue
một vấn đề nữa để kiểm tra dữ liệu có trong queue hay không thì phải pop từng phần tử trong queue ra để kiểm tra rồi nhét lại queue chứ nó ko dễ như cấu trúc dữ liêu hash table
nói chung các bạn mới bắt đầu có thể xem để hình dung những thứ cơ bản dễ tiếp cận còn triển khai thực tế thì người ta sẽ ko triển khai theo hướng này đặc biệt là những start up.
Ông này nói mấy cho ng ko biết thôi. Chứ kiến thức chuyên sâu ông này nói ko tin đc
@@jackiedo7370 bởi vậy System Design đâu có đơn giản đâu ngay ở mức cơ bản nhất nó cũng đã rất phức tạp rồi lý thuyết thì nói dễ chứ lúc đụng vô là sấp mặt từ A tới Z
Không thấy nhân thử 100 tỷ pages ra xem cần bao nhiêu ổ đĩa nhỉ. Nghĩ đến thôi đã thấy mệt rồi.
Mình cũng đồng ý với bạn về 2 ý đầu. Nhưng mà ý thứ 3 không nhất thiết 1 queue chỉ có 1 website, bạn có thể bỏ 1000 site vào 1 queue cũng vẫn ok, performance chắc chắn bị giảm bù lại cost cũng giảm. Nhưng mình ko nghĩ đơn giản như v
@@devkhoa đúng nhưng hiệu suất performance sẽ cực tệ bạn có thể cải thiện bằng tăng số lượng worker pick event nhưng nếu các website có cùng url nằm kề nhau trong queue thì là spam người ta rồi =)) cách đặt cùng 1 queue khá là không hợp lý
Nếu anh em muốn đào sâu hơn nữa về hệ thống Search Engine, anh em có thể xem thêm 02 câu hỏi ở cuối video này và cùng nhau thảo luận tại phần bình luận này nhé.
Cảm ơn các anh em đã quan tâm và ủng hộ.
Dạ anh Huy, em có thể xin được học các kiến thức về Search Engines (học sâu về cách thức hoạt động - thuật toán), thì em nên bắt đầu & lộ trình học - nguồn học nên tìm từ đâu uy tín ạ. Em cảm ơn anh
Em cảm ơn anh. Rất vui vì thế hệ tụi em và sau này có anh. Quá tuyệt vời ạ
một bình luận chứa rất nhiều năng lượng tích cực. Cảm ơn anh em nhé
Video hay quá ạ. Từ cách a vẽ minh họa các luồng cho đến giải thích cách thức hoạt động của hệ thống mọi thứ đều rất trực quan và dễ hiểu. Mong anh sẽ ra thêm nhiều video về chủ đề System Design như này. Em cảm ơn ạ!!!!
cảm ơn anh em. Anh em đăng ký kênh để nhận thông báo cho các video sắp tới nhé.
quá tuyệt vời luôn anh ơi, mặc dù em hiểu khoảng 50% video thôi nhưng phải nói là học hỏi được rất nhiều từ video này
Băm nội dung trang web để tránh duplicate sẽ bị sai khi nội dung trang copy nó thêm ngày tháng năm. Cách giải quyết này k triệt để. Ví dụ trang 1 có noi dung là "abc". Trang 2 là trang copy của trang 1 có noi dung như sau "hôm này là ngày 13/2/2024. abc". Cách giải quyết là compare noi dung của page 1 và page 2 giống nhau hoặc khác nhau bao nhiêu phần trăm để xem là ok thêm vào hệ thống
ở cuối video mình có đề cập tới các vấn đề nghiên cứu sâu hơn đó anh em.
Các bạn có thể sử dụng các phần mềm như Goodnotes hoặc Notability để vẽ/viết trên iPad, bấm nút quay màn hình trên iPad, rồi edit trên máy tính để gộp video quay mặt mình và video iPad lại với nhau như anh Huy nhá ✍
Mình không phải dân cntt cũng không biết gì về môn này nhưng lại rất thích xem video như này cảm ơn ad rất nhiều
oh, thật tuyệt vời, cảm ơn anh em nhé
xem r có hiểu j k kkkk. Tôi dân IT mà xem cx k hiểu lắm cái này nâng cao vs dành cho ng đi làm lâu năm
@@tmermfos9465 không hiểu nhưng vẫn thích xem 😂
cám ơn anh, video rất cô đọng và thực tế
cảm ơn anh em đã ủng hộ kênh mình nhé.
2024 chúc anh và gia đình mạnh khỏe, tiếp tục chia sẽ nhưng video bổ ích chất lượng cho cộng đồng IT Việt Nam
cảm ơn anh em.
Chúc anh em một năm 2024 nhiều sức khỏe và may mắn nhé
mặc dù ko làm về DB nhưng vẫn thích xem video anh làm ạ
theo e biết thì hash thì người ta băm web thành mã băm 64 bit nhị phân xong tính khoảng cách hamming nếu khoảng cách hamming nhỏ hơn ngưỡng đặt ra thì 2 trang web đc coi là trùng lặp. Có hẳn 1 bài hướng dẫn các cách tăng tốc độ tính toán nếu băm theo kiểu đó đc viết bởi ông nào ý cũng đang làm việc ở google=((
hay quá anh em, anh em có thể chia sẻ link giải thuật để mọi người cùng biết được không.
Hay bạn, mình cũng đang thắc mắc đâu thể nào 2 trang có content giống hệt nhau dc
Còn có nhiều dạng khoảng cách khác như khoảng cách Levenshtein, Jaccard, khoảng cách Cô-sin,... Cách cài đặt cơ bản thường là chuẩn hóa văn bản tạo bộ vector đầu ra cho văn bản rồi so sánh các bộ vector của các văn bản để tính toán mức độ tương đồng giữa vector từ khóa cần tìm với vector các văn bản. Google và Binh nó làm vậy (về lý thuyết :D )
Video hay quá ông ơi 🎉 chủ đề hiện đại, giải thích chi tiết thiết thực. Hy vọng được xem thêm những video giải các bài toán thiết kế hệ thống như thế này 😊
cảm ơn anh em đã ủng hộ.
Anh em đăng ký kênh để nhận thông báo sớm nhất khi video mới ra mắt nhé.
Học cái này xong thấy SEO cũng đơn giản
Muốn làm cái này các bạn cần nghiên cứu lĩnh vực Xử lý ngôn ngữ tự nhiên, trong đó có một số mô hình mà mấy search engines mở đang dùng, hiện tại nó còn ra thuật toán mới hơn so với thuật toán ở giáo trình cũ của Standford.
Hay tẹt vời anh Huy ới. Mong a ra nhiều video chia sẻ về hệ thống như thế này cho đàn em học hỏi thêm ^^
Đây ko phải kiến trúc google đang áp dụng 😂
nếu làm cách này thì cuộc đời lại đơn giản quá cơ
tư tưởng áo dụng thôi anh em ah.
Em cảm ơn anh, bài giảng đỉnh quá
Em cảm ơn anh Huy rất nhiều, em học mảng SEO nên SE là chủ đề em rất quan tâm ạ
chi tiết và dễ hiểu vs cả người mới như em ạ
anh em đăng ký kênh để sớm nhận thông báo các video tiếp theo nhé.
Cảm ơn anh em
Trông có vẻ cũng ko phức tạp lắm, cám ơn anh đã chia sẻ
khi đi vào triển khai chi tiết sẽ còn nhiều thứ nữa, nhưng ở mức tổng quan thì thế này là được anh em ah
Cám ơn anh đã chia sẽ những kiến thức rất quý báu, a có thể cho em hỏi một câu ngô nghê là trong việc tìm kiếm dữ liệu a có đề cập đến việc sử dụng inverted index để có kết quả nhanh chóng, vậy thì việc sử dụng công nghệ elasticsearch thì có điểm gì khác biệt so với cách đánh inverted index ạ? Việc đánh index sẽ làm giảm hiệu năng khi update lại dữ liệu thì đó là điểm chung của cả 2 công nghệ phải không ạ? Do cả inverted index và elasticsearch em đều chưa có trải nghiệm nên nếu hỏi không đúng a thông cảm nhé. Cám ơn a!
Kiến thức rất hay, Minh chuyên SEO làm sao biết system google dựa vào yếu tố gì để lưu dữ liệu minh vào db và trả kết quả cao hơn đối thủ 😢. Hiện tại vd minh có url trùng từ khoá enduser tìm, nội dung mới ko trùng, trải nghiệm trang đích tốt ... bla bla ☺️ làm sao để đc lưu db và trả kết quả cao hơn khi enduser tìm
Đúng cái đang cần mấy cái tri thức sâu này giờ ít kênh làm vl
cảm ơn anh em. Anh em đăng ký kênh để cùng thảo luận với mình ở các nội dung chuyên sau sắp ra tiếp theo nhé.
Với thiết kế như này mà đã đc 100 tỉ thì game lại dễ quá
có khung thiết kế rồi, phần scale cứ theo thế này là được anh em ah
Hay quá, em cảm ơn anh ạ
Cảm ơn em. Em đăng ký kênh để cùng thảo luận với anh các video sắp tới nhé.
hay ạ, thanks anh đã chia sẻ
16:05 nếu chỉ quét 1 lần thì khi nội dung web được cập nhật, content db của chúng ta sẽ bị outdated.
Ví dụ các bài báo tường thuật trực tiếp sự kiện, Google search vẫn phải đảm bảo tìm kiếm được nội dung mới nhất mà không spam web của người ta liên tục (tốn tài nguyên của mình nữa). Mong anh nêu giải pháp cho vấn đề này ạ.
Quét nhiều lần định kỳ anh em nhé, các hệ thống hiện tại đều thế cả
Hay dễ hiểu
Mình nghĩ đoạn Database có Inverted Index trên 100 tỷ records vẫn còn nhiều bottleneck phải giải quyết nữa chứ không đơn giản như vậy (có thể Partitioning hay Sharding các kiểu, vấn đề network nữa, chưa kể giới hạn phần cứng cần distributed processing chứ 1 database instance ngốn quá nhiều storage như vậy là bất khả thi,...).....Nếu được thì bạn làm thêm 1 Video chuyên sâu về vấn đề này để ae làm Architecture giao lưu học hỏi với!!!
Chỗ đó nếu dùng ElasticSearch thì có thể có những tối ưu gì khác?!
Tác giả đang vẽ ra một câu chuyện có thật nhưng trong tưởng tưởng. :)) mặc dù xem video có giá trị tham khảo nhưng về bản chất không thể apply trong thực tế. Điều này giống như câu chuyện học ở trường đại học mang tính hàn lâm nhưng ở môi trường doanh nghiệp thì ối dồi ôi.
Video tuyệt vời ạ
cảm ơn anh em. Anh em đăng ký kênh nhé, video mới sắp ra mắt đấy
hay quá ạ
Xem ko hiểu gì nhưng chúc bạn ăn tết vui vẻ 🎉
Cảm ơn người anh em. Chúc anh em đón Tết vui nhé
Đang học năm 3 năm 4 khuyên k nên xem dễ bị hiểu sai lệch khái niệm lắm😅
đỉnh đỉnh anh ơiiii
chưa hiểu lắm về cân bằng tải, nhờ hổ trợ thêm
Hữu ích anh ạ
cảm ơn anh em nhé
phần index hay quá a
cảm ơn anh em.
Video rất hay và dễ hiểu. Thầy cho em hỏi thầy dùng tool gì để vẽ handwriting style + note vậy ạ?
mình dùng goodnotes anh em ạ.
Cảm ơn video của bạn, tuy nhiên tôi muốn hỏi thêm chút là khi xây dựng db thì nguồn url bạn lấy ở đâu để lọc các title, content, ... để add vào db. Vì db sẽ phải quét định kỳ để hoàn thiện data cũng như tăng tốc tìm kiếm, chứ không phải khi nào có user nào đó tìm kiếm rồi mới tiến hành tìm và xử lý thông tin và trả lại cho user ngay lúc đó.
Mọi người có ai biết nơi nào lưu trữ toàn bộ các url của tất cả các website đang hoạt động trên internet không ạ..?
Về phần dữ liệu khi được tìm kiếm trong database phần inverted index, em thấy cách hoạt động của nó tương đồng với thằng map reduce trong hadoop. Thì không biết là có thể áp dụng để sử dụng được thằng hadoop trong trường hợp này được không ạ.
map reduce trong hadoop read/write trên ổ đĩa nên tốc độ khá chậm, bạn nên chuyển qua spark hoặc elk
hay đấy
cảm ơn anh em
Góp ý phần dùng hash để chống trùng thì hơi dở nhé. Vì ví dụ là web thì khi clone sẽ có khác 1 tí tẹo vậy là ra 2 trang khác nhau nếu tính theo hash.
cái này mình có nêu ở cuối video đó anh em.
Với 2 vấn đề ở cuối video (trong đó có phần anh em nói), anh em thử xem có phương án gì ở đây không?
Theo em nghĩ thì mình có thể dùng ML để encode nội dung trang web thành 1 vector sau đó có thể thực hiện so sánh thì sẽ cho kết quả tốt hơn hash nhưng hiệu suất có thể sẽ chậm hơn và tốn thêm công sức để phát triển mô hình ML có độ chính xác cao
@truongchidien3810 thực ra hash cũng có nhiều cách, tại bài bên trên mình đưa ra một cách kinh điển và gợi mở ý tưởng để các anh em cùng nhau thảo luận.
Ý tưởng chuyển thành vector cũng hay đấy anh em
hay quá thầy. ủng hộ 1 subscribe ^^
cảm ơn anh em nhé
Tuy nghe có vẻ khả thi, nhưng Google đã không làm theo cách này vì tốn quá nhiều dữ liệu và quá chậm nếu theo mô hình này. có ý tưởng hay nhưng thực tế làm như này sẽ chỉ là tốn kém và phức tạp vấn đề tìm kiếm nên. trong khi các hệ thống tìm kiếm bây giờ là 0,0000001 s cho ra kết quả. thì ~ thời gian truy cập vào API
Thầy cho hỏi, cái list URL để xây dựng content DB thì lấy ở đâu? Thanks
chỗ nào có link thì lưu lại chứ sao
@@guitar300k ý là nguồn url ở đâu để lọc thông tin lưu vào db, sau đó người dùng tìm kiếm thì mới vào db để tìm thông tin. ví dụ với từ khóa "winter" ở video thì ban đầu làm sao để có được danh sách các url mà nội dung có chứa từ khóa "winter". Đó là mấu chốt. Nếu db được quét định kỳ thì cũng phải có một nơi nào đó để lấy toàn bộ url trên nền tảng web, sau đó quét lấy title, content, hash code rồi lưu vào db.
làm tiếp đi ạ
Okie anh em, anh em đăng ký kênh mình nhé. Sắp tới sẽ tiếp tục có những video như thế này.
Hay quá a. Cách làm video này bằng phần mềm gì vậy a.
goodnotes anh em nhé
Anh này mới bị sa thải phải không ạ
sao thế anh em?
Không lẻ cái camera trong nhà mình có vấn đề?? Em mình gắn mà, không lẻ nó chơi mình sao??
Sau này mình mà biết cái camera trong nhà có vấn đề, thì sẽ không để yên cho cái nhà này đâu.
voice trầm của bác hay mà sao tới âm sắc nó lên tông cao thế
cảm ơn góp ý của anh em nhé.
Máy a dùng ghi màn hình là gì ak a...hiệu của máy viết lên màn hình ạ
anh dùng ipad em ah
Hash để tránh trùng lặp là hash nội dung của trang web hay hash thông tin gì vậy anh?
Check nội dung nên sẽ thực hiện hash nội dung anh em ah.
Tuy nhiên đây là cách tiếp cận cơ bản nhất thôi, anh em có thể đào sâu hơn khi đặt thêm vấn đề: nội dung giống nhau đến 90% thôi chứ không phải toàn bộ, vậy sẽ cần cải tiến thêm nữa ở giải thuật.
Ở cuối video trong phần tổng hợp ghi chú mình có nói tới đó.
@@tranquochuywecommit có 2 vấn đề mong anh chỉ giáo ạ:
- dựa vào đâu để biết nội dung 2 trang giống nhau 80-90%?
- nhiều trang chơi trò dùng font chữ lạ hoắc, không phải tiếng Việt nhưng có nét giống tiếng Việt, mắt con người vẫn đọc được tuy hơi khó thì có check được vụ trùng lặp nội dung không? (điển hình nhất là mấy trang báo lá cải)
Cho em hỏi anh vẽ bằng phần mềm gì vậy ạ
video này dùng goodnotes nhé anh em
Anh dùng ứng dụng gì để vẽ minh hoạ ấy ạ.
anh em dùng Goodnotes nhé
😍
Flow vẽ bằng gì đẹp quá a
video quay dựng với goodnotes anh em ah
Anh có demo không anh nhỉ. Có dự án demo thì thực tế hơn nhiều đấy a Huy. :)
những bài này mục tiêu là có chia sẻ tư duy và thiết kế tổng thể anh em ah.
Hay . Bạn có group nào để để cùng thảo luận không ?
anh em có thể thảo luận trên đây cùng mình luôn nhé
@@tranquochuywecommit Đang vào list của kênh để xem video khác 🤣🤣🤣
đỉnh vcl
xem cuốn gớm =)))
cảm ơn anh em nhé.
Bác viết bằng phần mềm nào thế bác
sử dụng goodnotes anh em ah
Bác dùng công cụ gì note trực quan thế ạ
goodnotes anh em nhé
video hay quá, cho hỏi nội dung trong này ông bạn xem ở đâu thế? tôi muốn tìm nguồn