Applying Attention-based Transformers in the Field and Trends in Generative AI - Jeon Hyeon-sang

Applying Attention-based Transformers in the Field and Trends in Generative AI - Jeon Hyeon-sang (Amazon Web Services, Solutions Architect)
In this webinar presentation, we will discuss the changes and future directions of machine learning platforms in response to the emergence of Transformer models in various industries. Recently, attention-based Transformer models have brought innovation to machine learning. These models have shown exceptional performance in natural language processing and have surpassed the limitations of LSTM. The parallelization and handling of long-range dependencies in these models are being utilized in new applications such as Generative AI, beyond natural language processing, leading to shifts in industrial trends.

[@MERRICS]

01:04:02 아마존에서는 준비하고 있는 AI서비스가 기존의 서비스에 비해 차별화 된 특징들이 있을까요?
01:05:11 Bedrock service에서 Hugging face 에 올라온 모델을 임의로 선택해 사용할 수 있나요? 그리고 자체 개발 LLM을 Bedrock service를 이용해 사용할 수 있나요?
01:06:34 셀프 어텐션 구조가 연산 구조상 시간복잡도가 낮고 병렬화가 쉬워 컴퓨팅 자원소모에 대한 부담이 적을 것 같고, 거리가 먼 단어간의 관계도 계산하기 쉽고, 연산과정을 시각화하여 모델이 문장을 어떻게 해석하고 있는지 좀 더 정확히 파악할 수 있다는 점에서도 좋은 것 같습니다만.. 혹시 이러한 셀프 어텐션 구조에도 weak가 있을까요?