ترانسفورمر و مکانیزم توجه | Transformer and Attention

شاید بشه گفت ایده transformer ها که تو مقاله Attention is all you need‌ اومده، از جذابترین و پرکاربردترین معماری‌های شبکه عصبی بودن تا جایی که اکثر مدلهای زبانی بزرگی که امروز میشناسیم از جمله ChatGPT و حتی بخش عمده ای از کاربردهای پردازش تصویر و ویدیو از این معماری استفاده میکنن. تو این ویدیو بیشتر میخواستم با ساختار و جزییات این مدل آشنا بشیم و اگر دیدم که این بحث میتونه جذاب باشه براتون توی ویدیوهای بعدی بریم برای پیاده سازی های مدل های بر پایه transformer ها و این ایده ها رو نزدیک کنیم به محصول نهایی.
مقاله Attention:
arxiv.org/pdf/1706.03762
دسترسی به ویدیوهای سایر نتورکها:
Alex Net
• مقاله شبکه عصبی الکس ن...
ResNet
• مقاله شبکه عصبی رزنت |...
VGGNet
• دیپ لرنینگ | VGGNet یا...
GoogleNet
• دیپ لرنینگ | گوگل نت و...
EfficientNet
• دیپ لرنینگ | Efficient...
U-Net
• مقاله شبکه عصبی یونت |...
آدرس کانال‌های ارتباطی:
بلاگ مقالات به روز حوزه: ctdrs.ir/ds1111
وبسایت دپارتمان علم داده: cafetadris.com/datascience
کانال تلگرام تخصصی علم داده: @dslanders
id تلگرام من: @rezashokrzad

[@mp-rk4db]

Great💫

[@marziyefathi8769]

ممنون استاد ، بسیار عالی

[@faymelari3494]

ممنون استاد از آموزش جذابتون. خسته نباشید. ✋

[@alirezaahmadi5018]

ممنون استاد شکرزاد عزیز. خیلی عالی بودش.

[@mehdighorbani5458]

بسیار عالی...ممنون

[@HadiPirhosseinlou]

خیلی ممنون

[@mostafas-kq2mm]

عالی

[@MehranBahram-dg8gd]

🙏🙏💎

[@user-rp4hv1hd5y]

🙏🙏

[@SomayyehRahimi-ds8tu]

خیلی مفید و آموزنده بود. ممنون برای انتخاب موضوعات به روز و توضیح شفافشون. این روش برای داده های text استفاده میشه. آیا میشه از این روش برای داده های time series (مثلا پیش بینی هوا و..) استفاده کرد؟

[@RezaShokrzad]

کلا مناسب آنالیز هر داده‌ sequntial از جمله تایم سریز و تکست هستش. تا جایی که دیدم مدل پری ترین برای پیش بینی هوا به طور خاص روی هاگینگ فیس نیست ولی میتونی از مدل climateformer که ترکیب climate و اون تیکه فورمرش از ترنسفورمر اومده رو چک کنی