ترانسفورمر | المحوّل | Transformer | Attention is all you need |
16.3 هزار بار بازدید -
2 سال پیش
-
الشبكات العصبية غير الترتيبة هي
الشبكات العصبية غير الترتيبة هي احدث الشبكات العصبية التي احدثت ثورة في مجال التعلم العميق و الذكاء الاصطناعي و هي الاساس التي بنيت عليه اغلب نماذج اللغات الضخمة مثل GTP-3 and Bert.
Attention is all you need
Paper Abstract:
The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best-performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to
be superior in quality while being more parallelizable and requiring significantly less time to train. Our model achieves 28.4 BLEU on the WMT 2014 English to-German translation task, improving over the existing best results, including ensembles, by over 2 BLEU. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.8 after
training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature. We show that the Transformer generalizes well to other tasks by applying it successfully to English constituency parsing both with large and limited training data.
الانتباه هو كل ما تحتاجه
نبذة مختصرة عن الورقة:
نماذج الربط ذات سقف محدود في كلا طرفي الربط مثل الترجمة بين لغتين (عدد الكلمات في كل لغة محدود) تعتمد على شبكات طي او ارتجاعية معقدة و تقوم على معمارية تتضمن مُرمز و فاك الترميز, افضل هذه الشبكات أداءً تقوم ايضاً على ربط المُرمّز مع فاك الترميز بميكانيكية الانتباه. في هذه الورقة نقدم معمارية جديد بسيطة للشبكات العصبية الاصطناعية نطلق عليها اسم الشبكات العصبونية الاصطناعية غير الترتيبة او المحولات, التي تقوم على مبداً ميكانيكية الانتباه بشكل حصري متخلية عن مبداً الطي و الارتجاع بشكل كامل. التجارب التي قمنا بها على مسألتين للترجمة الآلية اظهرت ان هذه النماذج الجديدة قدمت نتائج افضل مع امكانية برمجتها باستخدام المعالجة المتوازية مما يقلل من الوقت التي تحتاجه للتدريب. حققت خوارزميتنا نتيجة ٢٨.٤ بلو على مسألة الترجمة من الانكليزي للالماني دبليو ام اي ٢٠١٤, هذا تقدم بمقدار ٢ بلو. و على مسألة الترجمة من الانكليزي للفرنسي دبليو أم تي ٢٠١٤, حققت خوارزميتنا افضل نتيجة على الاطلاق ٤١.٨ بلو بعد ان قمنا بتدريبها لمدة ٣.٥ ايام على ثماني وحدات معالجة الرسوميات, وهو مدة اقصر بكثير مما يتطلبه افضل الخوازرميات المتوافرة حالياً. نُثبت ايضاً في هذه الورقة ان الشبكات الاصطناعية غير الترتيبة او المحولات لديها قدرة جيدة جداً على التعميم لمهام و مسائل اخرى غير الترجمة مثل التحليل النحوي للغة الانكليزية باستخدام بيانات كبيرة و صغيرة للتدريب
#transformers #الذكاء_الاصطناعي #ai #nlp #العربية
#gpt3
للتواصل
LinkedIn: LinkedIn: zjoukhadar
Twitter: Twitter: zjoukhadar
Attention is all you need
Paper Abstract:
The dominant sequence transduction models are based on complex recurrent or convolutional neural networks that include an encoder and a decoder. The best-performing models also connect the encoder and decoder through an attention mechanism. We propose a new simple network architecture, the Transformer, based solely on attention mechanisms, dispensing with recurrence and convolutions entirely. Experiments on two machine translation tasks show these models to
be superior in quality while being more parallelizable and requiring significantly less time to train. Our model achieves 28.4 BLEU on the WMT 2014 English to-German translation task, improving over the existing best results, including ensembles, by over 2 BLEU. On the WMT 2014 English-to-French translation task, our model establishes a new single-model state-of-the-art BLEU score of 41.8 after
training for 3.5 days on eight GPUs, a small fraction of the training costs of the best models from the literature. We show that the Transformer generalizes well to other tasks by applying it successfully to English constituency parsing both with large and limited training data.
الانتباه هو كل ما تحتاجه
نبذة مختصرة عن الورقة:
نماذج الربط ذات سقف محدود في كلا طرفي الربط مثل الترجمة بين لغتين (عدد الكلمات في كل لغة محدود) تعتمد على شبكات طي او ارتجاعية معقدة و تقوم على معمارية تتضمن مُرمز و فاك الترميز, افضل هذه الشبكات أداءً تقوم ايضاً على ربط المُرمّز مع فاك الترميز بميكانيكية الانتباه. في هذه الورقة نقدم معمارية جديد بسيطة للشبكات العصبية الاصطناعية نطلق عليها اسم الشبكات العصبونية الاصطناعية غير الترتيبة او المحولات, التي تقوم على مبداً ميكانيكية الانتباه بشكل حصري متخلية عن مبداً الطي و الارتجاع بشكل كامل. التجارب التي قمنا بها على مسألتين للترجمة الآلية اظهرت ان هذه النماذج الجديدة قدمت نتائج افضل مع امكانية برمجتها باستخدام المعالجة المتوازية مما يقلل من الوقت التي تحتاجه للتدريب. حققت خوارزميتنا نتيجة ٢٨.٤ بلو على مسألة الترجمة من الانكليزي للالماني دبليو ام اي ٢٠١٤, هذا تقدم بمقدار ٢ بلو. و على مسألة الترجمة من الانكليزي للفرنسي دبليو أم تي ٢٠١٤, حققت خوارزميتنا افضل نتيجة على الاطلاق ٤١.٨ بلو بعد ان قمنا بتدريبها لمدة ٣.٥ ايام على ثماني وحدات معالجة الرسوميات, وهو مدة اقصر بكثير مما يتطلبه افضل الخوازرميات المتوافرة حالياً. نُثبت ايضاً في هذه الورقة ان الشبكات الاصطناعية غير الترتيبة او المحولات لديها قدرة جيدة جداً على التعميم لمهام و مسائل اخرى غير الترجمة مثل التحليل النحوي للغة الانكليزية باستخدام بيانات كبيرة و صغيرة للتدريب
#transformers #الذكاء_الاصطناعي #ai #nlp #العربية
#gpt3
للتواصل
LinkedIn: LinkedIn: zjoukhadar
Twitter: Twitter: zjoukhadar
2 سال پیش
در تاریخ 1401/05/29 منتشر شده
است.
16,329
بـار بازدید شده