چگونه ترانسفورماتور داده های زمان - سری را کنترل می کند؟

در سالهای اخیر ، معماری ترانسفورماتور به عنوان یک نیروی انقلابی در زمینه یادگیری ماشین ظاهر شده است ، که در ابتدا برای کارهای پردازش زبان طبیعی طراحی شده است. با این حال ، قابلیت های آن بسیار فراتر از متن است ، و پتانسیل بسیار خوبی را در رسیدگی به داده های زمان - سری نشان داده است. من به عنوان یک تامین کننده ترانسفورماتور ، من هیجان زده ام که چگونه می توان این معماری قدرتمند را برای تجزیه و تحلیل سریال به کار برد و چه فایده ای برای جدول دارد.

درک زمان - داده های سری

زمان - داده های سری دنباله ای از نقاط داده جمع آوری شده در نقاط پی در پی در زمان است. در حوزه های مختلف مانند امور مالی ، هواشناسی ، مراقبت های بهداشتی و نظارت صنعتی رواج دارد. مثالها شامل قیمت سهام ، خواندن دمای روزانه ، علائم حیاتی بیمار و داده های سنسور از تجهیزات تولید است. ویژگی اصلی داده های زمان - سری ترتیب زمانی است که هر نقطه داده مربوط به نکات قبلی و بعدی آن است. این طبیعت پی در پی چالش های منحصر به فردی را برای تجزیه و تحلیل ایجاد می کند ، مانند ضبط وابستگی های طولانی مدت ، رسیدگی به فصلی و پیش بینی های دقیق.

رویکردهای سنتی در مقابل ترانسفورماتور

قبل از ظهور ترانسفورماتور ، روشهای سنتی برای زمان - تجزیه و تحلیل سری شامل مدلهای میانگین متحرک یکپارچه (ARIMA) ، هموار سازی نمایی و شبکه های عصبی مکرر (RNN) مانند حافظه کوتاه کوتاه مدت (LSTM) و واحدهای مکرر دروازه (GRUS) بود.

مدل های ARIMA مبتنی بر فرضیات خطی هستند و برای داده های زمان ثابت - سری مناسب هستند. آنها برای پیش بینی موارد آینده به ارزشهای گذشته متکی هستند ، اما با الگوهای غیر خطی و وابستگی های طولانی مدت مبارزه می کنند. روشهای هموار سازی نمایی ، وزنهای کاهش نمایی را به مشاهدات گذشته اختصاص می دهند ، که برای پیش بینی کوتاه مدت مؤثر است اما ممکن است روندهای پیچیده ای را ضبط نکند.

RNN ها ، به ویژه LSTM و GRU ، برای کنترل داده های پی در پی با حفظ وضعیت پنهان که می تواند اطلاعات را به مرور زمان حمل کند ، طراحی شده اند. با این حال ، آنها از مشکل شیب ناپدید شده رنج می برند ، که یادگیری وابستگی های طولانی مدت را دشوار می کند. با افزایش طول دنباله ، عملکرد RNN به طور قابل توجهی تخریب می شود.

در مقابل ، معماری ترانسفورماتور ، که در مقاله "توجه همه شما نیاز دارید" توسط Vaswani و همکاران معرفی شده است. در سال 2017 ، بر این محدودیت ها غلبه می کند. این مکانیزم توجه خود را از آن استفاده می کند که به آن اجازه می دهد بدون توجه به فاصله آنها ، بین هر دو موقعیت را در یک دنباله ضبط کند. این بدان معنی است که ترانسفورماتور می تواند به طور موثری وابستگی های طولانی مدت را در زمان - داده های سری بدون مشکل شیب ناپدید شود.

چگونه ترانسفورماتور زمان - داده های سری را کنترل می کند

رمزگذاری زمان - سری

اولین قدم در استفاده از یک ترانسفورماتور برای داده های سری زمان رمزگذاری دنباله ورودی است. هر نقطه داده در زمان - سری به طور معمول به عنوان یک بردار نشان داده می شود. رمزگذاری مثبت سپس به این بردارها اضافه می شود تا اطلاعاتی در مورد ترتیب نقاط داده در دنباله ارائه دهد. این بسیار مهم است زیرا ترانسفورماتور ، برخلاف RNN ها ، کل دنباله را به صورت موازی پردازش می کند و از موقعیت ذاتی برخوردار نیست.

رمزگذاری موقعیتی می تواند یک عملکرد سینوسی و کسین ثابت باشد ، همانطور که در مقاله ترانسفورماتور اصلی توضیح داده شده است. این توابع یک الگوی منحصر به فرد را به هر موقعیت در دنباله اضافه می کنند و به مدل اجازه می دهد بین مراحل مختلف زمانی تمایز قائل شود.

خود مکانیسم توجه

هسته ترانسفورماتور مکانیسم خود توجه است. با توجه به یک توالی ورودی از بردارها ، خود توجه ، مبلغ وزنی از این بردارها را محاسبه می کند تا هر موقعیت را در دنباله نشان دهد. وزن ها با شباهت بین برداشت های پرس و جو ، کلید و ارزش تعیین می شوند.

در زمینه داده های سری زمان - سری ، مکانیسم خود توجه به مدل اجازه می دهد تا هنگام پیش بینی ، روی قسمت های مختلف دنباله تمرکز کند. به عنوان مثال ، هنگام پیش بینی ارزش بعدی در یک سری قیمت سهام ، این مدل می تواند بیشتر به قیمت های تاریخی مربوطه ، مانند قیمت ها از همان روز هفته یا قیمت ها در طی یک روند مشابه بازار توجه کند.

مکانیسم خود توجه را می توان به شرح زیر بیان کرد:

[توجه (q ، k ، v) = softmax (\ frac {qk^{t}} {\ sqrt {d_ {k}}) v]

جایی که (q) ماتریس پرس و جو است ، (k) ماتریس کلید است ، (v) ماتریس مقدار است و (d_ {k}) ابعاد بردارهای کلیدی است.

توجه چند - سر

برای ضبط انواع مختلف روابط در سری زمان ، ترانسفورماتور از توجه چند سر استفاده می کند. به جای یک مکانیسم خود توجه ، سرهای مختلف توجه به صورت موازی اعمال می شوند. هر سر بر جنبه های مختلف دنباله متمرکز است ، و خروجی های همه سرها به هم پیوسته و سپس به صورت خطی دگرگون می شوند.

توجه چند سر به مدل اجازه می دهد تا الگوهای متنوعی را در زمان داده ها بیاموزد. به عنوان مثال ، یک سر ممکن است روی روندهای کوتاه مدت متمرکز شود ، در حالی که سر دیگر ممکن است فصلی طولانی مدت را به خود جلب کند.

رمزگشایی برای پیش بینی

در یک کار پیش بینی سری زمان ، ترانسفورماتور را می توان به روش توالی دنباله - به - توالی استفاده کرد. رمزگذار زمان ورودی - سری را پردازش می کند و رمزگشگر مقادیر پیش بینی شده را تولید می کند. رمزگذار همچنین از مکانیسم های توجه و توجه و توجه استفاده می کند. توجه خود در رمزگشگر برای اطمینان از اینكه مدل فقط هنگام تهیه پیش بینی از اطلاعات گذشته استفاده می كند ، پوشانده شده است. Cross - توجه به رمزگذار اجازه می دهد تا در خروجی رمزگذار شرکت کند ، که حاوی اطلاعاتی در مورد دنباله ورودی است.

مزایای استفاده از ترانسفورماتور برای زمان - داده های سری

مدل سازی وابستگی طولانی مدت

یکی از مهمترین مزایای ترانسفورماتور ، توانایی آن در مدل سازی وابستگی های طولانی مدت در مدت زمان - سری است. با استفاده از مکانیسم خود توجه ، مدل می تواند روابط بین نقاط داده های دوردست را ضبط کند ، که برای پیش بینی دقیق طولانی مدت بسیار مهم است.

پردازش موازی

بر خلاف RNN ها ، که به طور متوالی دنباله های فرآیند ، ترانسفورماتور می تواند کل دنباله را به صورت موازی پردازش کند. این منجر به آموزش سریعتر و زمان استنباط می شود ، به خصوص برای سکانس های طولانی.

سازگاری با الگوهای غیر خطی

ترانسفورماتور یک مدل غیر خطی است که می تواند با الگوهای پیچیده و غیر خطی در داده های سری سازگار باشد. این می تواند از داده ها بدون ایجاد فرضیات قوی در مورد توزیع اساسی ، یاد بگیرد ، و آن را برای طیف گسترده ای از برنامه ها مناسب می کند.

برنامه های کاربردی در صنایع مختلف

دارایی

در صنعت مالی ، داده های سری زمانی مانند قیمت سهام ، نرخ ارز و نرخ بهره از اهمیت بالایی برخوردار است. از ترانسفورماتور می توان برای پیش بینی قیمت سهام ، ارزیابی ریسک و بهینه سازی نمونه کارها استفاده کرد. با ضبط روند طولانی مدت بازار و روابط غیر خطی ، می تواند پیش بینی های دقیق تری نسبت به روشهای سنتی ارائه دهد.

مراقبت های بهداشتی

در مراقبت های بهداشتی ، داده های سری شامل علائم حیاتی بیمار ، نتایج آزمایش پزشکی و پیشرفت بیماری است. از ترانسفورماتور می توان برای تشخیص بیماری اولیه ، نظارت بر بیمار و برنامه ریزی درمانی استفاده کرد. به عنوان مثال ، می تواند احتمال ابتلا به بیمار را بر اساس داده های سلامت تاریخی آنها پیش بینی کند.

نظارت صنعتی

در تنظیمات صنعتی ، می توان از داده های سری از سنسورها در تجهیزات تولیدی برای نگهداری پیش بینی استفاده کرد. ترانسفورماتور می تواند داده های سنسور را برای تشخیص ناهنجاری ها و پیش بینی خرابی تجهیزات قبل از وقوع ، تجزیه و تحلیل کند و هزینه های خرابی و نگهداری را کاهش دهد.

محصولات ترانسفورماتور ما

به عنوان یک تأمین کننده ترانسفورماتور ، ما طیف وسیعی از ترانسفورماتورهای با کیفیت بالا را برای برنامه های مختلف ارائه می دهیم. ماولتاژ سه فاز - ترانسفورماتور مقاومبرای مقاومت در برابر شرایط ولتاژ ، اطمینان از عملکرد قابل اعتماد در محیط های سخت طراحی شده است. درترانسفورماتور توزیع سه فاز بالا - بهره وریبرای بهره وری انرژی ، کاهش تلفات برق و صرفه جویی در هزینه بهینه شده است. ماترانسفورماتور برق شبکه طولانی - پر شدهبرای استفاده طولانی مدت در شبکه برق ساخته شده است و منبع تغذیه پایدار را تأمین می کند.

برای خرید با ما تماس بگیرید

اگر شما علاقه مند به استفاده از محصولات ترانسفورماتور ما برای زمان - تجزیه و تحلیل داده های سری یا برنامه های دیگر هستید ، ما از شما دعوت می کنیم تا برای یک بحث دقیق با ما تماس بگیرید. تیم متخصصان ما می توانند به شما در انتخاب ترانسفورماتور مناسب برای نیازهای خاص خود کمک کنند و در طول فرآیند پشتیبانی فنی ارائه دهند.

منابع

Vaswani ، A. ، Shazer ، N. ، Parmar ، N. ، Uszkoreit ، J. ، Jones ، L. ، Gomez ، An ، ... & Polosukhin ، I. (2017). توجه همه شما نیاز دارید. پیشرفت در سیستم های پردازش اطلاعات عصبی ،