یو! به عنوان یک تامین کننده ترانسفورماتور، اغلب از من می پرسند که چه مجموعه داده هایی معمولاً برای آموزش مدل های ترانسفورماتور استفاده می شوند. موضوع فوق العاده جالبی است و امروز آن را برای همه شما شرح می دهم.
ابتدا، بیایید درک کنیم که چرا مجموعه دادهها در آموزش مدلهای ترانسفورماتور اهمیت زیادی دارند. این مدلها مانند این یادگیرندگان فوقالعاده باهوش هستند، اما به حجم زیادی از دادهها نیاز دارند تا واقعاً خوب یاد بگیرند و بتوانند انواع کارهای جالب را انجام دهند، مانند ترجمه زبان، تولید متن، و حتی پاسخ دادن به سؤالات شما، درست مانند آنچه من اکنون انجام میدهم.
1. مجموعه داده های ویکی پدیا
یکی از محبوب ترین مجموعه داده های موجود، داده های ویکی پدیا است. این بزرگ است و طیف گسترده ای از موضوعات را پوشش می دهد. شما مقالاتی در مورد تاریخ، علم، فناوری، فرهنگ و تقریباً همه چیز زیر آفتاب دارید. زبان مورد استفاده در مقالات ویکی پدیا نیز کاملاً متنوع و ساختار یافته است.
نکته مهم در مورد استفاده از داده های ویکی پدیا این است که برای عموم در دسترس است. شما فقط می توانید بروید و اطلاعات مورد نیاز خود را خراش دهید (البته با رعایت قوانین و مقررات مناسب). مدلهای ترانسفورماتور میتوانند چیزهای زیادی از جمله واژگان، گرامر و دانش در زمینههای مختلف از آن بیاموزند. به عنوان مثال، اگر در حال آموزش مدلی برای پاسخ دادن به سؤالات دانش عمومی هستید، دادههای ویکیپدیا میتوانند پایه محکمی را ارائه دهند. این مدل میتواند چگونگی ارتباط مفاهیم مختلف را بررسی کند، مانند اینکه چگونه یک نظریه علمی خاص به کاربردهای دنیای واقعی آن متصل میشود.
2. BookCorpus
BookCorpus یکی دیگر از مجموعه داده های عالی است. همانطور که از نام آن پیداست، از مجموعه بزرگی از کتاب ها تشکیل شده است. کتاب ها با مقالات ویکی پدیا تفاوت دارند. آنها اغلب ساختار روایی دارند و زبان مورد استفاده می تواند خلاقانه تر و ظریف تر باشد.
وقتی از BookCorpus برای آموزش یک مدل ترانسفورماتور استفاده میکنید، مدل میتواند در مورد تکنیکهای داستانگویی، توسعه شخصیت و سبکهای مختلف نوشتاری بیاموزد. اگر به دنبال آموزش مدلی برای کارهایی مانند نوشتن خلاقانه یا تولید متن در یک زمینه ادبی تر هستید، این واقعاً مفید است. این مدل میتواند شروع به تقلید از جریان و ریتم کتابهای خوب نوشته شود، و میتواند متنی ایجاد کند که روانتر و جذابتر خوانده شود.
3. کرال مشترک
Common Crawl یک مجموعه داده عظیم است. اساساً این مجموعه عظیمی از صفحات وب است که مرتباً خزیده و بایگانی می شود. مقیاس Common Crawl ذهن - گیج کننده است. پتابایت داده دارد.
مزیت استفاده از Common Crawl این است که استفاده از زبان دنیای واقعی را در اینترنت نشان می دهد. شما انواع محتوا، از مقالات خبری و وبلاگ ها گرفته تا پست های رسانه های اجتماعی و بررسی محصول را دارید. این بدان معناست که یک مدل ترانسفورماتور که در Common Crawl آموزش دیده است میتواند متنی شبیه به آنچه که مردم واقعاً آنلاین مینویسند و میخوانند را درک و تولید کند. با این حال، نقطه ضعف این است که داده ها کاملاً نویز هستند. هرزنامه های زیادی وجود دارد، مانند هرزنامه، تبلیغات، و محتوای ضعیف. بنابراین، شما باید قبل از استفاده از آن برای آموزش مدل خود، تمیز کردن و پیش پردازش زیادی انجام دهید.
4. در آغوش گرفتن مجموعه داده های صورت
Hugging Face این مجموعه بسیار جالب از مجموعه داده ها را دارد. آنها مجموعه کاملی از مجموعه داده های مختلف را برای وظایف مختلف تنظیم کرده اند. شما مجموعه داده هایی برای تجزیه و تحلیل احساسات، شناسایی موجودیت نامگذاری شده و ترجمه ماشینی دارید، فقط برای نام بردن چند مورد.
نکته خوب در مورد مجموعه داده Hugging Face این است که دسترسی و استفاده از آنها آسان است. Hugging Face یک کتابخانه پایتون را فراهم می کند که به شما امکان می دهد مجموعه داده ها را فقط با چند خط کد دانلود و پیش پردازش کنید. آنها همچنین اسناد و نمونه های زیادی دارند، بنابراین حتی اگر در کار با مجموعه داده ها تازه کار هستید، می توانید خیلی سریع شروع به کار کنید. این مجموعه دادهها همچنین به خوبی سازماندهی شدهاند، و اغلب با تقسیمبندیهای از پیش تعریفشده برای آموزش، اعتبارسنجی و آزمایش همراه هستند که فرآیند آموزش را بسیار سادهتر میکند.
5. TREC (کنفرانس بازیابی متن) مجموعه داده ها
مجموعه داده های TREC عمدتاً برای بازیابی اطلاعات و وظایف پاسخگویی به سؤالات استفاده می شود. آنها حاوی مجموعه ای از اسناد و مجموعه ای از سؤالات هستند که باید بر اساس آن اسناد به آنها پاسخ داد.
این مجموعه داده ها عالی هستند زیرا به طور خاص برای آزمایش و آموزش مدل هایی در مورد چگونگی یافتن اطلاعات مرتبط در مجموعه بزرگی از متون طراحی شده اند. مدلهای ترانسفورماتور آموزشدیده بر روی مجموعه دادههای TREC میتوانند در اسکن سریع اسناد و استخراج مرتبطترین پاسخها بسیار خوب باشند. این در برنامه هایی مانند موتورهای جستجو و کتابخانه های دیجیتال، که در آن کاربران به دنبال اطلاعات خاصی هستند، بسیار مفید است.
حالا اجازه دهید کمی در مورد ترانسفورماتورهایی که ما عرضه می کنیم به شما بگویم. ما برخی از محصولات با کیفیت بسیار بالا داریم، مانندترانسفورماتور قدرت درایو بیصدا سریع واکنش سریع فوقالعاده بیصدا. این ترانسفورماتور نه تنها سریع است، بلکه بسیار کم صدا است و برای مکان هایی که نویز ممکن است مشکل ساز باشد، عالی است.
ما هم داریمترانسفورماتور پر روغن. این نوع ترانسفورماتورها برای کاربردهای با توان بالا عالی هستند. آنها برای اداره مقادیر زیادی برق طراحی شده اند و بسیار قابل اعتماد هستند.
و برای کسانی که حتی به قدرت بیشتری نیاز دارند، ما آن را داریمروغن با ظرفیت بالا - ترانسفورماتور توزیع برق پر شده. این پسر بد می تواند مقدار زیادی نیرو را توزیع کند که آن را برای استفاده صنعتی ایده آل می کند.
اگر به هر یک از این محصولات علاقه مند هستید، یا در مورد مجموعه داده ها برای آموزش مدل های ترانسفورماتور سؤالی دارید، در تماس با آنها درنگ نکنید. ما اینجا هستیم تا به شما کمک کنیم تا بهترین تصمیم را برای نیازهای خود بگیرید. خواه محققی باشید که به دنبال آموزش مدل بزرگ ترانسفورماتور بعدی هستید یا کسب و کاری که به ترانسفورماتورهای با کیفیت بالا نیاز دارد، ما شما را تحت پوشش قرار می دهیم. بیایید گفتگو را شروع کنیم و ببینیم چگونه می توانیم با هم کار کنیم!
مراجع
- براون، تام بی، و همکاران. "مدل های زبان کم هستند - یادگیرندگان تیراندازی." پیشرفت ها در سیستم های پردازش اطلاعات عصبی 33 (2020): 1877 - 1901.
- رافل، کالین و همکاران. "🤗 مجموعه داده ها: جامعه - کتابخانه ای برای پردازش زبان طبیعی." پیش چاپ arXiv arXiv:2010.10759 (2020).
- کالان، جیمی و همکاران. "TREC - 8 سوال پاسخگویی گزارش آهنگ." کنفرانس بازیابی متن. جلد 8. 2000.
