اڳواٽ تربيت

سمجھاڻي

پري ٽريننگ مخصوص ڪمن تي فائن ٽيوننگ ڪرڻ کان اڳ وڏي عام مقصد جي ڊيٽاسيٽس تي مشين لرننگ ماڊل جي شروعاتي تربيت آهي.

مقصد

مقصد ماڊلز کي وسيع نمائندگي فراهم ڪرڻ آهي جيڪي ڪيترن ئي ڪمن ڏانهن منتقل ٿين ٿا، ڊيٽا کي گهٽائڻ ۽ ڊائون اسٽريم موافقت لاءِ ڪمپيوٽنگ گهرجن کي گهٽائڻ.

اهميت

• جديد ايل ايل ايم ۽ ويزن ماڊلز لاءِ بنياد.
• مختلف ڪمن ۾ ڪارڪردگي بهتر بڻائي ٿو.
• ڊيٽا ۽ حساب جي لحاظ کان مهانگو.
• تعصب کان بچڻ لاءِ احتياط سان ڊيٽا سيٽ ڪيوريشن جي ضرورت آهي.

ڪيئن اهو ڪم

1. وڏا عام ڊيٽاسيٽ گڏ ڪريو (ٽيڪسٽ، تصويرون).
2. غير نگراني ڪيل يا خود نگراني ڪيل سکيا جي ڪمن جي تعريف ڪريو.
3. عام خاصيتون سکڻ لاءِ ماڊلز کي تربيت ڏيو.
4. اڳ ۾ تربيت يافته وزنن کي ٻيهر استعمال لاءِ محفوظ ڪريو.
5. ننڍن ڪم جي مخصوص ڊيٽاسيٽس تي فائن ٽيون.

مثال (حقيقي دنيا)

• وڪيپيڊيا ۽ بُڪس ڪارپس تي BERT کان اڳ تربيت يافته.
• CLIP تصوير-ٽيڪسٽ جوڙن تي تربيت يافته.
• جي پي ٽي ماڊل وڏي پيماني تي انٽرنيٽ ٽيڪسٽ تي اڳ ۾ تربيت يافته آهن.

حوالو / وڌيڪ پڙهڻ

• ڊيولن ۽ ٻيا. "BERT: ڊيپ بائيڊائريڪشنل ٽرانسفارمرز جي پري ٽريننگ." NAACL 2019.
• ريڊفورڊ ۽ ٻيا. "ٻولي جا ماڊل گهٽ سکيا وٺندڙ آهن." نيور آئي پي ايس 2020.
• اوپن اي آءِ جي پي ٽي-4 ٽيڪنيڪل رپورٽ.