ٽيڪسٽ ڊيٽا گڏ ڪرڻ

سمجھاڻي

ٽيڪسٽ ڊيٽا گڏ ڪرڻ، AI ٽريننگ ۾ استعمال لاءِ ڪتابن، ويب سائيٽن، يا چيٽ لاگ جهڙن ذريعن کان لکيل ٻولي گڏ ڪرڻ جو عمل آهي.

مقصد

مقصد اين ايل پي ۽ ايل ايل ايم جي ترقي لاءِ ڪارپوريشن ٺاهڻ آهي.

اهميت

• ٻولي جي ماڊلز لاءِ خام مال فراهم ڪري ٿو.
• ڪاپي رائيٽ ۽ لائسنسنگ جا مسئلا اٿاري ٿو.
• ڊيٽا جي تنوع انصاف ۽ درستگي کي متاثر ڪري ٿي.
• نقصانڪار يا غير لاڳاپيل مواد کي فلٽر ڪرڻ گهرجي.

ڪيئن اهو ڪم

1. ٽيڪسٽ ذريعن جي سڃاڻپ ڪريو (ويب، دستاويز، ٽرانسڪرپٽ).
2. اجازت سان متن کي ڪرال ڪريو يا اسڪريپ ڪريو.
3. مواد کي صاف ۽ عام ڪريو.
4. ٽريڪ ايبلٽي لاءِ ميٽا ڊيٽا سان اسٽور ڪريو.
5. پري ٽريننگ يا فائن ٽيوننگ ۾ استعمال ڪريو.

مثال (حقيقي دنيا)

• عام ڪرال: وڏو ويب ڪارپس.
• وڪيپيڊيا ڊمپ: منظم ٽيڪسٽ ڊيٽاسيٽ.
• بُڪس ڪارپس: BERT جي تربيت لاءِ استعمال ٿيندو آهي.

حوالو / وڌيڪ پڙهڻ

• ڪامن ڪرال فائونڊيشن.
• جورافسڪي ۽ مارٽن. تقرير ۽ ٻولي جي پروسيسنگ.
• ISO/IEC TR 20547-5: بگ ڊيٽا ريفرنس آرڪيٽيڪچر.
• ڪيس-مخصوص ٽيڪسٽ ڊيٽا گڏ ڪرڻ