ڪيس جو مطالعو: گفتگو ڪندڙ AI
3 هندستاني ٻولين ۾ ASR ٺاهڻ لاءِ 8 هزار ڪلاڪن کان وڌيڪ ڊيٽا گڏ ڪيو ويو، ورهايل ۽ نقل ڪيو ويو.
حڪومت جو مقصد پنهنجي شهرين کي ڀاشيني پروجيڪٽ ذريعي پنهنجي مادري زبان ۾ انٽرنيٽ ۽ ڊجيٽل سروسز تائين آسان رسائي حاصل ڪرڻ آهي.
BHASHINI، هندستان جي AI-هلائيندڙ ٻولي ترجمو پليٽ فارم، ڊجيٽل انڊيا جي شروعات جو هڪ اهم حصو آهي.
مصنوعي ذهانت (AI) ۽ قدرتي ٻولي پروسيسنگ (NLP) اوزار MSMEs، startups، ۽ آزاد جدت پسندن کي مهيا ڪرڻ لاءِ ٺهيل، ڀاشيني پليٽ فارم عوامي وسيلا طور ڪم ڪري ٿو. ان جو مقصد ڊجيٽل شموليت کي فروغ ڏيڻ آهي هندستاني شهرين کي انهن جي مادري ٻولين ۾ ملڪ جي ڊجيٽل شروعاتن سان رابطو ڪرڻ جي قابل بڻائي.
اضافي طور تي، ان جو مقصد خاص طور تي هندستاني ٻولين ۾ انٽرنيٽ مواد جي دستيابي کي وڌائڻ آهي. اهو خاص طور تي عوام جي دلچسپي جي علائقن ڏانهن آهي جيئن گورننس ۽ پاليسي، سائنس ۽ ٽيڪنالاجي وغيره. نتيجي طور، اهو شهرين کي ترغيب ڏيندو ته هو انٽرنيٽ کي پنهنجي ٻولي ۾ استعمال ڪن، انهن جي فعال شموليت کي وڌايو.
حقيقي دنيا جو حل
ڊيٽا سان لوڪلائيزيشن جي طاقت کي ختم ڪرڻ
هندستان کي هڪ اهڙي پليٽ فارم جي ضرورت هئي جيڪو هندستاني ٻولين ۾ ڊجيٽل خدمتون مهيا ڪرڻ لاءِ گهڻ لساني ڊيٽاسيٽ ۽ AI تي ٻڌل ٻولي ٽيڪنالاجي حل ٺاهڻ تي ڌيان ڏئي. هن شروعات کي شروع ڪرڻ لاءِ، انڊين انسٽيٽيوٽ آف ٽيڪنالاجي، مدراس (IIT مدراس) شيپ سان ڀائيواري ڪئي ته جيئن گهڻ لساني تقرير ماڊل ٺاهڻ لاءِ هندستاني ٻولي ڊيٽاسيٽ گڏ ڪري، ورهائي ۽ نقل ڪري سگهجي.
مسئلن
ڪلائنٽ جي مدد ڪرڻ لاءِ ھندستاني ٻولين لاءِ پنھنجي اسپيچ ٽيڪنالاجي اسپيچ روڊ ميپ سان، ٽيم کي AI ماڊل ٺاھڻ لاءِ ٽريننگ ڊيٽا جي وڏي مقدار کي حاصل ڪرڻ، ڀاڱي ڪرڻ ۽ نقل ڪرڻ جي ضرورت آھي. ڪسٽمر جي نازڪ گهرجون هئا:
ڊيٽا جو اسٽور
- 3000 ڪلاڪ ٽريننگ ڊيٽا حاصل ڪريو 8 هندستاني ٻولين ۾ 4 ٻوليون في ٻولي سان.
- هر ٻوليءَ لاءِ، فراهم ڪندڙ گڏ ڪندو Extempore Speech ۽
18-60 سالن جي عمر جي گروپن کان گفتگو واري تقرير - عمر، جنس، تعليم ۽ ٻولين جي لحاظ کان ڳالهائيندڙن جي هڪ متنوع ميلاپ کي يقيني بڻايو
- وضاحتن جي مطابق رڪارڊنگ ماحول جي متنوع ميلاپ کي يقيني بڻايو وڃي.
- هر آڊيو رڪارڊنگ گهٽ ۾ گهٽ 16kHz هجڻ گهرجي پر ترجيحي طور تي 44kHz
ڊيٽا جي تقسيم
- 15 سيڪنڊن جا اسپيچ سيگمينٽ ٺاهيو ۽ هر ڏنل اسپيڪر لاءِ مليس سيڪنڊن ۾ آڊيو کي ٽائم اسٽيمپ ڪريو، آواز جو قسم (تقرير، بڪ، موسيقي، شور)، موڙ، چوڻيون، ۽ جملا گفتگو ۾
- شروع ۽ آخر ۾ 200-400 مليسيڪنڊ پيڊنگ سان ان جي ھدف ٿيل آواز سگنل لاءِ ھر ڀاڱو ٺاھيو.
- سڀني حصن لاءِ، ھيٺيون شيون ڀرڻ گهرجن، يعني، شروعاتي وقت، پڄاڻيءَ جو وقت، ڀاڱي جي ID، آواز جي سطح، آواز جو قسم، ٻوليءَ جو ڪوڊ، اسپيڪر ID، وغيره.
ڊيٽا جي نقل
- اکرن ۽ خاص نشانين، اسپيلنگ ۽ گرامر، ڪيپيٽلائيزيشن، مخففات، معاهدو، انفرادي ڳالهايل اکر، انگ، رموز، مخفف، اختلافي، تقرير، اڻ سمجھڻ واري ڳالھ، غير ھدف ٻوليون، غير ھدف واريون ٻوليون، غير ھدف واريون ٻوليون وغيره.
معيار چيڪ ۽ موٽ
- معيار جي تشخيص ۽ تصديق ڪرڻ لاء سڀ رڪارڊنگ، صرف تصديق ٿيل تقرير پهچائڻ لاء
حل
ڳالهه ٻولهه واري AI جي اسان جي گهري سمجھ سان، اسان ڪلائنٽ کي ماهر ڪليڪٽرن، لسانيات جي ماهرن ۽ تشريح ڪندڙن جي ٽيم سان گڏ ڊيٽا گڏ ڪرڻ، ورهائڻ ۽ نقل ڪرڻ ۾ مدد ڪئي ته جيئن 8 هندستاني ٻولين ۾ آڊيو ڊيٽاسيٽ جو وڏو مجموعو ٺاهيو وڃي.
شيپ جي ڪم جي دائري ۾ شامل هو پر ان تائين محدود نه هو ته آڊيو ٽريننگ ڊيٽا جي وڏي مقدار حاصل ڪرڻ، آڊيو رڪارڊنگ کي ڪيترن ئي حصن ۾ ورهائڻ، ڊيٽا کي نقل ڪرڻ ۽ ميٽا ڊيٽا تي مشتمل لاڳاپيل JSON فائلون پهچائڻ [اسپيڪر آئي ڊي، عمر، جنس، ٻولي، ٻولي، مادري ٻولي، قابليت، پيشو، ڊومين، فائل فارميٽ، فريڪوئنسي، چينل، آڊيو جو قسم، اسپيڪرن جو تعداد، پرڏيهي ٻولين جو تعداد، استعمال ٿيل سيٽ اپ، نارو بينڊ يا وائڊ بينڊ آڊيو، وغيره].
شيپ پيماني تي 3000 ڪلاڪ آڊيو ڊيٽا گڏ ڪيو جڏهن ته پيچيده منصوبن لاءِ اسپيچ ٽيڪنالاجي کي تربيت ڏيڻ لاءِ گهربل معيار جي گهربل سطح کي برقرار رکيو. واضح رضامندي فارم هر شرڪت ڪندڙن کان ورتو ويو.
1. ڊيٽا جو اسٽور
2. ڊيٽا جي ڀاڱيداري
- گڏ ڪيل آڊيو ڊيٽا کي وڌيڪ 15 سيڪنڊن جي تقرير جي حصن ۾ ورهايو ويو ۽ هر مقرر ڪيل اسپيڪر، آواز جي قسم، موڙ، تقرير، ۽ گفتگو ۾ جملن لاءِ ملي سيڪنڊن تي ٽائيم اسٽيمپ ڪيو ويو.
- ھر سيڪشن کي پنھنجي ھدف ٿيل آواز سگنل لاءِ ٺاھيو 200-400 مليسيڪنڊس پيڊنگ سان ھڪ آواز سگنل جي شروعات ۽ آخر ۾.
- سڀني حصن لاءِ، ھيٺيون شيون موجود ھيون ۽ ڀرجي ويون، يعني، شروعاتي وقت، پڄاڻيءَ جو وقت، ڀاڱي جي ID، آواز جي سطح (لوڊ، نارمل، خاموش)، پرائمري آواز جو قسم (ڳالهائي، ببل، موسيقي، شور، اوورليپ)، ٻوليءَ جو ڪوڊ اسپيڪر ID، ٽرانسپشن وغيره.
3. معيار چيڪ ۽ موٽ
- سڀني رڪارڊنگ کي معيار جي لاءِ جائزو ورتو ويو ۽ صرف 90٪ جي WER ۽ 90٪ جي TER سان تصديق ٿيل تقرير رڪارڊنگ پهچائي وئي
- معيار جي چڪاس جي پٺيان:
» وڌ ۾ وڌ 15 سيڪنڊن جي حصي جي ڊيگهه
» مخصوص ڊومينز مان نقل، يعني: موسم، خبرن جا مختلف قسم، صحت، زراعت، تعليم، نوڪريون يا ماليات
»گهٽ پس منظر جو شور
»ڪو آڊيو ڪلپ بند ناهي - ڪابه تحريف
» ٽرانسپشن لاءِ صحيح آڊيو سيڪشن
4. ڊيٽا ٽرانسپشن
سڀ ڳالهايل لفظ، جن ۾ جھجھڪ، فلر لفظ، غلط شروعات، ۽ ٻيا لفظي ٽڪس شامل آھن، صحيح طور تي نقل ۾ پڪڙيا ويا آھن. اسان ڪيپيٽل ۽ لوئر ڪيز اکر، اسپيلنگ، ڪيپيٽلائيزيشن، مخففات، ڪنڪشن، انگ،
رموز، مخففات، ناانصافي تقرير، غير تقريري شور وغيره. ان کان علاوه گڏ ڪرڻ ۽ ٽرانسپشن لاء ڪم فلو هيٺ ڏنل آهي:
نتيجو
ماهر لسانيات کان اعليٰ معيار جو آڊيو ڊيٽا انڊين انسٽيٽيوٽ آف ٽيڪنالاجي - مدراس، کي مقرر وقت ۾ 8 هندستاني ٻولين ۾ گھڻ لساني اسپيچ ريڪگنيشن ماڊلز کي صحيح طور تي تربيت ڏيڻ ۽ تيار ڪرڻ جي قابل بڻائيندو. تقرير جي سڃاڻپ جا ماڊل استعمال ڪري سگھجن ٿا:
- ڊجيٽل شموليت لاءِ ٻوليءَ جي رڪاوٽ کي دور ڪريو شهرين کي انهن جي پنهنجي مادري ٻوليءَ جي شروعاتن سان ڳنڍڻ.
- ڊجيٽل گورننس کي فروغ ڏئي ٿو
- هندستاني ٻولين ۾ خدمتن ۽ پراڊڪٽس لاءِ هڪ ماحولياتي نظام ٺاهڻ لاءِ Catalyst
- عوامي دلچسپي جي ڊومين ۾ وڌيڪ مقامي ڊجيٽل مواد، خاص طور تي، گورننس ۽ پاليسي
اسان شيپ جي گفتگو واري مصنوعي ذهانت جي شعبي ۾ مهارت کان متاثر ٿيا آهيون. انهن جي مجموعي منصوبي جي عملدرآمد جي صلاحيت سخت وقت ۽ هدايتن جي اندر 8 ٻولين ۾ ماهر لسانيات جي ماهرن کان گهربل تربيتي ڊيٽا حاصل ڪرڻ، ورهائڻ، نقل ڪرڻ ۽ پهچائڻ ۾؛ جڏهن ته اڃا تائين معيار جي قابل قبول معيار کي برقرار رکندي.
