হোয়াইটপেপার ৩: স্বল্প-সম্পদ ভাষার AI — পরবর্তী একশো কোটি ব্যবহারকারীর জন্য প্রশিক্ষণ ডেটা ফারাক বন্ধ করা

কারণ এই ভাষাগুলোর প্রশিক্ষণ ডেটা অনলাইনে তুলনামূলকভাবে দুর্লভ, তাই মূলত ইন্টারনেট-সংগৃহীত ডেটায় প্রশিক্ষিত মডেলগুলো শুধু হাতেগোনা কয়েকটি উচ্চ-সম্পদ ভাষায় শক্তিশালী কর্মক্ষমতায় ডিফল্ট হয়ে যায়।

নির্ভরযোগ্যভাবে না। কনটেন্টের পরিমাণ জনসংখ্যার আকারের চেয়ে ঐতিহাসিক ডিজিটাইজেশন ও প্রকাশনা অবকাঠামোর উপর বেশি নির্ভর করে, তাই এই ফারাক বন্ধ করতে ইচ্ছাকৃত, বেতনভুক্ত, সম্মতিসহ ডেটা সংগ্রহ প্রয়োজন।

অনেক আফ্রিকান ভাষা (Twi, Ewe, Ga, Fante, Hausa ও Yoruba সহ), মধ্য এশীয় ভাষা (Uzbek ও Tajik সহ), এবং অসংখ্য দক্ষিণ-পূর্ব এশীয় ভাষা তাদের ভাষাভাষী জনসংখ্যার তুলনায় তুলনামূলকভাবে কম প্রতিনিধিত্বশীল থেকে যায়।

কম প্রতিনিধিত্বশীল ভাষায় ভালোভাবে কাজ করা পণ্য ইংরেজি-প্রথম মডেলের উপর নির্ভরশীল প্রতিযোগীরা খারাপভাবে পরিষেবা দেয় এমন বাজার দখল করে, যেসব অঞ্চলে AI গ্রহণ সবচেয়ে দ্রুত বাড়ছে সেখানে একটি স্থায়ী সুবিধা তৈরি করে।