ტექსტის ენის იდენტიფიკაცია

✍️ ტექსტის ენის იდენტიფიკაცია 🌐

გლობალიზებულ სამყაროში შეტყობინებები მოდის მსოფლიოს ყველა კუთხიდან და შეიძლება დაიწეროს სხვადასხვა ენაზე. ამ ტექსტების ავტომატური დამუშავებისთვის (მაგალითად, ავტომატური თარგმნის აპლიკაციებში) აუცილებელია, რომ შევძლოთ თითოეული ტექსტის ენის იდენტიფიკაცია.

შენი როლია ავტომატური სისტემის შემუშავება, რომელსაც შეუძლია ტექსტის ენის განსაზღვრა, ეტიკეტირებული მაგალითების ნაკრებზე მოდელის ტრენინგიდან გამომდინარე.

🌍 შესაძლო ენები

ავტომატურმა სისტემამ უნდა იმუშაოს შემდეგი ენებისთვის:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📁 მონაცემთა ნაკრები

შენს ხელთ არის ორი CSV ფაილი:

• train.csv - შეიცავს ტექსტებს და მათ ენებს
• test.csv - შეიცავს ტექსტებს, რომლებისთვისაც მოდელმა უნდა იწინასწარმეტყველოს ენა

train.csv-ის თითოეულ რიგს აქვს შემდეგი სვეტები:

• SampleID - ტექსტის უნიკალური იდენტიფიკატორი
• Text - ორიგინალური ტექსტი
• language - ტექსტის ენა

მაგალითი:

1SampleID,Text,language2S1,"klement gottwaldi surnukeha palsameeriti ning ...",Estonian3S2,"sebes joseph pereira thomas på eng the jesuit...",Swedish4S3,"de spons behoort tot het geslacht haliclona en...", Dutch

test.csv-ის თითოეულ რიგს აქვს შემდეგი სვეტები:

• SampleID - ტექსტის უნიკალური იდენტიფიკატორი
• Text - ტექსტი, რომლისთვისაც უნდა იწინასწარმეტყველოს ენა

მაგალითი:

1SampleID,Text2S1001,"ถนนเจริญกรุง อักษรโรมัน thanon charoen krung เ..."3S1002,"விசாகப்பட்டினம் தமிழ்ச்சங்கத்தை இந்துப் பத்திர..."

🧠 დავალება (100 ქულა)

ააშენე სისტემა, რომელსაც შეუძლია ტექსტის ენის იდენტიფიკაცია test.csv-ის ტექსტებისთვის.

პროგნოზები უნდა შეინახოს submission.csv ფაილში შემდეგი ფორმატით:

1SampleID,language2S1001,Thai3S1002,Tamil4S1003,Swedish

სადაც:

• SampleID - ტექსტის უნიკალური იდენტიფიკატორი test.csv-დან
• language - შენი სისტემის მიერ პროგნოზირებული ენა, რომელიც უნდა იყოს შემდეგი სიიდან ერთ-ერთი შესაძლო ენა:

Swedish, French, Korean, Japanese, Portugese, English, Persian, Pushto, Thai, Romanian, Tamil, Spanish, Turkish, Estonian, Chinese, Arabic, Urdu, Hindi, Latin, Russian, Indonesian, Dutch

📊 შეფასება

პროგნოზები შედარდება რეალურ ენებთან და გამოითვლება სიზუსტე:

1accuracy = (სწორი_პროგნოზების_რაოდენობა / პროგნოზების_მთლიანი_რაოდენობა)

საბოლოო ქულა გამოითვლება მიღებული სიზუსტის საფუძველზე შემდეგი წესების გამოყენებით:

• accuracy ≥ 0.98 → 100 ქულა
• accuracy ≤ 0.9 → 0 ქულა
• შუალედური მნიშვნელობებისთვის ენიჭება პროპორციული ქულა 0-დან 100-მდე.