Zautomatyzowany system wykrywania e-maili spam

💌 Zautomatyzowany system wykrywania e-maili spam 📧

Twoja firma chce chronić użytkowników przed niechcianymi e-mailami (spam).
W tym celu postanowiono zbudować automatyczny system, który będzie identyfikował
e-maile spam i oddzielał je od legalnych (nonspam).

Otrzymałeś zbiór oznaczonych e-maili i musisz zbudować model
który będzie mógł klasyfikować nowe e-maile.

Udostępniono Ci dwa pliki:

• train.csv - historyczne e-maile z etykietą label (spam = 1 / nonspam = 0)
• test.csv - nowe e-maile, bez etykiety

Główny cel: predykcja prawdopodobieństwa, że e-mail jest spamem (wartość między 0 a 1, gdzie 0 = pewny nonspam, 1 = pewny spam).

📊 Zbiór danych

Każdy wiersz reprezentuje e-mail z następującymi atrybutami:

• sample_id - unikalny identyfikator
• text - zawartość e-maila
• label - tylko w train.csv, 1 (spam)/ 0 (nonspam)

Końcowy cel: przewidzieć label dla wierszy z test.csv.

📝 Zadania

Pierwsze dwa podzadania sprawdzają prostą analizę e-maili.
Ostatni podzadanie ocenia model klasyfikacji.

Podzadanie 1 (10 punktów)

Określ długość każdego e-maila jako liczbę znaków.

Wyświetl dla tego podzadania liczbę całkowitą.

Podzadanie 2 (15 punktów)

Policz ile wystąpień słowa free znajduje się w e-mailu.

Podzadanie 3 (75 punktów)

Zbuduj model klasyfikacji, który przewiduje prawdopodobieństwo, że e-mail jest spamem (p ∈ [0,1]) dla każdego wiersza z testu.

Ocena odbywa się przy użyciu krzywej ROC i AUC (Area Under the ROC Curve).

🧮 Ocena

• AUC ≥ 0.95 → 75 punktów
• AUC ≤ 0.80 → 0 punktów
• Przedział między nimi: punktacja proporcjonalna

Podzadania 1–2 są oceniane dokładnie (przez porównanie).

📄 Format pliku zgłoszenia

Plik submission.csv musi zawierać 3 linie dla każdego wiersza z testu,
odpowiadające 3 podzadaniom.

Struktura:

1subtaskID, datapointID, answer

gdzie:

• subtaskID - 1, 2 lub 3
• datapointID - wartość sample_id
• answer - zależy od zadania:
  • Podzadanie 1: długość e-maila (liczba całkowita)
  • Podzadanie 2: liczba wystąpień słowa free (liczba całkowita)
  • Podzadanie 3: prawdopodobieństwo, że e-mail jest spamem (liczba rzeczywista 0–1)

Przykład dla sample_id = 00042:

1subtaskID,datapointID,answer21,00042,34232,00042,343,00042,0.742

📊 Metryka oceny: ROC AUC 📈

Dla Podzadania 3, ocena odbywa się przy użyciu ROC AUC (Area Under the ROC Curve).
Jest to unikalna miara, która syntetyzuje wydajność klasyfikatora dla wszystkich możliwych progów decyzyjnych.

Jak oblicza się ROC AUC?

1. Rysuje się krzywą ROC, która przedstawia:
   • TPR (True Positive Rate) - prawidłowy wskaźnik akceptacji zatwierdzonych wniosków
   • FPR (False Positive Rate) - wskaźnik nieprawidłowo zatwierdzonych odrzuconych wniosków

2. Pole pod krzywą (AUC) oblicza się przy użyciu reguły trapezów:
   • Krzywa jest dzielona na trapezy przy użyciu linii pionowych przy wartościach FPR i linii poziomych przy wartościach TPR
   • Dodaje się pola trapezów, aby uzyskać końcową wartość AUC

3. Interpretacja wyniku:
   • ROC AUC = 1 🏆 → klasyfikator doskonały, wszystkie wnioski są klasyfikowane poprawnie
   • ROC AUC = 0.5 🎲 → klasyfikator losowy, bez mocy predykcyjnej
   • 0.5 < ROC AUC < 1 📈 → jak dobrze klasyfikator rozdziela klasy