Décembre 2025
Introduction
Le phishing constitue l'une des principales menaces en cybersécurité, exploitant des messages frauduleux pour inciter les utilisateurs à divulguer des informations sensibles ou effectuer des actions malveillantes. L'objectif de ce projet est de concevoir un modèle de machine learning capable de distinguer des messages légitimes de tentatives de phishing à partir de leur contenu textuel.
Données utilisées
Le jeu de données utilisé dans ce projet est constitué de messages courts simulant des situations réelles, tels que des communications administratives légitimes et des messages frauduleux se faisant passer pour des institutions officielles. Les messages de phishing ont été construits autour de scénarios fréquemment observés, notamment des amendes à régler, des rappels urgents ou des menaces de sanctions.
Méthodologie
L'approche adoptée repose sur une méthode de classification supervisée. Les messages ont été transformées en représentations numériques à l'aide de la vectorisation TF-IDF, permettant de capturer l'importance relative des mots au sein de chaque message. Un modèle de régression logistique a ensuite été entraîné afin de prédire la probabilité qu'un message appartienne à la classe phishing
ou légitime
.
Évaluation et interprétation
Plutôt que de se limiter à une prédiction binaire, le modèle fournit pour chaque message une probabilité associée à chacune des classes. Cette approche permet une meilleure interprétation des résultats et met en évidence les cas ambigus, situés à la frontière entre messages légitimes et frauduleux.
Résultats - analyse qualitative
Les premiers résultats montrent que le modèle identifie correctement les messages contenant des formulations d'urgence ou faisant référence à des sanctions administratives comme des tentatives de phishing. A l'inverse, les messages informatifs standards, dépourvus de pression temporelle ou de menace explicite, sont majoritairement classés comme légitimes.
Les probabilités associées à chaque classe permettent d'interpréter la décision du modèle et de mettre en évidence les caractéristiques des tentatives de phishing, notamment les formulations d'urgence et les références à des sanctions.
| Type de message | Exemple de message | Probabilité légitime | Probabilité phishing | Décision |
|---|---|---|---|---|
| Légitime | Votre taxe foncière est disponible sur votre espace personnel | 0,53 | 0,47 | Légitime |
| Phishing | Vous avez une amen@e à payé sur ANTAI, cliquer ici pour régler | 0,35 | 0,65 | Phishing |
| Phishing | Votre compte est bloqué, pour le réactiver cliquez sur le lien | 0,34 | 0,66 | Phishing |
Afin d'évaluer plus globalement les performances du modèle, une analyse quantitative est réalisée à l'aide d'une matrice de confusion.
Matrice de confusion
La matrice de confusion permet de visualiser la répartition des prédictions correctes et incorrectes, et d'identifier les principaux types d'erreurs commises par le modèle. Elle permet de comparer les classes réelles et les classes prédites par le modèle et de mettre en évidence :
- les messages correctement classés ;
- les faux positifs (légitime $ \rightarrow $ phishing) ;
- les faux négatifs (phishing $ \rightarrow $ légitime).
La matrice de confusion (ci-dessus) montre que le modèle détecte tous les messages de phishing, mais classe incorrectement une partie des messages légitimes comme phishing. Ce comportement illustre le compromis entre sensibilité et spécificité, typique des modèles de classification basés sur le texte. L'enrichissement du jeu de données permet néanmoins d'améliorer la robustesse du modèle.
Dans un contexte opérationnel, un faux positif est moins critique qu'un faux négatif, car il peut être traité manuellement, tandis qu'un phishing non détecté représente un risque direct pour l'utilisateur.