Comparación de algoritmos de machine learning para clasificar opiniones de usuarios acerca de publicaciones hechas por bancos de Perú sobre phishing

Abstract

A nivel mundial el phishing en los últimos años se ha incrementado y el Perú no fue una excepción. Debido a la pandemia del Covid-19 se registró un aumento considerable de este tipo de ciberataques llamado phishing; entre los motivos de su crecimiento se encuentra la cuarentena. Este tipo de ataques suele afectar de manera negativa a los usuarios de internet y mucho más a las empresas, siendo uno de los ataques más frecuentes el phishing. Por ejemplo, en las noticias como en redes sociales se puede observar cómo los bancos o plataformas de pago advierten a sus usuarios sobre estos ataques para que estén atentos, al igual que se puede observar el malestar de los usuarios cuando publican o comentan en las redes sociales que han sido víctima de dichos ataques. Por este motivo, este trabajo busca identificar de manera correcta las opiniones de las personas acerca de publicaciones hechas por bancos de Perú sobre phishing, clasificando su opinión como positiva o negativa. Se utiliza procesamiento de lenguaje natural (PLN) y análisis de sentimiento para procesar el texto, con los algoritmos de Naive Bayes, Random Forest y Support Vector Machine (SVM) en el caso de machine learning y con el transformador BERT en el caso de deep learning, con el fin de conocer cuál de los cuatro algoritmos tiene mejores resultados. La metodología usada consiste en 5 pasos desde la búsqueda y creación del dataset, pasando por la etapa de preprocesamiento, entrenamiento, pruebas y finalizando en la evaluación de los resultados. De los cuatro algoritmos, BERT obtuvo el mejor resultado con una exactitud de 86.90% seguido de Naive Bayes que fue el que obtuvo un mejor resultado en la validación cruzada con 79.62% de exactitud y en la etapa de prueba con 86% de exactitud entre los tres algoritmos de machine learning. Además, los resultados obtenidos muestran que los tres algoritmos de machine learning tienen un desempeño similar

Phishing in recent years has increased and this year was no exception. Due to the pandemic, there was a considerable increase in this type of cyber-attacks; among the reasons for its growth is the quarantine. This type of attack usually has a negative impact on Internet users and even more so on companies, with phishing being one of the most frequent attacks. For example, in the news and on social networks it can be observed how banks or payment platforms warn their users about these attacks so that they can be alert, as can be observed the discomfort of users when they post or comment on social media that they have been victims of such attacks. For this reason, this work seeks to correctly identify people's opinions about publications made by banks in Peru about phishing, classifying their opinion as positive or negative. Natural language processing (PLN) and sentiment analysis are used to process the text, with the Naive Bayes, Random Forest and Support Vector Machine (SVM) algorithms in the case of machine learning and with the BERT transformer in the case of deep learning, in order to know which of the four algorithms has better results. The methodology used consists of 5 steps from the search and creation of the dataset, through the preprocessing stage, training, testing, and ending with the evaluation of the results. Of the four algorithms, BERT obtained the best result with an accuracy of 86.90% followed by Naive Bayes which obtained the best result in the cross validation with 79.62% accuracy and in the testing stage with 86% accuracy among the three machine learning algorithms. In addition, the results obtained show that the three machine learning algorithms have similar performance.