Usando análisis de sentimientos para diferenciar bots y humanos en la difusión de publicaciones científicas sobre COVID-19 en la red social X
un estudio con ChatGPT 3.5 y Gemini 1.5 Flash
DOI:
https://doi.org/10.5195/biblios.2025.1297Palabras clave:
Análisis de sentimientos, ChatGPT, Gemini, X (Twitter), BotsResumen
Objetivo. Este estudio tiene como objetivo investigar la aplicación del análisis de sentimientos para diferenciar entre cuentas automatizadas (bots) y usuarios humanos en la difusión de publicaciones científicas sobre COVID-19 en la red social X. Para ello, la investigación compara la eficacia de las herramientas de Modelos de Lenguaje de Gran Escala (LLMs), específicamente ChatGPT 3.5 y Gemini 1.5 Flash, en la clasificación de los sentimientos expresados en publicaciones sobre un artículo científico. El estudio busca comprender las diferencias de rendimiento entre estas herramientas, evaluar su eficacia en la clasificación de polaridades y identificar patrones de sentimientos que mejor distingan a los bots de los usuarios humanos en el contexto de la divulgación científica. Método. Este estudio comienza con la recopilación de una muestra de publicaciones en X que mencionaron la publicación analizada. Los posts fueron recolectados utilizando Python 3.12 y la biblioteca Beautiful Soup 4.12 en el entorno de Google Colab, lo que resultó en un conjunto de 9.792 publicaciones y 5.601 perfiles únicos. En una segunda etapa, estos perfiles fueron comparados con un conjunto de datos previamente clasificado como bot o humano. Para mejorar la confiabilidad de la clasificación, posteriormente se realizó una reclasificación manual de 41 cuentas que habían realizado más de cuatro publicaciones (tercera etapa), identificando 20 como bots y 21 como humanas. Estas cuentas generaron un total de 3.493 publicaciones, que fueron sometidas a análisis de sentimientos (cuarta etapa) utilizando las herramientas ChatGPT 3.5 y Gemini 1.5 Flash. La clasificación siguió un prompt estandarizado para categorizar los sentimientos como positivos, negativos o neutros, aplicándose en lotes de 100 publicaciones debido a las limitaciones de tokens de las herramientas. En la quinta etapa, 315 de las publicaciones analizadas fue clasificada manualmente para su validación. Resultados. El análisis de 3.493 publicaciones sobre el artículo científico en X reveló una predominancia de sentimientos negativos (92,3%), con posts neutros (6,2%) y positivos (0,6%), siendo estos últimos menos frecuentes (0,9% no fueron identificados). Las herramientas de inteligencia artificial ChatGPT 3.5 y Gemini 1.5 Flash mostraron desempeños similares al clasificar sentimientos negativos, pero surgieron divergencias en 315 publicaciones, con ChatGPT alcanzando un 85% de precisión en posts que Gemini no logró clasificar. Los bots presentaron una mayor variabilidad emocional y fueron más críticos en relación con la difusión científica, mientras que las publicaciones humanas tendieron a ser más neutras y consistentes, destacando diferencias relevantes para la detección de bots. Conclusiones. El análisis de sentimientos realizado por ChatGPT y Gemini destaca la capacidad de estas herramientas para clasificar publicaciones en redes sociales relacionadas con artículos científicos, revelando patrones distintos entre bots y cuentas humanas. Los bots tienden a generar contenidos más polarizados y predominantemente negativos, mientras que los humanos presentan una mayor diversidad de sentimientos, con un equilibrio entre publicaciones negativas, neutras y algunas positivas. Aunque ChatGPT demostró ser más eficaz en escenarios con pocos datos contextuales o metadatos para evaluar correctamente la polaridad emocional de un texto, el estudio sugiere que es necesaria un análisis más exhaustivo para refinar las herramientas y profundizar en la comprensión de las interacciones entre cuentas humanas y automatizadas.
Citas
Anwar, A., & Yaqub, U. (2020). Bot detection in Twitter landscape using unsupervised learning. In The 21st Annual International Conference on Digital Government Research 2020 (pp. 329–330). ACM. https://dl.acm.org/doi/10.1145/3396956.3401801
Arredondo, L. (2018). A study of altmetrics using sentiment analysis. Honors Capstones, 70, 1–6. https://huskiecommons.lib.niu.edu/studentengagement-honorscapstones/70/
Babur, Z., Bekdemir, U., Sen, A., Carkit, S. O., Genc, O., Gulcu, A., Gumustas, C., & Soyak, E. G. (2023). Unmasking Twitter bots: Feature engineering and machine learning for bot account identification. In Innovations in Intelligent Systems and Applications Conference, ASYU 2023 (pp. 16–21). IEEE. https://doi.org/10.1109/ASYU58738.2023.10296706
Bär, D., Calderon, F., Lawlor, M., Licklederer, S., Totzauer, M., & Feuerriegel, S. (2023). Analyzing social media activities at Bellingcat. In Proceedings of the 15th ACM Web Science Conference 2023 (pp. 163–173). ACM. https://dl.acm.org/doi/10.1145/3578503.358360
Barreto, S., Moura, R., Carvalho, J., Paes, A., & Plastino, A. (2023). Sentiment analysis in tweets: An assessment study from classical to modern word representation models. Data Mining and Knowledge Discovery, 37(1), 318–380. https://doi.org/10.1007/s10618-022-00853-0
Bello, B. S., & Heckel, R. (2019). Analyzing the behaviour of Twitter bots in post-Brexit politics. In 2019 Sixth International Conference on Social Networks Analysis, Management and Security (SNAMS) (pp. 61–66). IEEE. https://doi.org/10.1109/SNAMS.2019.8931874
Bello, B. S., Heckel, R., & Minku, L. (2018). Reverse engineering the behaviour of Twitter bots. In 2018 Fifth International Conference on Social Networks Analysis, Management and Security (SNAMS) (pp. 27–34). IEEE. https://doi.org/10.1109/SNAMS.2018.8554675
Breve, B., Caruccio, L., Cirillo, S., Deufemia, V., & Polese, G. (2024). Analyzing the worldwide perception of the Russia-Ukraine conflict through Twitter. Journal of Big Data, 11(1). https://doi.org/10.1186/s40537-024-00921-w
Buscemi, A., & Proverbio, D. (2024). ChatGPT vs Gemini vs LLaMA on multilingual sentiment analysis. arXiv, 1–11. https://doi.org/10.48550/arXiv.2402.01715
Cai, M., Luo, H., Meng, X., Cui, Y., & Wang, W. (2023). Network distribution and sentiment interaction: Information diffusion mechanisms between social bots and human users on social media. Information Processing & Management, 60(2), 103197. https://doi.org/10.1016/j.ipm.2022.103197
Çetinkaya, Y. M., Toroslu, İ. H., & Davulcu, H. (2020). Developing a Twitter bot that can join a discussion using state-of-the-art architectures. Social Network Analysis and Mining, 10(1), 1–21. https://doi.org/10.1007/s13278-020-00665-4
Chawla, V., & Kapoor, Y. (2023). A hybrid framework for bot detection on Twitter: Fusing digital DNA with BERT. Multimedia Tools and Applications, 82(20), 30831–30854. https://doi.org/10.1007/s11042-023-14730-5
Chen, H., Zhu, Z., Qi, F., Ye, Y., Liu, Z., Sun, M., & Jin, J. (2021). Country image in COVID-19 pandemic: A case study of China. IEEE Transactions on Big Data, 7(1), 81–92. https://doi.org/10.1109/TBDATA.2020.3023459
Darling, E., Shiffman, D., Côté, I., & Drew, J. (2013). The role of Twitter in the life cycle of a scientific publication. Ideas in Ecology and Evolution, 6, 32–43. https://doi.org/10.4033/iee.2013.6.6.f
Galgoczy, M. C., Phatak, A., Vinson, D., Mago, V. K., & Giabbanelli, P. J. (2022). (Re)shaping online narratives: When bots promote the message of President Trump during his first impeachment. PeerJ Computer Science, 8, 1–26. https://doi.org/10.7717/peerj-cs.947
Gatkal, S., Panjwani, D., Barhate, S., Mangla, R., & Kazi, F. (2021). Community detection and impact of bots on sentiment polarity of Twitter networks. 2021 Asian Conference on Innovation in Technology (ASIANCON 2021), 1–6. https://doi.org/10.1109/ASIANCON51346.2021.9544691
Graham, T., Bruns, A., Angus, D., Hurcombe, E., & Hames, S. (2021). #IStandWithDan versus #DictatorDan: The polarised dynamics of Twitter discussions about Victoria’s COVID-19 restrictions. Media International Australia, 179(1), 127–148. https://doi.org/10.1177/1329878X20981780
Halevi, G., & Schimming, L. (2018). An initiative to track sentiments in altmetrics. Journal of Altmetrics, 1(1), 1–7. https://doi.org/10.29024/joa.1
Hassan, S. U., Aljohani, N. R., Tarar, U. I., Safder, I., Sarwar, R., Alelyani, S., & Nawaz, R. (2023). Exploiting tweet sentiments in altmetrics large-scale data. Journal of Information Science, 49(5), 1229–1245. https://doi.org/10.1177/01655515211043713
Hassan, S. U., Saleem, A., Soroya, S. H., Safder, I., Iqbal, S., Jamil, S., Bukhari, F., Aljohani, N. R., & Nawaz, R. (2021). Sentiment analysis of tweets through Altmetrics: A machine learning approach. Journal of Information Science, 47(6), 712–726. https://doi.org/10.1177/0165551520930917
Ibrahim, M., Abdillah, O., Wicaksono, A. F., & Adriani, M. (2015). Buzzer detection and sentiment analysis for predicting presidential election results in a Twitter nation. In 2015 IEEE International Conference on Data Mining Workshop (ICDMW) (pp. 1348–1353). IEEE. https://doi.org/10.1109/ICDMW.2015.113
Inuwa-Dutse, I., Bello, B. S., & Korkontzelos, I. (2018). Lexical analysis of automated accounts on Twitter. In Proceedings of the International Conferences on WWW/Internet 2018 and Applied Computing 2018 (pp. 75–82). https://doi.org/10.48550/arXiv.1812.07947
Kraaijeveld, O., & De Smedt, J. (2020). The predictive power of public Twitter sentiment for forecasting cryptocurrency prices. Journal of International Financial Markets, Institutions and Money, 65, 101188. https://doi.org/10.1016/j.intfin.2020.101188
Kudugunta, S., & Ferrara, E. (2018). Deep neural networks for bot detection. Information Sciences, 467, 312–322. https://doi.org/10.1016/j.ins.2018.08.019
Liu, H., Chatterjee, I., Zhou, M., Lu, X. S., & Abusorrah, A. (2020). Aspect-based sentiment analysis: A survey of deep learning methods. IEEE Transactions on Computational Social Systems, 7(6), 1358–1375. https://doi.org/10.1109/TCSS.2020.3033302
Liu, X. (2019). A big data approach to examining social bots on Twitter. Journal of Services Marketing, 33(4), 369–379. https://doi.org/10.1108/JSM-02-2018-0049
Mouronte-López, M. L., Gómez Sánchez-Seco, J., & Benito, R. M. (2024). Patterns of human and bots behaviour on Twitter conversations about sustainability. Scientific Reports, 14(1), 1–14. https://doi.org/10.1038/s41598-024-52471-z
Mustafaraj, E., & Metaxas, P. T. (2011). What edited retweets reveal about online political discourse. In Proceedings of the 5th AAAI Conference on Analyzing Microtext 2011 (pp. 38–43). AAAI Press. https://dl.acm.org/doi/10.5555/2908630.2908637
Pastor-Galindo, J., Zago, M., Nespoli, P., Bernal, S. L., Celdran, A. H., Perez, M. G., Ruiperez-Valiente, J. A., Perez, G. M., & Marmol, F. G. (2020). Spotting political social bots in Twitter: A use case of the 2019 Spanish general election. IEEE Transactions on Network and Service Management, 17(4), 2156–2170. https://doi.org/10.1109/TNSM.2020.3031573
Pontes, D., & Maricato, J. (2023a). Dataset with classification of accounts that disclose scientific articles on Twitter between bot, human and cyborg through Botometer [Dataset]. Zenodo. https://zenodo.org/records/8137161
Pontes, D., & Maricato, J. (2023b). Classificação de contas do Twitter através do Botometer. In Encontro Nacional de Pesquisa em Informação 2023, Aracaju, SE. Anais [...]. Aracaju, SE. https://enancib.ancib.org/index.php/enancib/xxxiiienancib/paper/view/1957
Rane, N., Choudhary, S., & Rane, J. (2024). Gemini versus ChatGPT: Applications, performance, architecture, capabilities, and implementation. Journal of Applied Artificial Intelligence, 5(1), 69–93. https://doi.org/10.48185/jaai.v5i1.1052
Silva, M. E. M., & Serrano, P. H. S. M. (2023). Análise de sentimentos em textos de redes sociais: Uma comparação entre o ChatGPT e métodos tradicionais. https://doi.org/10.5902/2316882X84828
Suarez-Lledo, V., & Alvarez-Galvez, J. (2022). Assessing the role of social bots during the COVID-19 pandemic: Infodemic, disagreement, and criticism. Journal of Medical Internet Research, 24(8), 1–12. https://doi.org/10.2196/36085
Tavazoee, F., Buscaldi, D., Mola, F., & Conversano, C. (2020). Empowering detection of malicious social bots and content spammers on Twitter by sentiment analysis. Electronic Journal of Applied Statistical Analysis, 13(2), 375–389. https://doi.org/10.1285/i20705948v13n2p375
Uyheng, J., & Carley, K. M. (2020). Bot impacts on public sentiment and community structures: Comparative analysis of three elections in the Asia-Pacific. In Lecture Notes in Computer Science (Vol. 12268, pp. 12–22). Springer. https://doi.org/10.1007/978-3-030-61255-9_2
Varol, O., Ferrara, E., Davis, C. A., Menczer, F., & Flammini, A. (2017). Online human-bot interactions: Detection, estimation, and characterization. Proceedings of the 11th International Conference on Web and Social Media (ICWSM 2017), 280–289. https://doi.org/10.1609/icwsm.v11i1.14871
Velayutham, T., & Tiwari, P. K. (2017). Bot identification: Helping analysts for right data in Twitter. In 2017 3rd International Conference on Advances in Computing, Communication & Automation (ICACCA) (Fall) (pp. 1–5). IEEE. https://doi.org/10.1109/ICACCAF.2017.8344722
Wu, J., Teng, E., & Cao, Z. (2022). Twitter bot detection through unsupervised machine learning. In Proceedings - 2022 IEEE International Conference on Big Data (Big Data 2022) (pp. 5833–5839). IEEE. https://doi.org/10.1109/BigData55660.2022.10020983
Yousefinaghani, S., Dara, R., Mubareka, S., Papadopoulos, A., & Sharif, S. (2021). An analysis of COVID-19 vaccine sentiments and opinions on Twitter. International Journal of Infectious Diseases, 108, 256–262. https://pubmed.ncbi.nlm.nih.gov/34052407/
Zhang, L., Gou, Z., Fang, Z., Sivertsen, G., & Huang, Y. (2023). Who tweets scientific publications? A large-scale study of tweeting audiences in all areas of research. Journal of the Association for Information Science and Technology, 74(13), 1485–1497. https://doi.org/10.1002/asi.24830
Descargas
Publicado
Cómo citar
Número
Sección
Licencia
Derechos de autor 2025 Danielle Pompeu Noronha Pontes, João de Melo Maricato
Esta obra está bajo una licencia internacional Creative Commons Atribución 4.0.
Los autores que publican en esta revista están de acuerdo en los siguientes términos:
- El Autor retiene los Derechos sobre su Obra, donde el término "Obra" incluirá todos los objetos digitales que pueden resultar de la publicación electrónica posterior y/o distribución.
- Una vez aceptada la Obra, el Autor concede a la Editorial el derecho de la primera publicación de la Obra.
- Además el Autor le concederá a la Editorial y sus agentes el derecho permanente no exclusivo y licencia para publicar, archivar y hacer accesible la obra en su totalidad o en parte, en todas las formas de los medios ahora conocidos o en el futuro, bajo una Licencia Creative Commons de Reconocimiento 4.0 Internacional o su equivalente que, para evitar cualquier duda, permite a otros copiar, distribuir y comunicar públicamente la obra bajo la condición siguiente:
Reconocimiento - otros usuarios deben reconocer los créditos de la Obra de la manera especificada por el Autor o como se indica en el sitio web de la revista;
Entendido de que esta condición pueda ser modificada con permiso del Autor y que, cuando la Obra o cualquiera de sus elementos se halle en el dominio público según la legislación aplicable, que su estatus no esté en absoluto afectado por la licencia. - El Autor es capaz de entrar en acuerdos contractuales independientes, adicionales para la distribución no exclusiva de la versión de la Obra publicada en la revista (por ejemplo, publicarla en un repositorio institucional o publicarla en un libro) siempre y cuando se proporcione en el documento un reconocimiento de su publicación inicial en esta revista científica.
- A los Autores se les permite y apoya a publicar en línea un manuscrito previo (pero no la versión final de la Obra formateada en PDF para la Editorial), en repositorios institucionales o en sus páginas web, antes y durante el proceso de envío, ya que puede dar lugar a intercambios productivos, y a una citación más temprana del trabajo publicado. Dicha Obra después de su aceptación y publicación se deberá actualizar, incluyendo la referencia DOI (Digital Object Identifier) asignada por la Editorial y el enlace al resumen en línea de la versión final publicada en la revista.
- A petición de la Editorial, el Autor se compromete a comunicar y presentar oportunamente al Editor, por cuenta del mismo, las pruebas escritas de los permisos, licencias y autorizaciones para el uso de material de terceros incluido en la Obra, excepto lo determinado por la Editorial a cubrirse por los principios de uso justo.
- El Autor declara y garantiza que:
a. La Obra es un trabajo original del Autor;
b. El Autor no ha transferido y no transferirá, los derechos exclusivos sobre la Obra a un tercero;
c. La Obra no está en evaluación en otra revista científica;
d. La Obra no fue publicada en otra revista científica;
e. La Obra no contiene ninguna tergiversación o infracción al trabajo propiedad de otros autores o terceros, y
f. La Obra no contiene ninguna difamación, invasión de la privacidad, o cualquier otro asunto ilegal. - El Autor se compromete a indemnizar y eximir a la Editorial del incumplimiento por parte del Autor de las declaraciones y garantías contenidas en el párrafo 7 anterior, así como de cualquier reclamación o procedimiento relacionado con el uso y la publicación de la Editorial de cualquier contenido de la Obra, incluido el contenido de terceros.
