Usando análise de sentimentos para diferenciar bots e humanos na divulgação de publicações científicas sobre COVID-19 na mídia social X
um estudo com ChatGPT 3.5 e Gemini 1.5 Flash
DOI:
https://doi.org/10.5195/biblios.2025.1297Palavras-chave:
Análise de sentimentos, ChatGPT, Gemini, X (Twitter), BotsResumo
Objetivo. O estudo tem como objetivo investigar a aplicação da análise de sentimentos para diferenciar contas automatizadas (bots) e humanas na divulgação de publicações científicas sobre COVID-19 na rede social X. Para isso, a pesquisa compara a eficácia das ferramentas de Large Language Models (LLMs) ChatGPT 3.5 e Gemini 1.5 Flash na análise de sentimento, através da classificação de polaridade, expressos em postagens sobre um artigo científico. O estudo busca compreender as diferenças de desempenho entre essas ferramentas, avaliar sua eficácia na tarefa de classificação de polaridades e identificar padrões de sentimentos que melhor distinguem bots de usuários humanos no contexto da disseminação científica. Método. Este estudo inicia com a coleta de uma amostra de postagens do X que fizeram menção à publicação estudada. Os posts foram coletados usando Python 3.12, a biblioteca Beautiful Soup 4.12 no ambiente Google Colab, resultando em um conjunto de 9.792 postagens e 5.601 perfis únicos. Em uma segunda etapa, esses perfis foram confrontados com um dataset previamente classificado como bot ou humano. Para aprimorar a confiabilidade da classificação, posteriormente foi realizada uma reclassificação manual de 41 contas que haviam feito mais de quatro postagens (terceira etapa), identificando 20 como bots e 21 como humanas. Essas contas geraram um total de 3.493 postagens, que foram submetidas à classificação de polaridade dos sentimentos (quarta etapa) utilizando as ferramentas ChatGPT 3.5 e Gemini 1.5 Flash. A classificação seguiu um prompt padronizado para categorizar os sentimentos como positivo, negativo ou neutro, sendo aplicada em lotes de 100 postagens devido às limitações de tokens das ferramentas. Na quinta etapa, 315 postagens analisadas foram classificadas manualmente. Resultados. A análise de 3.493 postagens sobre o artigo científico no X revelou uma predominância de sentimentos negativos (92,3%), com posts neutros (6,2%) e positivos (0,6%) sendo menos frequentes (0,9 não foram identificados). As ferramentas de inteligência artificial ChatGPT 3.5 e Gemini 1.5 Flash mostraram desempenhos semelhantes ao classificar sentimentos negativos, mas divergências surgiram em 315 postagens, com ChatGPT atingindo 85% de precisão em posts que o Gemini não conseguiu classificar. Bots apresentaram uma maior variabilidade emocional e foram mais críticos em relação à divulgação científica, enquanto as postagens humanas tenderam a ser mais neutras e consistentes, destacando diferenças relevantes para a detecção de bots. Conclusões. A análise de sentimentos realizada por ChatGPT e Gemini destaca a capacidade dessas ferramentas de classificar postagens em redes sociais relacionadas a artigos científicos, revelando padrões distintos entre bots e contas humanas. Os bots tendem a gerar conteúdos mais polarizados e predominantemente negativos, enquanto os humanos apresentam uma diversidade maior de sentimentos, com um equilíbrio entre postagens negativas, neutras e algumas positivas. Embora o ChatGPT tenha se mostrado mais eficaz em cenários com poucos dados contextuais ou metadados para avaliar corretamente a polaridade emocional de um texto, o estudo sugere que uma análise mais abrangente é necessária para refinar as ferramentas e aprofundar a compreensão das interações entre contas humanas e contas robotizadas.
Referências
Anwar, A., & Yaqub, U. (2020). Bot detection in Twitter landscape using unsupervised learning. In The 21st Annual International Conference on Digital Government Research 2020 (pp. 329–330). ACM. https://dl.acm.org/doi/10.1145/3396956.3401801
Arredondo, L. (2018). A study of altmetrics using sentiment analysis. Honors Capstones, 70, 1–6. https://huskiecommons.lib.niu.edu/studentengagement-honorscapstones/70/
Babur, Z., Bekdemir, U., Sen, A., Carkit, S. O., Genc, O., Gulcu, A., Gumustas, C., & Soyak, E. G. (2023). Unmasking Twitter bots: Feature engineering and machine learning for bot account identification. In Innovations in Intelligent Systems and Applications Conference, ASYU 2023 (pp. 16–21). IEEE. https://doi.org/10.1109/ASYU58738.2023.10296706
Bär, D., Calderon, F., Lawlor, M., Licklederer, S., Totzauer, M., & Feuerriegel, S. (2023). Analyzing social media activities at Bellingcat. In Proceedings of the 15th ACM Web Science Conference 2023 (pp. 163–173). ACM. https://dl.acm.org/doi/10.1145/3578503.358360
Barreto, S., Moura, R., Carvalho, J., Paes, A., & Plastino, A. (2023). Sentiment analysis in tweets: An assessment study from classical to modern word representation models. Data Mining and Knowledge Discovery, 37(1), 318–380. https://doi.org/10.1007/s10618-022-00853-0
Bello, B. S., & Heckel, R. (2019). Analyzing the behaviour of Twitter bots in post-Brexit politics. In 2019 Sixth International Conference on Social Networks Analysis, Management and Security (SNAMS) (pp. 61–66). IEEE. https://doi.org/10.1109/SNAMS.2019.8931874
Bello, B. S., Heckel, R., & Minku, L. (2018). Reverse engineering the behaviour of Twitter bots. In 2018 Fifth International Conference on Social Networks Analysis, Management and Security (SNAMS) (pp. 27–34). IEEE. https://doi.org/10.1109/SNAMS.2018.8554675
Breve, B., Caruccio, L., Cirillo, S., Deufemia, V., & Polese, G. (2024). Analyzing the worldwide perception of the Russia-Ukraine conflict through Twitter. Journal of Big Data, 11(1). https://doi.org/10.1186/s40537-024-00921-w
Buscemi, A., & Proverbio, D. (2024). ChatGPT vs Gemini vs LLaMA on multilingual sentiment analysis. arXiv, 1–11. https://doi.org/10.48550/arXiv.2402.01715
Cai, M., Luo, H., Meng, X., Cui, Y., & Wang, W. (2023). Network distribution and sentiment interaction: Information diffusion mechanisms between social bots and human users on social media. Information Processing & Management, 60(2), 103197. https://doi.org/10.1016/j.ipm.2022.103197
Çetinkaya, Y. M., Toroslu, İ. H., & Davulcu, H. (2020). Developing a Twitter bot that can join a discussion using state-of-the-art architectures. Social Network Analysis and Mining, 10(1), 1–21. https://doi.org/10.1007/s13278-020-00665-4
Chawla, V., & Kapoor, Y. (2023). A hybrid framework for bot detection on Twitter: Fusing digital DNA with BERT. Multimedia Tools and Applications, 82(20), 30831–30854. https://doi.org/10.1007/s11042-023-14730-5
Chen, H., Zhu, Z., Qi, F., Ye, Y., Liu, Z., Sun, M., & Jin, J. (2021). Country image in COVID-19 pandemic: A case study of China. IEEE Transactions on Big Data, 7(1), 81–92. https://doi.org/10.1109/TBDATA.2020.3023459
Darling, E., Shiffman, D., Côté, I., & Drew, J. (2013). The role of Twitter in the life cycle of a scientific publication. Ideas in Ecology and Evolution, 6, 32–43. https://doi.org/10.4033/iee.2013.6.6.f
Galgoczy, M. C., Phatak, A., Vinson, D., Mago, V. K., & Giabbanelli, P. J. (2022). (Re)shaping online narratives: When bots promote the message of President Trump during his first impeachment. PeerJ Computer Science, 8, 1–26. https://doi.org/10.7717/peerj-cs.947
Gatkal, S., Panjwani, D., Barhate, S., Mangla, R., & Kazi, F. (2021). Community detection and impact of bots on sentiment polarity of Twitter networks. 2021 Asian Conference on Innovation in Technology (ASIANCON 2021), 1–6. https://doi.org/10.1109/ASIANCON51346.2021.9544691
Graham, T., Bruns, A., Angus, D., Hurcombe, E., & Hames, S. (2021). #IStandWithDan versus #DictatorDan: The polarised dynamics of Twitter discussions about Victoria’s COVID-19 restrictions. Media International Australia, 179(1), 127–148. https://doi.org/10.1177/1329878X20981780
Halevi, G., & Schimming, L. (2018). An initiative to track sentiments in altmetrics. Journal of Altmetrics, 1(1), 1–7. https://doi.org/10.29024/joa.1
Hassan, S. U., Aljohani, N. R., Tarar, U. I., Safder, I., Sarwar, R., Alelyani, S., & Nawaz, R. (2023). Exploiting tweet sentiments in altmetrics large-scale data. Journal of Information Science, 49(5), 1229–1245. https://doi.org/10.1177/01655515211043713
Hassan, S. U., Saleem, A., Soroya, S. H., Safder, I., Iqbal, S., Jamil, S., Bukhari, F., Aljohani, N. R., & Nawaz, R. (2021). Sentiment analysis of tweets through Altmetrics: A machine learning approach. Journal of Information Science, 47(6), 712–726. https://doi.org/10.1177/0165551520930917
Ibrahim, M., Abdillah, O., Wicaksono, A. F., & Adriani, M. (2015). Buzzer detection and sentiment analysis for predicting presidential election results in a Twitter nation. In 2015 IEEE International Conference on Data Mining Workshop (ICDMW) (pp. 1348–1353). IEEE. https://doi.org/10.1109/ICDMW.2015.113
Inuwa-Dutse, I., Bello, B. S., & Korkontzelos, I. (2018). Lexical analysis of automated accounts on Twitter. In Proceedings of the International Conferences on WWW/Internet 2018 and Applied Computing 2018 (pp. 75–82). https://doi.org/10.48550/arXiv.1812.07947
Kraaijeveld, O., & De Smedt, J. (2020). The predictive power of public Twitter sentiment for forecasting cryptocurrency prices. Journal of International Financial Markets, Institutions and Money, 65, 101188. https://doi.org/10.1016/j.intfin.2020.101188
Kudugunta, S., & Ferrara, E. (2018). Deep neural networks for bot detection. Information Sciences, 467, 312–322. https://doi.org/10.1016/j.ins.2018.08.019
Liu, H., Chatterjee, I., Zhou, M., Lu, X. S., & Abusorrah, A. (2020). Aspect-based sentiment analysis: A survey of deep learning methods. IEEE Transactions on Computational Social Systems, 7(6), 1358–1375. https://doi.org/10.1109/TCSS.2020.3033302
Liu, X. (2019). A big data approach to examining social bots on Twitter. Journal of Services Marketing, 33(4), 369–379. https://doi.org/10.1108/JSM-02-2018-0049
Mouronte-López, M. L., Gómez Sánchez-Seco, J., & Benito, R. M. (2024). Patterns of human and bots behaviour on Twitter conversations about sustainability. Scientific Reports, 14(1), 1–14. https://doi.org/10.1038/s41598-024-52471-z
Mustafaraj, E., & Metaxas, P. T. (2011). What edited retweets reveal about online political discourse. In Proceedings of the 5th AAAI Conference on Analyzing Microtext 2011 (pp. 38–43). AAAI Press. https://dl.acm.org/doi/10.5555/2908630.2908637
Pastor-Galindo, J., Zago, M., Nespoli, P., Bernal, S. L., Celdran, A. H., Perez, M. G., Ruiperez-Valiente, J. A., Perez, G. M., & Marmol, F. G. (2020). Spotting political social bots in Twitter: A use case of the 2019 Spanish general election. IEEE Transactions on Network and Service Management, 17(4), 2156–2170. https://doi.org/10.1109/TNSM.2020.3031573
Pontes, D., & Maricato, J. (2023a). Dataset with classification of accounts that disclose scientific articles on Twitter between bot, human and cyborg through Botometer [Dataset]. Zenodo. https://zenodo.org/records/8137161
Pontes, D., & Maricato, J. (2023b). Classificação de contas do Twitter através do Botometer. In Encontro Nacional de Pesquisa em Informação 2023, Aracaju, SE. Anais [...]. Aracaju, SE. https://enancib.ancib.org/index.php/enancib/xxxiiienancib/paper/view/1957
Rane, N., Choudhary, S., & Rane, J. (2024). Gemini versus ChatGPT: Applications, performance, architecture, capabilities, and implementation. Journal of Applied Artificial Intelligence, 5(1), 69–93. https://doi.org/10.48185/jaai.v5i1.1052
Silva, M. E. M., & Serrano, P. H. S. M. (2023). Análise de sentimentos em textos de redes sociais: Uma comparação entre o ChatGPT e métodos tradicionais. https://doi.org/10.5902/2316882X84828
Suarez-Lledo, V., & Alvarez-Galvez, J. (2022). Assessing the role of social bots during the COVID-19 pandemic: Infodemic, disagreement, and criticism. Journal of Medical Internet Research, 24(8), 1–12. https://doi.org/10.2196/36085
Tavazoee, F., Buscaldi, D., Mola, F., & Conversano, C. (2020). Empowering detection of malicious social bots and content spammers on Twitter by sentiment analysis. Electronic Journal of Applied Statistical Analysis, 13(2), 375–389. https://doi.org/10.1285/i20705948v13n2p375
Uyheng, J., & Carley, K. M. (2020). Bot impacts on public sentiment and community structures: Comparative analysis of three elections in the Asia-Pacific. In Lecture Notes in Computer Science (Vol. 12268, pp. 12–22). Springer. https://doi.org/10.1007/978-3-030-61255-9_2
Varol, O., Ferrara, E., Davis, C. A., Menczer, F., & Flammini, A. (2017). Online human-bot interactions: Detection, estimation, and characterization. Proceedings of the 11th International Conference on Web and Social Media (ICWSM 2017), 280–289. https://doi.org/10.1609/icwsm.v11i1.14871
Velayutham, T., & Tiwari, P. K. (2017). Bot identification: Helping analysts for right data in Twitter. In 2017 3rd International Conference on Advances in Computing, Communication & Automation (ICACCA) (Fall) (pp. 1–5). IEEE. https://doi.org/10.1109/ICACCAF.2017.8344722
Wu, J., Teng, E., & Cao, Z. (2022). Twitter bot detection through unsupervised machine learning. In Proceedings - 2022 IEEE International Conference on Big Data (Big Data 2022) (pp. 5833–5839). IEEE. https://doi.org/10.1109/BigData55660.2022.10020983
Yousefinaghani, S., Dara, R., Mubareka, S., Papadopoulos, A., & Sharif, S. (2021). An analysis of COVID-19 vaccine sentiments and opinions on Twitter. International Journal of Infectious Diseases, 108, 256–262. https://pubmed.ncbi.nlm.nih.gov/34052407/
Zhang, L., Gou, Z., Fang, Z., Sivertsen, G., & Huang, Y. (2023). Who tweets scientific publications? A large-scale study of tweeting audiences in all areas of research. Journal of the Association for Information Science and Technology, 74(13), 1485–1497. https://doi.org/10.1002/asi.24830
Downloads
Publicado
Como Citar
Edição
Seção
Licença
Copyright (c) 2025 Danielle Pompeu Noronha Pontes, João de Melo Maricato
Este trabalho está licenciado sob uma licença Creative Commons Attribution 4.0 International License.
Os autores que publicam neste periódico estão de acordo nos seguintes termos:
- O Autor retém o Direito sobre a sua Obra, onde o termo "Obra" incluirá todos os objetos digitais que podem resultar da publicação eletrônica posterior e/ou distribuição.
- Uma vez aceitada a Obra, o Autor concede à Editorial o direito da primeira publicação da Obra.
- O Autor lhe concederá à Editorial e seus agentes o direito permanente não exclusivo e licença para publicar, arquivar e fazer acessível a Obra em sua totalidade ou em parte, em todas as formas e os meios agora conhecidos ou no futuro, mediante uma Licença Creative Commons Atribuição 4.0 Internacional ou seu equivalente que, para evitar qualquer dúvida, permite a outros copiar, distribuir e comunicar publicamente a Obra nas condições seguintes: Atribuição - outros usuários devem reconhecer a Obra da forma especificada pelo Autor ou como se indica no lugar web do periódico científico; Entendendo que esta condição possa ser modificada com a licença do Autor e que, quando a Obra ou qualquer de seus elementos se ache no domínio público segundo a legislação aplicável, que seu status não esteja em absoluto afetado pela licença.
- O Autor é capaz de entrar em acordos contratuais independentes, adicionais para a distribuição não exclusiva da versão da Obra publicada no periódico científico (por exemplo, publicá-la num repositório institucional ou publicá-la num livro) sempre que se proporcione no documento um reconhecimento de sua publicação inicial neste periódico científico.
- Os Autores estão autorizados e tem o apoio para publicar em linha um manuscrito antes da sua publicação (mas não a versão final da Obra formatada em PDF para a Editorial) em repositórios institucionais ou em seu sitio, antes e durante o processo de envio, já que pode dar lugar a intercâmbios produtivos, e a uma citação primigênia maior do trabalho publicado (ver o efeito do acesso aberto). Dita Obra depois de sua aceitação e publicação se deverá atualizar, incluindo a referência DOI (Digital Object Identifier) atribuída pela Editorial e o vínculo ao resumo em linha da versão final publicada no periódico.
- A petição da Editorial, o Autor se compromete a comunicar e apresentar oportunamente ao Editor, e por conta dele, as provas escritas das permissões, licenças e autorizações para o uso de material de terceiros incluso na Obra, exceto o determinado pela Editorial a cobrir-se pelos princípios de uso justo.
- O Autor declara e garante que:
a. A Obra é um trabalho original do Autor;
b. O Autor não transferiu e não transferirá, os direitos exclusivos sobre a Obra para um terceiro;
c. A Obra não está em avaliação em outro periódico científico;
d. A Obra não foi publicada em outro periódico científico;
e. A Obra não contém nenhuma tergiversação ou infração ao trabalho propriedade de outros autores ou terceiros, e
f. A Obra não contém nenhuma difamação, invasão da privacidade, ou qualquer outro assunto ilegal. - O Autor se compromete a indenizar e eximir à Editorial se não cumprir com as declarações e garantias contidas no parágrafo 7 anterior, assim como de qualquer reclamação ou procedimento relacionado com o uso e a publicação da Editorial de qualquer conteúdo da Obra, incluído o conteúdo de terceiros.
