Возможности и ограничения научного использования LLM: первичный анализ данных, проблемы предвзятости и валидация

Большие языковые модели (LLM) становятся популярными среди научного сообщества, а их применение все чаще можно встретить в социогуманитарных исследованиях. Представленная обзорная статья обобщает раскрытые возможности внедрения LLM в текстовый анализ данных и систематизирует ограничения, с которыми приходится сталкиваться ученым на этом пути. Авторы обозначают наилучшие «точки входа» в исследования с помощью LLM, но наибольшее внимание уделяется проблемам предвзятости моделей, валидации (проверке) и репликации (воспроизводимости) результатов исследований, в которых использовался ИИ. В работе предлагаются несколько возможных стратегий улучшения качества работы с генеративными моделями в соответствии с процедурой триангуляции. Они включают проверку альтернативных запросов, тестирование разных выборок данных и использование связки моделей. Практика применения LLM в гуманитарных науках показывает, что при грамотной настройке они имеют потенциал к снижению временных издержек, расширяют аналитические возможности ученых и могут содействовать в выявлении скрытых закономерностей в текстовых массивах. Однако эффективность научного применения LLM напрямую зависит от исследовательской осмотрительности, выраженной в понимании границ применимости инструмента, корректности постановки задач, качества исходных данных, а также умении нормализовать неструктурированные данные. Без этих условий использование моделей рискует превратиться в симуляцию научного исследования. Статья призвана стать стартовой точкой для политологов и исследователей международных отношений, заинтересованных в качественном внедрении LLM в свою аналитическую работу.

1. Ашихмин Е.Г., Левченко В.В., Селеткова Г.И. Опыт применения больших языковых моделей для анализа количественных социологических данных [Experience in Applying Large Language Models to Analyse Quantitative Sociological Data] // Вестник университета. 2024. № 11. С. 205–215. https://doi.org/10.26425/1816-4277-2024-11-205-215.

2. Базлуцкая М.М., Сытник А.Н. Трансмедийное вовлечение: фрейм-анализ цифровой дипломатии США в России при помощи искусственного интеллекта [Transmedia Engagement: AI-Driven Frame Analysis of the U.S. Digital Diplomacy in Russia] // Россия и мир: научный диалог. 2024. № 4(14). С. 63–85. https://doi.org/10.53658/RW2024-4-4(14)-63-85.

3. Игнатьев А.Г. Этико-философские проблемы проектирования искусственного морального агента [Ethical and Philosophical Problems of Designing Artificial Moral Agent] // Этическая мысль. 2024. Т. 24. № 1. С. 87–100.

4. Коршунов А., Белобородов И., Бузун Н., Аванесов В., Пастухов Р., Чихрадзе К., Козлов И., Гомзин А., Андрианов И., Сысоев А., Ипатов С., Филоненко И., Чуприна К., Турдаков Д., Кузнецов С. Анализ социальных сетей: методы и приложения [Social Network Analysis: Methods and Applications] // Труды Института системного программирования РАН. 2014. Т. 26. № 1. С. 439–456. https://doi.org/10.15514/ISPRAS-2014-26(1)-19.

5. Соменков С.А. Искусственный интеллект: от объекта к субъекту? [Artificial Intelligence: from Object to Subject?] // Вестник университета имени О.Е.Кутафина. 2019. № 2(54). С. 75–85. https://doi.org/10.17803/2311-5998.2019.54.2.075-085.

6. Сысоев П.В., Филатов Е.М. ChatGPT в исследовательской работе студентов: запрещать или обучать? [ChatGPT in Students’ Research Work: to Forbid or to Teach?] // Вестник Тамбовского университета. Серия: Гуманитарные науки. 2023. Т. 28. № 2. С. 276–301. https://doi.org/10.20310/1810-0201-2023-28-2-276-301.

7. Baiburin A., Berezkin Yu., Gromov A., Kovalenko K., Sokolov E., Kovalyova N., Anna Moskvitina A., Shirobokov I., Stanulevich N., Utekhin I., Boitsova O. Artificial Intelligence in the Social Sciences and Humanities // Forum for Anthropology and Culture. 2024. № 20. P. 11–60. https://doi.org/10.31250/1815-8870-2024-20-20-11-60.

8. Bazlutckaia M., Sytnik A., Tsvetkov T., Punchenko P. AI-Assisted Bias Detection of US Digital Diplomacy in Russia (2009–2023): A ChatGPT Approach // International Conference on Human-Computer Interaction. Cham: Springer Nature Switzerland, 2025. P. 189–209. https://doi.org/10.1007/978-3-031-93536-7_14.

9. Bojić L., Zagovora O., Zelenkauskaite A., Vuković V., Čabarkapa M., Jerković S.V., Jovančević A. Comparing Large Language Models and Human Annotators in Latent Content Analysis of Sentiment, Political Leaning, Emotional Intensity and Sarcasm // Scientific Reports. 2025. Vol. 15(1). P. 11477. https://doi.org/10.1038/s41598-025-96508-3.

10. Braga M., Milanese G.C., Pasi G. Investigating Large Language Models’ Linguistic Abilities for Text Preprocessing // arXiv preprint arXiv:2510.11482. 13 Oct. 2025. https://doi.org/10.48550/arXiv.2510.11482.

11. Brucks M., Toubia O. Prompt Architecture Induces Methodological Artifacts in Large Language Models // PloS one. 2025. Vol. 20(4). P. e0319159. https://doi.org/10.1371/journal.pone.0319159.

12. Calderon R., Herrera F. And Plato Met ChatGPT: An Ethical Reflection on the Use of Chatbots in Scientific Research Writing, with a Particular Focus on the Social Sciences // Humanities and Social Sciences Communications. 2025. Vol. 12(1). P. 1–13. https://doi.org/10.1057/s41599-025-04650-0.

13. Chen K., He Z., Yan J., Shi T., Lerman K. How Susceptible are Large Language Models to Ideological Manipulation? // arXiv preprint arXiv:2402.11725. 18 Jun. 2024. https://doi.org/10.48550/arXiv.2402.11725.

14. Colonel J.T., Lin B. Word Clouds as Common Voices: LLM-Assisted Visualization of Participant-Weighted Themes in Qualitative Interviews // Proceedings of the Fourth Workshop on Bridging Human-Computer Interaction and Natural Language Processing (HCI+ NLP). 2025. P. 169–177. https://doi.org/10.18653/v1/2025.hcinlp-1.14.

15. De-Marcos L., Domínguez-Díaz A. LLM-Based Topic Modeling for Dark Web Q&A forums: A Comparative Analysis with Traditional Methods // IEEE Access. 2025. Vol. 13. P. 67159–67169. https://doi.org/10.1109/ACCESS.2025.3560543.

16. Fei W., Niu X., Zhou P., Hou L., Bai B., Deng L., Han W. Extending Context Window of Large Language Models Via Semantic Compression // Findings of the Association for Computational Linguistics: ACL. 2024. P. 5169–5181. https://doi.org/10.18653/v1/2024.findings-acl.306.

17. Gao Q., Feng D. Deploying large language models for discourse studies: An exploration of automated analysis of media attitudes // PloS one. 2025. Vol. 20(1). P. e0313932. https://doi.org/10.1371/journal.pone.0313932.

18. Halterman A., Keith K. A. Codebook LLMs: Evaluating LLMs as Measurement Tools for Political Science Concepts // arXiv preprint arXiv:2407.10747. 9 Jan. 2025. https://doi.org/10.48550/arXiv.2407.10747.

19. Herbst P., Baars H. Accelerating Literature Screening for Systematic Literature Reviews with Large Language Models-Development, Application, and First Evaluation of a Solution // LWDA: Learning, Knowledge, Data, Analysis. 2023. P. 41–51.

20. Jenner S.E., Raidos D., Anderson E., Fleetwood S., Ainsworth B., Fox K., Kreppner J., Barker M. Using Large Language Models for Narrative Analysis: A Novel Application of Generative AI // Methods in Psychology. 2025. Vol. 12. P. 100183. https://doi.org/10.1016/j.metip.2025.100183.

21. Karjus A. Machine-Assisted Quantitizing Designs: Augmenting Humanities and Social Sciences with Artificial Intelligence // arXiv preprint arXiv:2309.14379. 20 Oct. 2024. https://doi.org/10.48550/arXiv.2309.14379.

22. Krippendorff, K. Computing Krippendorff’s Alpha-Reliability. Philadelphia: University of Pennsylvania, 2011.

23. Kulkarni A., Alotaibi F., Zeng X., Wu L., Zeng T., Yao B.M., Liu M., Zhang Sh., Huang L., Zhou D. Scientific Hypothesis Generation and Validation: Methods, Datasets, and Future Directions // arXiv preprint arXiv:2505.04651. 6 May 2025. https://doi.org/10.48550/arXiv.2505.04651.

24. Kuribayashi T., Oseki Yo., Brassard A., Inui K. Scientific Context limitations make neural language models more human-like // arXiv preprint arXiv:2205.11463. 1 Nov. 2022. https://doi.org/10.48550/arXiv.2205.11463.

25. Li X., Tang H., Chen S., Wang Z., Chen R., Abramet M. Why Does In-Context Learning Fail Sometimes? Evaluating in-Context Learning on Open and Closed Questions // arXiv preprint arXiv:2407.02028. 2 Jul. 2024. https://doi.org/10.48550/arXiv.2407.02028.

26. Li Y. A Practical Survey on Zero-Shot Prompt Design for In-Context Learning // arXiv preprint arXiv:2309.13205. 22 Sep. 2023. https://doi.org/10.26615/978-954-452-092-2_069.

27. Liu J., Yang Ch., Yan Zh., Ma X., Peiet L. Leveraging Generative AI through Prompt Engineering for Corpus Construction and In-Depth Intelligent Interpretation of Ancient Texts // Digital Scholarship in the Humanities. 2025. Vol. 40, Issue 3. P. 846–862. https://doi.org/10.1093/llc/fqaf043.

28. Manohar K., Pillai L. G. What is Lost in Normalization? Exploring Pitfalls in Multilingual ASR Model Evaluations // Proceedings of the 2024 Conference on Empirical Methods in Natural Language Processing. 2024. P. 10864–10869. https://doi.org/10.18653/v1/2024.emnlp-main.607.

29. Piper A., Bagga S. Using Large Language Models for Understanding Narrative Discourse // Proceedings of the The 6th Workshop on Narrative Understanding. 2024. P. 37–46. https://doi.org/10.18653/v1/2024.wnu-1.4.

30. Razavi A., Soltangheis M., Arabzadeh N., Salamat S., Zihayat M., Bagheri E. Benchmarking Prompt Sensitivity in Large Language Models // European Conference on Information Retrieval. Lecture Notes in Computer Science. Cham: Springer Nature Switzerland, 2025. P. 303–313. https://doi.org/10.1007/978-3-031-88714-7_29.

31. Rueda A., Hassan M.S., Perivolaris A., Teferra B.G., Samavi R., Rambhatla S., Wu Y., Zhang Y., Cao B., Sharma D., Krishnan S., Bhatet V. Understanding LLM Scientific Reasoning through Promptings and Model’s Explanation on the Answers // arXiv preprint arXiv:2505.01482. 25 Jul. 2025. https://doi.org/10.48550/arXiv.2505.01482.

32. Sebastian R., Kottekkadan N.N., Thomas T.K., Niyas M. Generative AI Tools (ChatGPT*) in Social Science Research // Journal of Information, Communication and Ethics in Society. 2025. Vol. 23(2). P. 284–290. https://doi.org/10.1108/JICES-10-2024-0145.

33. Sun Y., Kok S. Investigating the Effects of Cognitive Biases in Prompts on Large Language Model Outputs // arXiv preprint arXiv:2506.12338. 14 Jun. 2025. https://doi.org/10.48550/arXiv.2506.12338.

34. Tao Y., Shen Q. Academic Discourse on ChatGPT in Social Sciences: A Topic Modeling and Sentiment Analysis of Research Article Abstracts // PloS one. 2025. Vol. 20(10). P. e0334331. https://doi.org/10.1371/journal.pone.0334331.

35. Törnberg P. Large Language Models Outperform Expert Coders and Supervised Classifiers at Annotating Political Social Media Messages // Social Science Computer Review. 2024. Vol. 43, Issue 6. https://doi.org/10.1177/08944393241286471.

36. Wang X., Salmani M., Omidi P., Ren X., Rezagholizadeh M., Eshaghiet A. Beyond the Limits: A Survey of Techniques to Extend the Context Length in Large Language Models // arXiv preprint arXiv:2402.02244. 29 May 2024. https://doi.org/10.48550/arXiv.2402.02244.

37. Zabaleta M., Lehman J. Simulating Tabular Datasets through LLMs to Rapidly Explore Hypotheses about Real-World Entities // arXiv preprint arXiv:2411.18071. 27 Nov. 2024. https://doi.org/10.48550/arXiv.2411.18071.