Галюцинації у великих мовних моделях
Loading...
Date
2024
Authors
Джос, Олексій
Journal Title
Journal ISSN
Volume Title
Publisher
Національний університет "Києво-Могилянська академія"
Abstract
Матеріали доповiді учасника 15 міжнародної науково-практичної конференції "Теоретичні та прикладні аспекти побудови програмних систем", Київ, 23-24 грудня 2024 р.
Description
This work was created to talk about such effects in large language models as hallucinations and limited thinking. In the course of this paper, we will consider a Large Language Model without any specific architecture, learning algorithms, training data, or other implementation details - the only important thing is that it is computationally efficient. We look at the formal world of computational functions, on the basis of which computational Big Language Models are analysed, with the fundamental conclusion that they all hallucinate irreducibly. To prove this hypothesis, we will prove three theorems based on diagnostic arguments. The rest of the paper also discusses empirical studies based on modern models that support the theoretical arguments about the existence of limited thinking and hallucinations.
Keywords
мовна модель, формальний світ, обчислювана функція базової істини, матеріали конференції
Citation
Джос О. К. Галюцинації у великих мовних моделях / Джос О. К. // Теоретичні та прикладні аспекти побудови програмних систем : працi 15 міжнародної науково-практичної конференції, Київ, 23-24 грудня 2024 р. / [за заг. ред.: М. М. Глибовця, Т. В. Панченка та iн. ; Факультет інформатики Національного університету "Києво-Могилянська академія" та ін.]. - Київ : НаУКМА, 2024. - C. 46-48.