Cachování LLM odpovědí

Cílem práce je analyzovat současné přístupy ke snížení počtu placených volání LLM modelů u opakovaných diskuzí na stejné téma pomocí cachování odpovědí z jazykových modelů (LLM) a word-embeddingů s důrazem na zrychlení LLM-based aplikací a snížení provozních nákladů. Dále bude navržen a implementován vlastní přístup k cachování s využitím různých GPT modelů.