Выбор темы выпускной квалификационной работы

1.

Выбор темы выпускной
квалификационной работы
Автор: Солопов Д. Д.

2.

Рассматриваемые тематики
2

3.

Формулировка темы ВКР
Исследование проблем прикладного использования
мультиагентных систем на базе больших языковых
моделей в дополненной реальности
3

4.

Характеристики выбранной темы ВКР
1. Рост популярности использования LLM.
2. Развитие технологий дополненной и виртуальной реальности.
3. Растёт популярность мультиагентных систем с LLM и решений,
помогающих в их разработке (AutoGen).
4

5.

Характеристики выбранной темы ВКР
Целью исследования является выявление и анализ проблем,
связанных с применением мультиагентных систем, основанных на
больших языковых моделях, в контексте дополненной реальности,
а также предложение решений по оптимизации их использования.
5

6.

Характеристики выбранной темы ВКР
Задачи исследования:
1. Обзор существующих решений.
2. Исследование возможностей и сценариев интеграции
мультиагентной системы в AR.
3. Анализ потенциальных проблем и ограничений.
4. Разработка инструментов для управления LLM-агентами.
5. Разработка методов и подходов для улучшения работы агентов.
6. Оценка предложенных решений и их влияния на
производительность.
7. Выработка рекомендаций
6

7.

Характеристики выбранной темы ВКР
Объектом данного исследования выступают мультиагентные
системы, которые используют большие языковые модели в
качестве агентот и/или позволяют использовать в качестве
агентов обученные модели.
Object
Предметом исследования выступают особенности и проблемы
применения таких мультиагентных систем в контексте
дополненной реальности.
Subject
7

8.

Характеристики выбранной темы ВКР
Научная гипотеза:
Применение мультиагентных систем на основе языковых моделей
в контексте дополненной реальности требует решения ряда
проблем, связанных с интеграцией, точностью и эффективностью
работы таких систем.
Для решения этих проблем необходимо разработать и внедрить
оптимальные методы и подходы, а также провести оценку их
эффективности и влияния на качество работы системы в целом.
8

9.

Характеристики выбранной темы ВКР
Ожидаемые результаты:
1. Сценарий интеграции мультиагентов в дополненную
реальность.
2. Библиотека для управления LLM-агентами.
3. Конвейер дообучения LLM-агентов.
4. Веб-приложения управления агентами и моделями.
5. Мобильное приложение для осуществления взаимодействия
пользователя с агентами через дополненную реальность.
6. Список рекомендаций по интеграции агентов в дополненную
реальность и архитектурные рекомендации.
9

10.

План-график работ
10

11.

Состояние вопроса
1. Отсутствие русскоязычных статей на scopus, researchgate,
elibrary.
2. Малое количество статей на arxiv и researchgate.
3. Активно развивающееся направление, все найденные статьи
довольно свежие (только одна статья 2020 г. остальные были
написаны позднее).
4. Дефицит информации в русскоязычных источниках.
11

12.

Библиографический список
1.
Li X., Tian Y., Zhang F., Quan S., Xu Y. Object Detection in the Context of Mobile Augmented Reality, 15.08.2020. URL:
http://arxiv.org/pdf/2008.06655v1.
2.
Gu Y., Shu Y., Yu H., Liu X., Dong Y., Tang J., Srinivasa J., Latapie H., Su Y. Middleware for LLMs: Tools Are Instrumental for
Language Agents in Complex Environments, 23.02.2024. 16 c. URL: http://arxiv.org/pdf/2402.14672v1.
3.
Wang C., Liu S. X., Awadallah A. H. Cost-Effective Hyperparameter Optimization for Large Language Model Generation
Inference, 08.03.2023. URL: http://arxiv.org/pdf/2303.04673v2.
4.
Xu F., Nguyen T., Du Jing. Augmented Reality for Maintenance Tasks with ChatGPT for Automated Text-to-Action, 07.07.2023.
36 c. URL: http://arxiv.org/pdf/2307.03351v1.
5.
Wu Q., Bansal G., Zhang J., Wu Y., Li B., Zhu E., Jiang L., Zhang X., Zhang S., Liu J., Awadallah A. H., White R. W., Burger D., Wang
C. AutoGen: Enabling Next-Gen LLM Applications via Multi-Agent Conversation, 16.08.2023. 43 c. URL:
http://arxiv.org/pdf/2308.08155v2.
6.
Wang Y., Wu Z., Yao J., Su J. TDAG: A Multi-Agent Framework based on Dynamic Task Decomposition and Agent Generation,
16.02.2024. URL: http://arxiv.org/pdf/2402.10178v1.
7.
Izquierdo-Domenech J., Linares-Pellicer J., Ferri-Molla I. Virtual Reality and Language Models, a New Frontier in Learning //
International Journal of Interactive Multimedia and Artificial Intelligence. 2024. 8. № 5. С. 46.
8.
Liu Z., Yao W., Zhang J., Le Xue, Heinecke S., Murthy R., Feng Y., Chen Z., Niebles J. C., Arpit D., Xu R., Mui P., Wang H., Xiong C.,
Savarese S. BOLAA: Benchmarking and Orchestrating LLM-augmented Autonomous Agents, 2023.
12