Тестирование llm моделей
Вывод: Тестирование показало, что современные LLM способны формировать танцевальные расстановки, некоторые модели генерировали
825.88K

ПТП12.11

1. Тестирование llm моделей

Цель: исследовать возможность языковых моделей в решении задачи автоматического
формирования расстановок танцоров на сцене по заданным параметрам и ограничениям
Протестированные модели:
• Алиса AI
• GPT – 5
• Llama 3.3
• Deepseek
• Mistral AI
• Gemeni
• Qwen 3
• Gpt - oss

2.

Промпт:
Ты - хореограф, который создает расстановки танцоров на сцене.
ТЕКУЩАЯ РАССТАНОВКА:
Сцена: ${stageSize.width} м (ширина) × ${stageSize.height} м (высота)
Танцоры (${dancers.length} человек):
${currentPositions.map((d: any) => `- ${d.name}: позиция (${d.currentX}м, ${d.currentY}м)`).join("\n")}
ЗАДАЧА:
Создай новую расстановку танцоров в формации "${patternDescription}".
ВАЖНЫЕ ОГРАНИЧЕНИЯ:
1. Каждый танцор может переместиться максимум на ${MAX_DISTANCE_M} метров от своей текущей позиции (они должны успеть дойти за
3 секунды)
2. Все координаты должны быть в пределах сцены (от 0.25 до ${stageSize.width - 0.25} по X, от 0.25 до ${stageSize.height - 0.25} по Y)
3. Координаты должны быть с шагом 0.5 метра (привязка к сетке)
4. Танцоры не должны находиться слишком близко друг к другу (минимум 0.5 метра между центрами)
5. Используй все доступное пространство сцены для создания красивой формации
6. Старайся держать формацию по центру
ФОРМАТ ОТВЕТА:
Верни ТОЛЬКО валидный JSON массив в следующем формате:
[
{"id": "id1", "posM": {"x": 1.5, "y": 2.0}},
{"id": "id2", "posM": {"x": 3.0, "y": 2.5}},
...
]
Где:
- "id" - это ID танцора из текущей расстановки
- "posM.x" и "posM.y" - новые координаты в метрах (числа с одним знаком после запятой, кратные 0.5)
- Все танцоры должны быть включены в ответ
- Координаты должны соответствовать выбранному паттерну "${patternDescription}"
Верни только JSON, без дополнительных объяснений.

3.

Llama 3.3
Соответствие паттерну: ❌ Оптимальность перемещений: ❌
Начальная расстановка
Расстановка модели (круг)

4.

Deepseek
Соответствие паттерну: ❌ Оптимальность перемещений: ✅
Начальная расстановка
Расстановка модели (круг)

5.

Модель GPT - 5
Соответствие паттерну: ✅ Оптимальность перемещений: ❌
Начальная расстановка
Расстановка модели (круг)

6.

Модель GPT - 5
Соответствие паттерну: ✅ Оптимальность перемещений: ❌
Начальная расстановка
Расстановка модели (диагональ)

7.

Алиса
Соответствие паттерну: ✅ Оптимальность перемещений: ❌
Начальная расстановка
Расстановка модели (круг)

8.

Алиса
Соответствие паттерну: ✅ Оптимальность перемещений: ❌
Начальная расстановка
Расстановка модели (диагональ)

9.

Mistral AI
Соответствие паттерну: ✅ Оптимальность перемещений: ✅
Начальная расстановка
Расстановка модели (круг)

10.

Mistral AI
Соответствие паттерну: ✅ Оптимальность перемещений: ❌
Начальная расстановка
Расстановка модели (круг)

11.

GEMINI
Соответствие паттерну: ✅ Оптимальность перемещений: ✅
Начальная расстановка
Расстановка модели (круг)

12.

GEMINI
Соответствие паттерну: ✅ Оптимальность перемещений: ✅
Начальная расстановка
Расстановка модели (диагональ)

13.

Qwen 3
Соответствие паттерну: ✅ Оптимальность перемещений: ✅
Начальная расстановка
Расстановка модели (круг)

14.

Qwen 3
Соответствие паттерну: ✅ Оптимальность перемещений: ✅
Начальная расстановка
Расстановка модели (диагональ)

15.

GPT – oss
Соответствие паттерну: ✅ Оптимальность перемещений: ✅
Начальная расстановка
Расстановка модели (круг)

16.

GPT – oss
Соответствие паттерну: ✅ Оптимальность перемещений: ✅
Начальная расстановка
Расстановка модели (диагональ)

17. Вывод: Тестирование показало, что современные LLM способны формировать танцевальные расстановки, некоторые модели генерировали

случайные или нелогичные расстановки;
часть моделей делала “красиво”, но не учитывала расстояния и время
перехода;
модели GPT – oss, Qwen 3 показали наилучший баланс — расстановка
соответствовала паттерну и перемещения реалистичные,
но не всегда точно центрированы (необходимо скорректировать промпт).
English     Русский Правила