Распределенные вычисления в Интернет

1. Распределенные вычисления в Интернет

Кафедра «Автоматизированные станочные системы»
Dept. of Automated Manufacturing Systems
Распределенные вычисления
в Интернет
Лекция 15
Троицкий Д.И. Интернет-технологии.
Лекция 15.
1

2. Режимы исполнения программ

многозадачный режим (режим разделения
времени);
параллельное выполнение;
распределенные вычисления.
Распределённые вычисления (distributed
computing, grid computing, volunteer computing) —
способ решения трудоёмких вычислительных
задач с использованием двух и более
компьютеров, объединённых в сеть
Троицкий Д.И. Интернет-технологии.
Лекция 15.
2

3. Grid Computing

Совместное использование вычислительных ресурсов в рамках
динамической «виртуальной организации»
Пользователи (клиентские приложения) получают доступ к
вычислительным ресурсам (процессоры, память, данные,
программы) по мере необходимости и независимо от
физического местонахождения таких ресурсов
"Grid" объединяет вычислительные ресурсы (ПК, рабочие
станции, серверы, хранилища данных) и предоставляет
механизм доступа к ним.
Троицкий Д.И. Интернет-технологии.
Лекция 15.
3

4.

WSFR - симбиоз с Web
Структура Grid
Проблемы
безопасности
Аутентификация, в т ч
серверов
Участники взаимодействия получают
полный контроль над ресурсами
Дополнительная
функциональность
Не P2P платформа - виртуализация ресурсов
Авторизация
Конфиденциальность и
целостность данных
Не клиент - серверная платформа
OGSA – сервис – агентная архитектура
Биллинг, в т ч контента
Распределенная платформа
Аудит
Строгое выполнение
обязательств
Отсутствие единого центра управления
Сервисы по требованию
(фабрики)
Отсутствие единого диспетчера
(его цель - выполнять задачи VO)
Виртуализация (доступ не
к серверам а к сервисам)
Гетерогенность ресурсов
Диспетчеризация, а не распараллеливание
Для отказоустойчивости и приемлемой
Есть круг задач, которые grid позволяет
производительности тиражирование
эффективно решать (с приемлемыми затратами)
данных и миграция служб или
Троицкий Д.И. Интернет-технологии.
4
процессов с одного ресурса на др.
Лекция
15.
Высокая размерность задачи

5. Управление Grid-вычислениями

Троицкий Д.И. Интернет-технологии.
Лекция 15.
5

6. Развитие Grid-вычислений

Троицкий Д.И. Интернет-технологии.
Лекция 15.
6

7. Последовательный алгоритм

j
1
i
2
b1
3
4
b2
a21
b3
a31
a32
b4
a41
a43
a42
b5
a51
a52
a53
a54
Троицкий Д.И. Интернет-технологии.
Лекция 15.
7

8. Параллельный алгоритм

j
i
1
b1
2
3
4
b2
a21
b3
a31
a32
a41
a42
b4
a43
b5
a51
a52
a53
a54
Троицкий Д.И. Интернет-технологии.
Лекция 15.
8

9. Технологии параллельного программирования

Традиционные языки + компиляторы
Расширения последовательных языков, спецкомментарии
Специальные языки параллельного программирования
Библиотеки и интерфейсы для взаимодействия параллельных
процессов: MPI, PVM, Linda, Shmem...
Параллельные предметные библиотеки: SCALAPACK, MKL,
FFTW, DFFTpack, PETSc, CRAY Scientific Library...
Специализированные пакеты и программные комплексы: PC-
GAMESS, PRIRODA, GAUSSIAN…
Троицкий Д.И. Интернет-технологии.
Лекция 15.
9

10. Статический анализ структуры программ

Это можно исполнять
параллельно
Троицкий Д.И. Интернет-технологии.
Лекция 15.
10

11. Статический анализ структуры программ

А это - только
последовательно
Троицкий Д.И. Интернет-технологии.
Лекция 15.
11

12.

Троицкий Д.И. Интернет-технологии.
Лекция 15.
12

13. Динамический анализ структуры программ

Троицкий Д.И. Интернет-технологии.
Лекция 15.
13

14. Распределенный рендеринг

Технология mental ray – распределенная визуализация
Троицкий Д.И. Интернет-технологии.
Лекция 15.
14

15. Распределенные вычисления в Matlab

Троицкий Д.И. Интернет-технологии.
Лекция 15.
15

16.

Система распределенных
вычислений BOINC
BOINC = Berkeley Open Infrastructure for
Networking Computing
Разработан в Space Science Laboratory,
университет Беркли
Наиболее широко используемое бесплатное
решение для метакомпьютинга
Проекты SETI@home (поиск внеземного
разума), Rosetta@home (вычисление
трехмерной структуры белков), Eistein@home
(поиск гравитационных волн)…
Троицкий Д.И. Интернет-технологии.
Лекция 15.
16

17. Структура BOINC

Сервер
Клиент
Web
интерфейс
7
БД
BOINC
5
2
3
Сервер
расписаний
Генератор
заданий
4
1
Сбор
результатов
Сервер
данных
6
8
Ядро
клиента
1
0
Клиентское
приложение
9
11
Троицкий Д.И. Интернет-технологии.
Лекция 15.
17

18. Проект SETI@home

Радиосигналы, принимаемые крупнейшим наземным
радиотелескопом Аресибо, раскладываются в ряды
Фурье для выявления повторяющихся фрагментов.
В проекте участвуют свыше полумиллиона компьютеров
по всему миру.
Поиск ведется с 1994 года
Троицкий Д.И. Интернет-технологии.
Лекция 15.
18

19. Проект rosetta@HOME

Цель - разработать улучшенную модель внутри- и межмолекулярных
взаимодействий и использовать эту модель для предсказания и
проектирования макромолекулярных структур и взаимодействий.
Троицкий Д.И. Интернет-технологии.
Лекция 15.
19

20. Проект einstein@HOME

проект распределённых вычислений по проверке гипотезы Эйнштейна о
существовании гравитационных волн. Для того, чтобы проверить эту
гипотезу, проводится составление атласа излучаемых звёздами-пульсарами
гравитационных волн для всего неба. Данные для анализа поступают с
Лазерно-интерферометрической гравитационно-волновой обсерватории
(LIGO).
Центр управления LIGO
Троицкий Д.И. Интернет-технологии.
Лекция 15.
20