GRID история развития, технологии и стандарты (GTK, OGSA, WSRF, GPE)
Введение
Развитие Grid
Общая тенденция развития Grid
Первый этап. Этап становления Grid
Второй этап. Развитие средств создания Grid
Третий этап. Развитие виртуальных организаций
Сопоставление кластера, Grid, P2P
Что такое Grid?
Пример Grid как совокупности ВО
Современные технологии и стандарты Grid
OGSA
OGSA. Базовые интерфейсы
Web-сервисы
WS-ресурсы, WSRF
Web-сервис + Ресурс = WS-ресурс
Спецификации WSRF
Проект Globus
Архитектура и взаимодействия между компонентами GTK
GTK4: взаимодействие WSRF и OGSA
GPE
GridBean
Спасибо за внимание!

GRID история развития, технологии и стандарты (GTK, OGSA, WSRF, GPE)

1. GRID история развития, технологии и стандарты (GTK, OGSA, WSRF, GPE)

Ю
У
р
Г
МехМат
С
П
GRID
история развития, технологии и стандарты
(GTK, OGSA, WSRF, GPE)
Радченко Глеб Игоревич
ЮУрГУ,
кафедра системного программирования
1
У

2. Введение

Ю
Введение
У
р
Г
МехМат
С
Содержание доклада:
– история развития и становления Grid;
– что такое Grid;
– основные современные технологии Grid.
2
П
У

3. Развитие Grid

Ю
Развитие Grid
Первый этап.
Середина 1990-х – становление и развитие систем
распределенных вычислений.
Второй этап.
1998 г. – определение термина Grid (Грид) в рамках
книги "Грид. Новая инфраструктура вычислений" .
Развитие распределенных систем, ориентированных
на массивные объемы передачи информации и
вычислительные затраты.
Третий этап.
2001 г. – уклон в сторону “Виртуальных организаций”.
Развитие сервисно-оринентированных подходов,
автоматизация методов управления ресурсами.
У
р
Г
МехМат
С
3
П
У

4. Общая тенденция развития Grid

Ю
У
р
Г
МехМат
С
П
Стандартизация
Отдельные
методов формирования
высокопроизводительные
GRID-сред;
приложения, отсутствие
виртуальные
стандартизации
организации; сервиснопредоставления ресурсов
ориентированный
Разработка методов
подход
управления
распределенными
вычислительными
ресурсами, создания
GRID-сред, P2P
4
У

5. Первый этап. Этап становления Grid

Ю
У
р
Г
МехМат
С
П
Первые проекты по распределенным вычислениям
(начало 1990-х) основывались на объединении
вычислительных ресурсов суперкомпьютеров.
Проект FAFNER: Factoring via Network-Enabled Recursion
(Сетевое разложение на множители посредством рекурсии).
Проект I-WAY: Information Wide Area Year (Год
Информации Глобальных Сетей) – экспериментальная
высокопроизводительная
сеть,
которая
объединяла
множество
высокопроизводительных
компьютеров
и
передовые средства визуализации. Прообраз Globus.
5
У

6. Второй этап. Развитие средств создания Grid

Ю
У
р
Г
МехМат
С
П
Ближе к концу 1990-х годов наблюдается бурное развитие
Grid-систем, начинаются разработки средств создания и
управления Grid-сетями и вычислительными ресурсами.
В ходе исследований систем распределенных вычислений,
Ян Фостер вывел 3 основных требования, которым они
должны удовлетворять.
• Гетерогенность.
• Масштабируемость.
• Адаптируемость.
Основные проекты: Globus, SETI@home (P2P)…
6
У

7. Третий этап. Развитие виртуальных организаций

Ю
У
р
Г
МехМат
С
П
Развитие технологий в начале 21-го века приводит к
переосмыслению понятия Grid. Теперь оно неразрывно
связано с понятием “Виртуальной организации”.
ВО - это ряд людей и/или организаций, объединенных
общими правилами коллективного доступа к определенным
вычислительным ресурсам.
Развитие сервисно-ориентированных подходов позволяет
гибко использовать одни и те же вычислительные ресурсы
многими пользователями.
Основные проекты и технологии: Globus, OGSA, WSRF…7
У

8. Сопоставление кластера, Grid, P2P

Характеристика
Собственники
Кластер
commodity PC
компьютеры
один
Обнаружение
службы членства
Распределение/
планирование/
управление
централизованное
Интероперабельность
на базе VIA
Образ одной системы
Масштабируемость
да
100
Возможности
гарантированы
Пропускная способность
средняя
Популяция
Ю
У
р
Г
У
МехМат
С
П
Грид
P2P
профессиональные
сетевые концы
компьютеры
(настольные PC)
многие
многие
централизованный
индекс и
децентрализовано
децентрализованная
информация
децентрализовано
более развитое
(например, WSRF)
нет
1000
переменны, но
высоки
высокая
децентрализовано
стандартов нет
нет
миллионы
переменны
очень высокая

9. Что такое Grid?

Ю
Что такое Grid?
У
р
Г
МехМат
С
Grid – как электросеть:
1) координирует ресурсы, не подчиняющиеся
централизованному контролю…
2) …используя стандартные, открытые протоколы
и интерфейсы общего назначения …
3) …чтобы предоставить возможность работы с
нетривиальными свойствами служб.
9
П
У

10. Пример Grid как совокупности ВО

ВО, занимающаяся
моделированием
сложных 3D объектов
Ю
У
р
Г
МехМат
С
ВО, занимающаяся
анализом данных,
полученных со спутника
10
П
У

11. Современные технологии и стандарты Grid


Ю
У
р
Г
МехМат
С
Open Grid Services Architecture (OGSA).
Web-сервисы, WSRF.
Globus, Globus Tool Kit (GTK).
GPE.
11
П
У

12. OGSA

Ю
OGSA
У
р
Г
У
МехМат
С
П
Грид-приложение состоит из множества компонент:




сервис управления ВО;
сервис поиска и управления ресурсами;
сервис управления заданиями;
...
Для обеспечения взаимодействия данных сервисов
необходима стандартизация, определение стандартных
интерфейсов данных сервисов.
Open Grid Services Architecture (OGSA) определяет
открытый стандарт для Грид-приложений.
12

13. OGSA. Базовые интерфейсы

Ю
OGSA. Базовые интерфейсы
У
р
Г
МехМат
С
П
• Поиск: механизмы для поиска сервисов,
предоставляющих те или иные возможности или ресурсы
(Registry, HandleMap).
• Динамическое создание сервисов: стандартные
механизмы динамического создания сервисов (Factory).
• Управление временем жизни: механизмы,
производящие автоматическое завершение работы
сервиса и высвобождение занимаемых ресурсов.
• Уведомление: универсальный механизм, позволяющий
сервисам обмениваться информацией об изменении
состояния.
• Управление: механизмы для управления ходом работы
сервиса (GridService).
13
У

14. Web-сервисы

Ю
Web-сервисы
У
р
Г
У
МехМат
С
П
Web-сервисы – это основанная на XML
платформенно-независимая
технология
разработки распределенных приложений.
Процесс работы с Web-сервисами заключается
в обмене между клиентом и сервером XMLсообщениями.
Add(5,10)
15
Клиент
Div(15,3)
5
Webсервис
14

15. WS-ресурсы, WSRF

Ю
WS-ресурсы, WSRF
У
р
Г
МехМат
С
П
Для разработки Grid не получилось применить “чистые” Webсервисы, т.к. они не обладали “состоянием”.
WSRF является попыткой решить указанную архитектурную
проблему с помощью введения понятия «состояние» в
Web-сервисы, превратив их в Web-ресурсы, и указав
механизмы использования этого понятия.
Add(5)
используя
ресурс B
Ресурсы
4
15
Клиент
Div(3),
используя
ресурс B
5
Webсервис
ID: A
10
15
5
ID: B
15
У

16. Web-сервис + Ресурс = WS-ресурс

Ю
У
р
МехМат
С
Ресурсы
Filename: “install.xml”
Size: 250
Descriptors: {“install”}
ID: 0xF5412AB
Webсервис
Filename : “readme.txt”
Size: 120
Descriptors: {“info”}
ID: 0x14DC1A9
Filename: “app.exe”
Size: 1056
Descriptors: {“application”}
ID: 0xFF42123
Г
16
П
У

17. Спецификации WSRF

Ю
Спецификации WSRF
У
р
Г
У
МехМат
С
П
Базовые спецификации:
• WS-ResourceProperties – свойства WS-ресурса;
• WS-ResourceLifetime – время жизни WS-ресурса;
• WS-ServiceGroup – группы Web-сервисов и WSресурсов;
• WS-BaseFaults – обработка ошибок;
Близкие спецификации:
• WS-Notification – обработка извещений;
• WS-Addressing – адресация;
17

18. Проект Globus

Ю
Проект Globus
У
р
Г
МехМат
С
Globus – это проект по разработке и предоставлению
инфраструктуры для грид-вычислений.
В процессе развития, основной акцент был перенесен с
поддержки высокопроизводительных вычислений в
сторону сервисов поддержки виртуальных
организаций.
Цель его создания – предоставление возможности
приложениям работать с распределенными
разнородными вычислительными ресурсами как с
единой виртуальной машиной.
18
П
У

19.

Globus Tool Kit 4.0
Компоненты WS
Ю
У
р
МехМат
С
П
Коллективный
планировщик
Групповая
Авторизация
Репликация
данных
Протокол
удаленного
управления Grid
WebMDS
Pyton WS
Core
Делегирование
OGSA-DAI
Управление
рабочим
пространством
Index
C WS Core
Авторизация и
аутентификация
Надежная
передача
файлов
Управление и
распределение
ресурсов Grid
Trigger
Java WS
Core
Не-WS
авторизация и
аутентификация
GridFTP
Не-WS методы
управления и
распределения
ресурсов
Управление
доступом
Размещение
реплик
Библиотеки
C
eXtensible
IO (XIO)
Компоненты не-WS
Безопасность
Управление
данными
Руководство
исполнением
Информационные
сервисы
Г
Общие
библиотеки
19
У

20. Архитектура и взаимодействия между компонентами GTK

Внешний
клиент на
С
Внешний
клиент на
Pyton
Сервер
...
Сервисы Java,
библиотеки GT
Telecontrol
Trigger
Data access
Контейнер
Java
File Transfer
Внешний
сервис на
Java
GRAM
Взаимодействие посредством
открытого SOAP – протокола
обмена сообщениями;
WSRF-сервисы
Внешний
клиент на
Java
Внешний
клиент на
С
У
р
С
Внешний
клиент на
Pyton
Взаимодействие посредством
других методов
Внешний
сервис на
Pyton
Внешний
сервис на
С
Контейнер
Pyton
Контейнер С
Сервисы Pyton,
библиотеки GT
...
Сервисы C,
библиотеки GT
Г
МехМат
MyProxy
Внешний
клиент на
Java
GridFTP
Клиент
Ю
П
У

21. GTK4: взаимодействие WSRF и OGSA

Ю
У
р
МехМат
С
GTK 4.0
реализует
Высокоуровневые сервисы
для Grid-приложений
соответствуют
требованиям
реализует
реализованы
посредством
OGSA
Другие пакеты
(WSRF.NET)
реализуют
WSRF
требует
определяет
Web-сервисы с
состоянием
расширяют
Webсервисы
Г
21
П
У

22. GPE

Ю
GPE
У
р
Г
МехМат
С
GPE (Grid Programming Environment) – архитектура
разработки и исполнения распределенных Gridприложений, предложенная компанией Intel.
Мотивация разработки:
• стандартизация подхода к разработке gridприложений;
• создание высокоуровнего инструментария
разработки Grid-приложений;
• облегчение переноса приложений в Grid-среду.
22
П
У

23.

Ю
Приложения
Application Client
Web portals
Expert Client
GridBeans
Remote File
Manager
У
р
МехМат
Уровень
создания
приложений
С
П
Интерфейс grid-приложений (WSRF - Web Services Resource Framework; ...)
Workflow Engine
Database Access
Target System
Registry
Scheduler / Broker
Admin Client
Уровень
связующего ПО
grid
Интерфейс grid-платформ (WSRF; JSDL; WSDM - Web Services Distributed Management; ...)
Target
System
Factory
Target
System
Service
Job
Management
Service
Storage
Management
Service
File Transfer
Services
...
MRTE (Managed Runtime Environment)
Service OS
Создание и
управление
Платформа grid
Target
System
Interface
Target
System
Interface
OS
Виртуальная
машина
OS
Виртуальная
машина
Г
Платформа
grid
Интерфейс аппаратного обеспечения
23
У

24. GridBean

Ю
GridBean
У
р
Г
МехМат
С
GridBean – это одно из основных понятий GPE.
Функции, которые возлагаются на GridBean:
– описание задания для grid-сервисов;
– организация GUI для ввода и вывода
пользовательских данных;
– организация GUI для взаимодействия с gridсервисами.
24
П
У

25. Спасибо за внимание!

Ю
Спасибо за внимание!
У
р
Г
МехМат
С
25
П
У
English     Русский Правила