Архитектура вычислительных систем. Тема 8

1.

ВОЕННО-КОСМИЧЕСКАЯ АКАДЕМИЯ ИМЕНИ А.Ф. МОЖАЙСКОГО
Кафедра информационно-вычислительных систем и сетей
РАЗДЕЛ 3. Вычислительные системы
Тема 8. Архитектура вычислительных систем
Доктор технических наук профессор,
БАСЫРОВ А.Г.

2.

ОРГАНИЗАЦИЯ ЭВМ И СИСТЕМ
Лекция №26
Основные классы вычислительных систем
Цель: сформировать у обучающихся знания об особенностях
построения и функционирования вычислительных систем
классов SIMD и MIMD
Учебные вопросы:
1.Вычислительные системы класса SIMD
2.Вычислительные системы класса MIMD
2

3.

Учебный вопрос № 1
Вычислительные системы класса SIMD
3

4.

Вычислительные системы класса SIMD
К классу SIMD относятся ВС, в которых множество
элементов данных подвергается параллельной, но
однотипной обработке
SIMD-системы
Векторные (векторно-конвейерные) ВС
Матричные ВС
Ассоциативные ВС
Систолические ВС
4

5.

Векторно-конвейерные вычислительные системы
Средства векторной обработки – вычислительные
средства обработки массивов, позволяющие с помощью
единой команды производить действие сразу над всеми
элементами массивов
Векторный процессор — процессор, в котором
операндами команд могут выступать упорядоченные
массивы данных – векторы.
Два варианта реализации векторного процессора:
1
ВП – основа самостоятельной ВС
2
ВП – дополнительный блок к универсальной
вычислительной машине (системе)
5

6.

Векторно-конвейерные вычислительные системы
Пример векторной операции
Операция скалярного произведения
3
c a b
ij
k 1
ik
kj
ПРИМЕР: c12 a11 b12 a12 b22 a13 b32
6

7.

Векторно-конвейерные вычислительные системы
архитектура средств векторной
обработки
конвейерное АЛУ
массив АЛУ
массив процессорных элементов
7

8.

Векторно-конвейерные вычислительные системы
Входные
регистры
8
Конвейерное АЛУ
Память
Выходной
регистр Векторные вычисления с конвейерным АЛУ
Входные
регистры
Массив АЛУ
АЛУ
АЛУ
АЛУ
Память
Выходной
Векторные вычисления с массивом АЛУ

9.

Векторно-конвейерные вычислительные системы
Упрощенная структура векторно-конвейерной ВС
9

10.

Матричные вычислительные системы
10
Назначение матричных вычислительных систем обработка больших массивов данных
В основе матричных систем лежит матричный процессор,
состоящий
из
регулярного
массива
процессорных
элементов.
ПЭ
ПЭ
ПЭ
ПЭ
ПЭ
ПЭ
ПЭ
ПЭ
ПЭ
ПЭ
ПЭ
ПЭ
ПЭ
ПЭ
ПЭ
ПЭ

11.

Матричные вычислительные системы
11
Матричный
процессор
интегрирует
множество
идентичных функциональных блоков (ФБ), логически
объединенных в матрицу и работающих в SIMD-стиле.
ФБ логически скомпонованы в матрицу и работают синхронно, то
есть присутствует только один поток команд для всех
Отличие матричного процессора от векторного
Векторный процессор имеет встроенные команды для
обработки векторов данных, что позволяет эффективно
загрузить конвейер из функциональных блоков.
Векторные процессоры проще использовать, потому что команды
для обработки векторов более удобная для человека модель
программирования, чем SIMD

12.

Матричные вычислительные системы
12
Структура матричной SIMD-системы
Шина
результата
Контроллер массива
процессоров
Шина широковещательной
рассылки
Массив
процессорных
элементов
Интерфейс ввода-вывода
Интерфейсная ВМ
Устройство
ввода-вывода
…
Устройство
ввода-вывода

13.

Матричные вычислительные системы
13
ЭЛЕМЕНТЫ МАТРИЧНОЙ SIMD-СИСТЕМЫ
Интерфейсная ВМ соединяет матричную SIMD-систему с внешним
миром, используя для этого какой-либо из сетевых интерфейсов
Контроллер массива процессоров выполняет последовательный
программный код, реализует команды ветвления программы,
транслирует команды и сигналы управления в процессорные
элементы
Массив процессоров осуществляет
множественных элементов данных
параллельную
обработку
Интерфейс ввода-вывода обеспечивает ввод-вывод данных через
устройства ввода-вывода
Устройства ввода-вывода предназначены для непосредственного
взаимодействия вычислительной системы с пользователями

14.

Матричные вычислительные системы
Структура контроллера массива процессоров
14

15.

Матричные вычислительные системы
Структура массивов процессоров
«процессорный элемент - процессорный элемент»
15

16.

Матричные вычислительные системы
Структура массивов процессоров
«процессорный элемент - память»
16

17.

Матричные вычислительные системы
Схема процессорного элемента
КОМПОНЕНТЫ ПЭ
АЛУ
регистры данных
сетевой интерфейс (СИ)
номер ПЭ
регистр флага
разрешения
маскирования (F)
локальная память
17

18.

Ассоциативные вычислительные системы
18
Ассоциативный процессор - процессор, построенный
на базе ассоциативного ЗУ
Ассоциативное ЗУ – устройство, способное хранить
информацию, сравнивать ее с некоторым образцом
(ассоциативным признаком) и указывать на их
соответствие друг другу
Ассоциативная память (ассоциативная матрица) - ЗУ, где
выборка информации осуществляется не по адресу
операнда, а по отличительным признакам операнда

19.

Ассоциативные вычислительные системы
Структура ассоциативного запоминающего устройства
19

20.

Ассоциативные вычислительные системы
Концепция ассоциативного процессора
20

21.

Ассоциативные вычислительные системы
Упрощенная структура ассоциативного процессора
21

22.

Ассоциативные вычислительные системы
Ассоциативная
ВС
—
многопроцессорная
ВС,
объединяющая множество ассоциативных процессоров,
процессор управления, процессор ввода/вывода и
основную память
ПРОЦЕССОР
ввода-вывода
ПРОЦЕССОР
управления
Основная
память
Каналы передачи данных
Каналы управления
Ассоциативный
процессор
Ассоциативный
процессор
… Ассоциативный
процессор
22

23.

Ассоциативные вычислительные системы
Каждое слово (ячейка) ассоциативной памяти имеет свое
собственное устройство обработки данных (сумматор).
Операция осуществляется одновременно всеми ПЭ.
Все или часть элементарных последовательных ПЭ могут
синхронно выполнять операции над всеми ячейками или
над выбранным множеством слов ассоциативной памяти.
Время обработки N m-разрядных слов
в ассоциативной ВС:
N
T m t ( K)
n
t — время цикла ассоциативной памяти;
n — число ячеек ассоциативной системы;
К — коэффициент сложности выполнения элементарной операции
(количество последовательных шагов, каждый из которых связан с
доступом к памяти)
23

24.

Вычислительные системы с систолической структурой
Память
ПЭ
24
Принцип обработки данных в ЭВМ фоннеймановского типа
Принцип обработки данных в ВС с систолической
структурой
Память
ПЭ
ПЭ
ПЭ
Принцип систолических вычислений: данные на пути от
считывания из памяти до возвращения в память
пропускаются через большое число процессорных элементов

25.

Особенности систолических структур
25
систолическая структура — однородная вычислительная среда из ПЭ,
совмещающая в себе свойства конвейерной и матричной обработки
вычислительный процесс - непрерывная и регулярная передача данных
1 от одного ПЭ к другому без запоминания промежуточных результатов
вычисления
каждый элемент входных данных выбирается из памяти однократно и
используется необходимое по алгоритму число раз, ввод данных
2
осуществляется в крайние ПЭ матрицы
3
ПЭ систолической структуры однотипны и каждый из них может
быть менее универсальным, чем обычные процессоры
4
потоки данных и управляющих сигналов обладают регулярностью,
позволяя объединять ПЭ локальными связями минимальной длины
алгоритмы функционирования позволяют совместить параллелизм с
5
конвейерной обработкой данных
6
производительность матрицы можно улучшить добавлением в нее ПЭ,
что обеспечит линейное повышение коэффициента ускорения

26.

Классификация систолических структур
ПО СТЕПЕНИ ГИБКОСТИ
специализированные
алгоритмически
ориентированные
программируемые
ПО ХАРАКТЕРУ ЛОКАЛЬНО-ПРОСТРАНСТВЕННЫХ СВЯЗЕЙ
одномерные
двухмерные
трехмерные
ПО РАЗРЯДНОСТИ ПРОЦЕССОРНЫХ ЭЛЕМЕНТОВ
одноразрядные
многоразрядные
26

27.

Топология систолических структур
линейная
гексагональная
прямоугольная
трехмерная
27

28.

Вычислительные системы с систолической структурой
Структура процессорного элемента
для прямоугольной
систолической матрицы
для гексагональной
систолической матрицы
28

29.

Учебный вопрос № 1
Вычислительные системы класса MIMD
29

30.

Классификация MIMD-систем
К классу MIMD относятся ВС, в которых множество
независимых процессорных элементов обрабатывают
независимые потоки данных
MIMD-системы
Системы с общей
(разделяемой) памятью
Системы с распределенной
(раздельной) памятью
Симметричные
мультипроцессорные ВС (SMP)
ВС с массовым
параллелизмом (MPP)
ВС c неоднородным
доступом к памяти (NUMA)
Кластерные ВС
30

31.

Многопроцессорные ВС с общей памятью
31
ХАРАКТЕРИСТИКА SMP-ВЫЧИСЛИТЕЛЬНОЙ СИСТЕМЫ
1
Имеются два или более процессоров сопоставимой производительности
2
Процессоры совместно используют основную память и работают в едином
виртуальном и физическом адресном пространстве
3
Все процессоры связаны между собой так, что время доступа к памяти любого из
них одинаково
4
Все процессоры разделяют доступ к устройствам ввода/вывода
5
Все процессоры способны выполнять одинаковые функции
6
Любой из процессоров может обслуживать внешние прерывания
ВС управляется интегрированной операционной системой, которая организует и
координирует взаимодействие между процессорами и программами на уровне заданий,
задач, файлов и элементов данных
7

32.

Многопроцессорные ВС с общей памятью
преимущества SMP-системы
по сравнению с однопроцессорными ЭВМ
ПРОИЗВОДИТЕЛЬНОСТЬ
ГОТОВНОСТЬ
МАСШТАБИРУЕМОСТЬ
32

33.

Многопроцессорные ВС с общей памятью
Организация симметричной
мультипроцессорной системы
процессор
процессор
…
процессор
процессор
кэш-память
кэш-память
… кэш-память
кэш-память
коммуникационная система
основная память
система вода/вывода
33

34.

Многопроцессорные ВС с общей памятью
Организация симметричной мультипроцессорной системы
с совместно используемой кэш-памятью
процессор
процессор
…
процессор
процессор
кэш-память
коммуникационная система
основная память
система вода/вывода
34

35.

Многопроцессорные ВС с общей памятью
Организация SMP-системы c общей шиной
процессор
процессор
…
кэш-память
кэш-память
…
процессор
процессор
кэш-память
кэш-память
общая шина
основная память
система вода/вывода
35

36.

Многопроцессорные ВС с общей памятью
Структура SMP-системы на базе МП «Pentium III»
36

37.

Многопроцессорные ВС с общей памятью
Структура SMP-системы с коммутатором типа «кроссбар»
37

38.

Многопроцессорные ВС с общей памятью
Многопроцессорный вычислительный комплекс «Эльбрус-2»
38

39.

Многопроцессорные ВС с общей памятью
Структура вычислительного комплекса «Эльбрус-3М1»
39

40.

Многопроцессорные ВС с общей памятью
Четырехпроцессорная вычислительная система на базе
микросхем «МЦСТ-R1000»
40

41.

Многомашинные ВС
…
сетевой адаптер
процессор
УВВ
процессор
память
кэш-память
УВВ
память
кэш-память
41
сетевой адаптер
Сеть обмена сообщениями
сетевой адаптер
процессор
сетевой адаптер
Структура MPP-вычислительной системы
УВВ
…
память
процессор
кэш-память
УВВ
память
кэш-память

42.

Многомашинные ВС
42
Характерная черта МРР-систем — наличие единственного управляющего
устройства (процессора), распределяющего задания между множеством
подчиненных ему устройств
ХАРАКТЕРИСТИКА МPP-ВЫЧИСЛИТЕЛЬНОЙ СИСТЕМЫ
1
стандартные микропроцессоры
2
физически распределенная память
3
сеть соединений с высокой пропускной способностью и
малыми задержками
4
хорошая масштабируемость (до тысяч процессоров)
5
асинхронная MIMD-система с пересылкой сообщений
6
программа представляет собой множество процессов,
имеющих отдельные адресные пространства

43.

Многомашинные ВС
СХЕМА ВЗАИМОДЕЙСТВИЯ MPP-СИСТЕМЫ
центральное управляющее устройство формирует очередь заданий,
каждому из которых назначается некоторый уровень приоритета
по мере освобождения подчиненных устройств им передаются
задания из очереди
подчиненные устройства оповещают центральный процессор о ходе
выполнения задания (о завершении выполнения, о потребности в
дополнительных ресурсах и т.д.)
центральное устройство контролирует работу подчиненных
процессоров (в том числе для обнаружения нештатных ситуаций,
прерывания выполнения задания в случае появления более
приоритетной задачи и т. п).
43

44.

Многомашинные ВС
Структура МРР – системы RM 1000
44

45.

Многомашинные ВС
45
ХАРАКТЕРИСТИКИ МРР-СИСТЕМ
Модель
Тип МП
Орг-ция
соединений
Intel
Paragon
I860
Двухмерная
решетка
IBM
SP2
PowerPC
604e
Коммутатор
Cray
Cray T3D
DEC Alpha
Трехмерный
тор
Орг-ция
хостпамяти компьютер
распределенная
Фирма
нет
нет
есть
Благодаря хорошей масштабируемости МРР-системы – лидеры
среди ВС по достигнутой производительности

46.

ВС с неоднородным доступом к памяти
ВС с неоднородным доступом к памяти (NUMA-система) –
вычислительная система, в которой каждый узел владеет
собственной основной памятью, но с точки зрения
процессоров имеет место глобальная адресуемая память,
где каждая ячейка любой локальной основной памяти
имеет уникальный системный адрес
46

47.

ВС с неоднородным доступом к памяти
ХАРАКТЕРИСТИКА NUMA-СИСТЕМЫ
Память является физически распределенной по различным частям
системы, но логически разделяемой, так что пользователь видит
1
единое адресное пространство
Система состоит из объединеных с помощью высокоскоростного
коммутатора однородных базовых модулей, содержащих небольшое
2
число процессоров и блок памяти
Доступ к локальной памяти осуществляется в несколько раз быстрее,
чем к удаленной
3
По существу архитектура NUMA является MPP
архитектурой, где в качестве отдельных вычислительных
элементов используются SMP узлы
47

48.

ВС с неоднородным доступом к памяти
Архитектура cc-NUMA (Cache Coherent Non-Uniform Memory Access) "неоднородный доступ к памяти с обеспечением когерентности кэшей"
Когерентность памяти — свойство компьютерных систем, в
которых два или более процессора имеют доступ к общей области
памяти
Процессор 1
Процессор 2
кэш-память
кэш-память
оперативная память
Архитектура ccNUMA поддерживает когерентность кэш памяти внутри
узла аппаратно, т.е. не требуется никакого программного обеспечения
для поддержки актуальности множества копий данных
48

49.

Кластерные вычислительные системы
Кластер – группа соединенных между собой и
координируемых вычислительных систем (узлов),
совместно выполняющих общий набор приложений,
которая воспринимается клиентами и приложениями как
единая система
УЗЛЫ КЛАСТЕРА
ЭВМ
SMP-система
MPP-система
Цели создания кластера
обеспечение высокой
доступности информации
за счет резервирования
ресурсов
ИЛИ
обеспечение высокой
производительности за
счет распараллеливания
процесса решения сложной
вычислительной задачи
49

50.

Кластерные вычислительные системы
ПРЕИМУЩЕСТВА КЛАСТЕРОВ
Абсолютная
масштабируемость
Наращиваемая
масштабируемость
Высокий коэффициент
готовности
Отличное соотношение
«цена/производительность»
50

51.

Кластерные вычислительные системы
КАТЕГОРИИ КЛАСТЕРОВ (по назначению)
Кластеры высокой готовности
(High-Availability Clusters – HA-кластеры)
Кластеры балансировки нагрузки
(Load-Balancing Clusters – LB-кластеры)
Кластеры высокой производительности
(High Performance Computing Clusters – HPC-кластеры)
51

52.

Отказоустойчивый кластер
52
Кластеры
высокой
готовности
(High-Availability
Clusters
–
HA-кластеры),
или
отказоустойчивые,
применяются для того, чтобы не допустить прекращения
обслуживания в случае выхода из строя основного сервера

53.

Кластер балансировки нагрузки
53
Кластеры
балансировки
нагрузки
(LB-кластеры)
обеспечивают эффективное использование
ресурсов
вычислительной системы за счет перенаправления запросов
в случае высоких нагрузок на наименее загруженные
серверы

54.

Кластер высокой производительности
54
Кластеры
высокой
производительности
(HPCкластеры) применяются для организации вычислений с
высокой масштабируемостью и использованием всех
процессорных мощностей для решения одной задачи,
которая должна быть способна распараллеливаться

55.

Кластерные вычислительные системы
Структура вычислительного кластера Нижегородского университета
55

56.

Задание на самостоятельную работу
Задание:
1. Повторить материал лекции по конспекту
2. Изучить рекомендованную литературу [3, с. 56-92],
[4, с.98-105, 526-577, 600-606],
Ответить на следующие вопросы:
•какие типы ВС относят к классам SIMD и MIMD?
•для каких типов ВС характерна разделенная и
разделяемая память?
•к какому типу ВС относиться современная ПЭВМ?
56