Cтандартизация, сертификация и техническое документоведение
Государственная метрологическая служба в Российской Федерации
Государственная система обеспечения единства измерений (ГСИ)
Международные метрологические организации
Начало образования
Основная задача
В области метрологии работают и другие международные организации:
Международная организация законодательной метрологии (МОЗМ)
Международная организация по стандартизации (ИСО)
Метрологическая электротехническая комиссия (МЭК)
Метрологическая организация стран Центральной и Восточной Европы (КООМЕТ)
«Государственная система стандартизации Российской Федерации»
«Стандартизация в различных сферах. Международная стандартизация»
Международная стандартизация – стандартизация, участие в которой открыто для соответствующих органов всех стран.
Европейские организации стандартизации информационных технологий
«Содержание и назначение системы ГОСТ: ЕСКД, ЕСТД, ЕСТПП»
ЕСКД
ЕСТД
ЕСТПП
Техническое регулирование
Обязательные требования ТР
Технический регламент (ТР)
Принципы Технического регулирования (ТР)
Цели принятия технических регламентов
Организация работ по стандартизации в сфере информатизации
Стандартизация в сфере ИТ
Виды стандартов
Наиболее известные стандарты в области ПО
Объединенный технический комитет 1 (Joint Technical Committee 1  — JTC1 (ИСО+МЭК)
Подкомитеты JTC1
Стандарты СССР
Разработка ПО регламентированная ГОСТами
Стадии разработки ПО (Жизненный цикл), регламентированные ГОСТами
Разработка технического задания
Эскизный проект
Технический проект
Рабочий проект
Качество ПО
Общая схема процессов оценки характеристик качества программ
Определения характеристик и субхарактеристик качества (ISO 9126-1)
Надёжность программного обеспечения
Сущность и проведение сертификации
Сертификация
Органы сертификации, также как и обязательный сертификат соответствия появились в 1993 году.
Схема сертификации - это совокупность действий, официально установленная и применяемая в качестве доказательства соответствия
В Российской Федерации действует национальная Система сертификации ГОСТ Р.
Алгоритм сертификации
Основные понятия и термины в области сертификации
ОРГАНИЗАЦИЯ РАБОТ ПО СЕРТИФИКАЦИИ СРЕДСТВ И СИСТЕМ ИНФОРМАТИЗАЦИИ В РОССИЙСКОЙ ФЕДЕРАЦИИ
Сертификат соответствия
Сертификация
Закон «О защите прав потребителей» (1992 г.)
Закон «О защите прав потребителей»
Сертификация осуществляется в целях:
Сертификация по принципу:
Гигиенический сертификат
Приказ Минздрава России от 20 июля 98 г. № 217 «Об утверждении Положения о проведении гигиенической оценки продукции, товаров и
Сертификат соответствия
Знак соответствия
Сертификат соответствия системы качества
Требуется сертификат ИСО 9000
Сертификат соответствия Таможенного Союза
АЛГОРИТМ СЕРТИФИКАЦИИ
Нормативно-правовые документы и стандарты в области защиты информации и информационной безопасности
Нормативно-правовые документы и стандарты в области защиты информации и информационной безопасности
Основные виды технической и технологической документации
Документация на программный продукт
Основные документы, которые входят в состав эксплуатационной документации
Нормативная база в области документирования ПС
Виды программных документов
Виды эксплуатационных документов
Эксплуатационная документация на программный продукт
11.45M
Категория: ПравоПраво

Cтандартизация, сертификация и техническое документоведение

1. Cтандартизация, сертификация и техническое документоведение

2. Государственная метрологическая служба в Российской Федерации

3.

Триада методов обеспечения качества

4.

Метрология (наука о мерах) — наука об измерениях,
методах и средствах обеспечения их единства и
способах достижения требуемой точности.
Цель метрологии – извлечение количественной информации о свойствах
объектов с заданной точностью и достоверностью.

5.

Метрология состоит
из 3 основных разделов:
1. Фундаментальная (теоретическая, научная) рассматривает общие теоретические
проблемы (разработка теории и проблем измерений физических величин, их единиц, методов измерений).
2. Прикладная (практическая) изучает вопросы практического применения разработок
теоретической метрологии. В её ведении находятся все вопросы метрологического обеспечения.
3. Законодательная (правовая) устанавливает обязательные технические и юридические
требования по применению единиц физической величины, методов и средств измерений.
Главная задача метрологии - обеспечить единство измерений, выполняя
два условия:
Выразить результаты измерений в единые измерения (в России – СИ).
Установить допустимые погрешности результатов измерений и пределы, за которые эти измерения не
должны выходить.

6.

Государственная система
обеспечения единства измерений
(ГСИ) - совокупность государственных
метрологических органов, создается для
управления деятельностью по обеспечению
единства измерений.

7. Государственная система обеспечения единства измерений (ГСИ)


ФГУП «Всероссийский научно-исследовательский институт метрологической службы» (ВНИИМС, г.
Москва),
ФГУП «Всероссийский научно-исследовательский институт метрологии имени Д.И. Менделеева» (ВНИИМ, г.
С.-Петербург),
ФГУП «Всероссийский научно-исследовательский институт физико-технических и радиотехнических
измерений» (ВНИИФТРИ, Московская обл.),
ФГУП «Всероссийский научно-исследовательский институт оптико-физических измерений» (ВНИИОФИ, г.
Москва),
ФГУП «Сибирский государственный научно-исследовательский институт метрологии» (СНИИМ, г.
Новосибирск),
ФГУП «Уральский научно-исследовательский институт метрологии» (УНИИМ, г. Екатеринбург),
ФГУП «Всероссийский научно-исследовательский институт расходометрии» (ВНИИР, г. Казань)
Восточносибирский филиал Всероссийского научно - исследовательского институт физико-технических и
радиотехнических измерений (ВС ВНИИФТРИ, г. Иркутск).

8. Международные метрологические организации

9. Начало образования

• Началом образования международных метрологических организаций является конец XIX в.
• В 1875 г. рядом стран была подписана Метрическая конвенция, целью которой являлась
унификация национальных систем единиц измерений и установление единых фактических
эталонов длины и массы (метра и килограмма).
• Для этого было организовано Международное бюро мер и весов (МБМВ) (Le bureau
International des Poids et Mesures — BIPM), находящееся в г. Севре около Парижа.

10. Основная задача

• Основная задача МБМВ — гарантия международной однородности измерений и их
соответствие международной системе единиц СИ. С этой целью создана единая для всех
государств система передачи размеров единиц физических величин системы СИ.

11. В области метрологии работают и другие международные организации:

• Международный консультативный комитет по радиосвязи (МККР);
• Международный консультативный комитет по телефонии и телеграфии (МККТТ);
• Международная организация гражданской авиации (ИКАО);
• Международное агентство по атомной энергии (МАГАТЭ);
• Комитет по исследованию космического пространства (КОСПАР).

12. Международная организация законодательной метрологии (МОЗМ)

• Цель МОЗМ – разработка общих вопросов законодательной метрологии, в том числе установление классов точности средств
измерений; обеспечение единообразия определения типов, образцов и систем измерительных приборов; разработка рекомендаций
по испытанию средств измерений для унификации их метрологических характеристик; определение порядка поверки и калибровки
средств измерений; гармонизация методов сличения; выработка оптимальных форм организации метрологических служб и
обеспечение единства государственных предписаний по их ведению; оказание научно-технического содействия развивающимся
странам в организации работ метрологических служб и их оснащение надлежащим оборудованием; установление единых
принципов подготовки кадров в области метрологии.

13. Международная организация по стандартизации (ИСО)

• Сфера деятельности ИСО касается стандартизации во всех областях, кроме электротехники и
электроники, относящихся к компетенции Международной электротехнической комиссии (МЭК).
Некоторые виды работ выполняются совместными усилиями этих организаций. Кроме стандартизации
ИСО занимается и проблемами сертификации.

14. Метрологическая электротехническая комиссия (МЭК)

• международная некоммерческая организация по стандартизации в области электрических, электронных и
смежных технологий. Некоторые из стандартов МЭК разрабатываются совместно с Международной
организацией по стандартизации (ISO).

15. Метрологическая организация стран Центральной и Восточной Европы (КООМЕТ)

• Национальные организации по метрологии стран, входивших ранее в Совет Экономической взаимопомощи в
1991 г. подписали «Меморандум о сотрудничестве в области метрологии» на уровне национальных
метрологических служб.
• Основные положения Меморандума касаются территориальной принадлежности, членства в организации,
областей сотрудничества, структуры организации КООМЕТ и ее международных связей.

16. «Государственная система стандартизации Российской Федерации»

17.

Стандартизация – это деятельность, направленная на разработку и установление
требований, норм, правил и характеристик (обязательных для выполнения и
рекомендуемых), обеспечивающая право потребителя на приобретение товаров
надлежащего качества за приемлемую цену, а также право на безопасность и
комфортность труда.
Цель стандартизации – достижение оптимальной степени упорядочения в той или
иной области деятельности посредством широкого и многократного использования
установленных положений, требований и норм для решения реально существующих,
планируемых или потенциальных задач.
Объект стандартизации – продукция, процесс или
услуга, для которых разрабатывается те или иные
требования, характеристик, параметры, правила и т. п.
Стандартизация может касаться либо объекта, либо его
отдельных составляющих.

18.

Область стандартизации – совокупность взаимосвязанных объектов
стандартизации. Например, машиностроение – область стандартизации, а
объектами стандартизации в машиностроении могут быть технологические
процессы изготовления машин, металлические материалы, типы двигателей и т.д.

19.

Стандарт – это нормативный документ, разработанный на основе консенсуса,
утвержденный призванным органом и направленный на достижение оптимальной
степени упорядочения в определенной области. В стандарте устанавливают для
всеобщего и многократного использования общие принципы, правила и
характеристики, касающиеся содержания различных видов деятельности или их
результатов. Стандарты разрабатывают на основе достижений наук, техники и
передового опыта; они содержат показатели, коорые гарантируют возможность
повышения качества продукции (и экономические ее производства), а также
уровня ее взаимозаменяемости.
Технические условия (ТУ) – нормативно-технический документ по
стандартизации, устанавливающий комплекс требований к конкретным типам,
маркам, артикулам продукции. Технические условия являются неотъемлемой
частью комплекта технической документации на продукцию, на которую они
распространяются.
Регламент – это документ, в котором содержатся обязательные правовые нормы.
Принимается регламент органом власти, а не органом по стандартизации.
Разновидность регламентов – технический регламент – содержит технические
требования к объекту стандартизации.

20.

Симплификация - форма стандартизации, цель которой — уменьшить число типов или
других разновидностей изделий до числа, достаточного для удовлетворения существующих в
данное время потребностей.
Унификация - приведение к единообразной системе или форме.
Типизация придание типовых форм, использование типичных, общих для многих объектов и процессов
приемов, методов, решений.
Агрегатирование - это метод конструирования машин и оборудования путем
применения ограниченного числа унифицированных и стандартных деталей и сборочных
единиц, обладающих функциональной и геометрической взаимозаменяемостью.

21. «Стандартизация в различных сферах. Международная стандартизация»

22. Международная стандартизация – стандартизация, участие в которой открыто для соответствующих органов всех стран.

Международная стандартизация – стандартизация, участие в
которой открыто для соответствующих органов всех стран.
Целями международной стандартизации являются:
- сближение уровня качества продукции, изготавливаемой в различных странах;
- обеспечение взаимозаменяемости элементов сложной продукции;
- содействие международной торговле;
- содействие взаимному обмену научно-технической информацией и ускорение научно-технического
прогресса.

23.

Официальные международные организации
стандартизации
Международная организация по стандартизации - ISO
Международная электротехническая комиссия – IEC
Международный союз электросвязи – ITU
Эти организации обладают признанными всеми странами полномочиями издавать
международные стандарты.

24. Европейские организации стандартизации информационных технологий

CEN - Европейский комитет по стандартизации
CENELEC - Европейский комитет электротехнической
стандартизации
ETSI - Европейский институт по стандартизации в области
телекоммуникаций

25. «Содержание и назначение системы ГОСТ: ЕСКД, ЕСТД, ЕСТПП»

26.

• ГОСТ (Государственный стандарт) одна из основных категорий стандартов в
СССР, сегодня межгосударственный стандарт в
СНГ. Принимается Межгосударственным советом по стандартизации, метрологии и сертификации (МГС).
• ГОСТ, принимаемый только в России, имеет наименование «ГОСТ Р». Код ГОСТ состоит из номера и года
утверждения стандарта, разделённых дефисом.
• Например, ГОСТ с номером, содержащим префикс «2.», относится к Единой системе конструкторской доку
ментации (ЕСКД).

27. ЕСКД

Единые правила и положения по порядку разработки,
оформлению и обращению конструкторской документации
сформулированы в комплексе государственных стандартов
«Единая система конструкторской документации» (ЕСКД).
ЕСКД позволяет обеспечить:
1.Единство языка и терминологии.
2.Обмен конструкторской документации между предприятиями
различных отраслей.
3.Совершенствование организации проектно-конструкторских
работ, а так же учёт, хранение и возможность использования
КД в системе АСУ.

28. ЕСТД

ЕСТД-это комплекс стандартов и руководящих
нормативных документов, устанавливающих
взаимосвязанные правила по порядку разработки,
по комплектации и обращению технологической
документации.
ЕСТД предназначена обеспечить:
1.единообразие в оформление технологической
документации;
2.передачу ее от одного предприятия другому с
минимальным переоформлением;
3.создание условий для разработки прогрессивных
технологических процессов;
4.создание информационной базы для АСУ;
5.обеспечения взаимодействия со стандартами ЕСКД и
ЕСТПП.

29. ЕСТПП

ЕСТПП – комплекс стандартов по единой
технологической подготовке производства.
ЕСТПП-она определяет совокупность мероприятий,
обеспечивающих технологическую готовность
производства т.е наличия компонентов конструкторской
и технологической документации и СТО.
ЕСТПП предназначена обеспечить:
1.установление такой системы организации и
управления ТПП, которая обеспечила бы единый для
всех предприятий подход к применению методов и
средств ТПП
2.организацию производства, которое обладало бы
высокой гибкостью и способностью к переналадке на
выпуск новых изделий
3.механизацию и автоматизацию инженернотехнических и управленческих работ по ТПП
4.взаимосвязь ТПП с другими системами и подсистемами
управления

30. Техническое регулирование

31. Обязательные требования ТР

Техническое регулирование
Федеральный закон «О техническом регулировании»
регулирует правовые отношения участников рынка , которые возникают при разработке, принятии, применении и
исполнении обязательных и добровольных требований к продукции, процессам и услугам, а также при оценке
соответствия этим требованиям.
Обязательные требования, устанавливаемые TP
Электромагнитная
совместимость
Безопасность
Единство измерений

32. Технический регламент (ТР)

Технический регламент - это документ особого рода, который устанавливает обязательные требования к продукции и
процессам жизнедеятельности предприятий, он имеет определенное содержание и принят по специальной
процедуре :
-Федеральным законам
-Постановлениям правительства РФ
-Указам Президента РФ
-Ратифицирован международным договором.
Технический регламент – наиболее жесткая форма регулирования со стороны государства.
Применяется в тех случаях, когда другие формы регулирования не обеспечивают безопасность общества и граждан.
Основной аргумент необходимости разработки технического регламента на продукцию и процессы – это степень
риска причинения вреда.

33.

Объекты технического регулирования
1
Продукция
2
Услуги
4
3
Работа
5
6
Процессы
жизненного
цикла продукции
Субъекты технического регулирования
Органы власти
Органы сертификации
(в рамках обязательной сертификации
системы ГОСТ Р, аккредитованные
испытательные лаборатории)
Органы гос. контроля (надзора) за
соблюдением требований технического
законодательства (федеральные службы
по надзору)
Субъекты хозяйственной
(предпринимательской) деятельности
(правительство и министерства РФ)
Разработчики технических
законов и стандартов
7

34. Принципы Технического регулирования (ТР)

1
Применение единых правил
установления требований к
продукции, процессам , исполнению
работ, оказанию услуг
4
Единая система и правила
аккредитации
7
2
Независимость органов по
аккредитации и органов по
сертификации от изготовителей,
продавцов, исполнителей и
потребителей
5
Соответствие ТР уровням развития
национальной экономики и научнотехнического развития
Недопустимость внебюджетного
финансирования государственного контроля
(надзора) за соблюдением обязательных
требований
3
Единство правил и методов
испытаний при обязательной
оценке соответствия
6
Не допустимость совмещения
полномочий одним органом:
•Контроля и сертификации
•Аккредитации и сертификации

35. Цели принятия технических регламентов

защита жизни и
здоровья граждан,
имущества физических
или юридических лиц,
государственного или
муниципального
имущества
охрана окружающей
среды, жизни и
здоровья животных и
растений
предупреждение
действий, вводящих
в заблуждение
потребителей
обязательные элементы ТР
перечень и описание
объектов технического
регулирования
обязательные
требования к
характеристикам
объектов
правила и формы
оценки соответствия
правила
идентификации
объектов TP

36. Организация работ по стандартизации в сфере информатизации

37. Стандартизация в сфере ИТ

• Организации, разрабатывающие стандарты с сфере ИТ: ИСО,
МЭК, МСЭ, СЕН, СЭНЭЛЕК
• В России: Росстандарт, Министерство связи и массовых
коммуникаций, РАН

38. Виды стандартов

Де-факто
Популярный
продукт
пользователя (SQL)
Де-юре
Создается
признанной
организацией (OSI)
Стандарты

39. Наиболее известные стандарты в области ПО

RATIONAL UNIFIED PROCESS (RUP) — МЕТОДОЛОГИЯ РАЗРАБОТКИ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ
TICKIT — СХЕМА СЕРТИФИКАЦИИ СИСТЕМ КАЧЕСТВА ДЛЯ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ
CAPABILITY MATURITY MODEL — МОДЕЛЬ ЗРЕЛОСТИ ВОЗМОЖНОСТЕЙ СОЗДАНИЯ ПО
ORACLE UNIFIED METHOD — ФРЕЙМВОРК ДЛЯ ИТЕРАТИВНОГО И ИНКРЕМЕНТАЛЬНОГО ПРОЦЕССА РАЗРАБОТКИ ПО
ISO/IEC 12207 - СТАНДАРТ ISO, ОПИСЫВАЮЩИЙ ПРОЦЕССЫ ЖИЗНЕННОГО ЦИКЛА ПО ОТ КОНЦЕПЦИИ ДО ИЗЪЯТИЯ
ИЗ ОБРАЩЕНИЯ
CLEANROOM SOFTWARE ENGINEERING — ТЕХНОЛОГИЯ РАЗРАБОТКИ НАДЕЖНОГО ПО, НЕ СОДЕРЖАЩЕГО ОШИБОК
Стандарты ISO серии 9000 — серия международных стандартов, содержащих определения, основные принципы
и требования к системе менеджмента качества организаций и предприятий
CAPABILITY MATURITY MODEL INTEGRATION (CMMI) — КОМПЛЕКСНАЯ МОДЕЛЬ ПРОИЗВОДИТЕЛЬНОСТИ
И ЗРЕЛОСТИ

40. Объединенный технический комитет 1 (Joint Technical Committee 1  — JTC1 (ИСО+МЭК)

Объединенный
технический комитет 1 (Joint Technical Committee
1 — JTC1 (ИСО+МЭК)
В
стандартизацию
в области ITтехнологий на
международном
уровне
наибольший
вклад вносит
• около двух десятков
подкомитетов и рабочих
групп, в которых работают
представители более 50
стран, в том числе и России

41. Подкомитеты JTC1

ПК 7 (SC7) — Программное обеспечение и системотехника
ПК (SC18) — Текстовые и офисные системы
ПК (SC22) — Языки программирования, их окружение и интерфейсы системного
программного обеспечения
ПК (SC24) — Компьютерная графика, обработка изображений и представление
пространственных данных

42. Стандарты СССР

ГОСТ серии 24
• Единая система стандартов автоматизированных систем управления
ГОСТ серии 34
• Комплекс стандартов на автоматизированные системы
ГОСТ серии 19
• Единая система программной документации (ЕСПД), 1980 г. комплекс государственных стандартов РФ, устанавливают правила
разработки, оформления и обращения программ и программной
документации

43. Разработка ПО регламентированная ГОСТами

44. Стадии разработки ПО (Жизненный цикл), регламентированные ГОСТами

ГОСТ 19.102-77 «Стадии разработки
программ и программной документации»
содержит следующие стадии и этапы:

45. Разработка технического задания

• Обоснование необходимости разработки программ
• Выполнение научно-исследовательских работ
• Разработка и утверждение технического задания
Результатом выполнения данной стадии является техническое задание,
оформленное в соответствии с ГОСТ 19.105- 78 (изм. 09.1981) «Общие требования
к программным документам» и ГОСТ 19.106-78 «Общие требования к
программным документам, выполненным печатным способом на листах
формата 11 и 12».

46. Эскизный проект

• Пояснительная записка эскизного проекта оформляется
согласно ГОСТ 19.105-78 и ГОСТ 19.404-79.
• ГОСТ 19.601-78 «Общие правила дублирования, обращения,
учета и хранения» и ГОСТ 19.602-78 «Правила дублирования,
учета и хранения программных документов, выполненных
печатным способом».
• ГОСТ 19.603-78 «Общие правила внесения изменений в
программные документы»
• ГОСТ 19.604-78 «Правила внесения изменений в программные
документы, выполненные печатным способом».

47. Технический проект

48. Рабочий проект

• описание ПО на выбранном проблемноориентированном языке (кодирование),
• отладка,
• разработка,
• согласование и утверждение порядка и
методики испытаний,
• разработка программных документов,
• проведение тестирования,
• корректировка программ и программной
документации по результатам
тестирования,
• проведение приемо-сдаточных испытаний.

49. Качество ПО

• Качество программного обеспечения –
способность программного продукта подтвердить
свою спецификацию при условии, что
спецификация ориентирована на характеристики,
которые желает получить пользователь.
• Основой регламентирования показателей
качества программных средств ранее являлся
международный стандарт ISO 9126:1991 (ГОСТ Р
ИСО/МЭК 9126-93) «Информационная технология.
Оценка программного продукта. Характеристики
качества и руководство по их применению».
• Международный стандарт ISO 14598, состоящий
из шести частей.

50. Общая схема процессов оценки характеристик качества программ

• установка исходных требований для оценки
• селекция
метрик
качества,
установление
рейтингов и уровней приоритета метрик
субхарактеристик и атрибутов, выделение
критериев для проведения экспертиз и
измерений;
• планирование и проектирование процессов
оценки характеристик и атрибутов качества в
жизненном цикле программного средства;
• выполнение измерений для оценки, сравнение
результатов с критериями и требованиями,
обобщение и оценка результатов.

51.

Характеристики и субхарактеристики
качества (ISO 9126-1)
• Функциональная пригодность
• Оценка корректности программных средств
• Оценка способности к взаимодействию
• Оценка защищенности программных средств
• Оценка надежности
• Потребность в ресурсах памяти и производительности
• Оценка практичности
• Сопровождаемость
• Оценка мобильности

52. Определения характеристик и субхарактеристик качества (ISO 9126-1)

• Функциональные возможности – способность программного
средства обеспечивать решение задач, удовлетворяющих
сформулированные потребности заказчиков и пользователей при
применении комплекса программ в за-данных условиях.
• Функциональная пригодность – набор и описания субхарактеристики
и ее атрибутов, определяющие назначение, номенклатуру, основные,
необходимые и достаточные функции программного средства,
соответствующие техническому заданию и спецификациям
требований заказчика или потенциального пользователя.
• Правильность (корректность) – способность программного средства
обеспечивать правильные или приемлемые для пользователя
результаты и внешние эффекты.

53.

Определения характеристик и субхарактеристик качества
(ISO 9126-1)
• Способность к взаимодействию – свойство программных средств и их
компонентов взаимодействовать с одной или большим числом
компонентов внутренней и внешней среды.
• Защищенность – способность компонентов программного средства
защищать программы и информацию от любых негативных
воздействий.
• Надежность – обеспечение комплексом программ достаточно низкой
вероятности отказа в процессе функционирования программного
средства в реальном времени.
• Эффективность – свойства программного средства, обеспечивающие
требуемую производительность решения функциональных задач, с
учетом количества используемых вычислительных ресурсов в
установленных условиях.

54.

Определения характеристик и субхарактеристик качества
(ISO 9126-1)
• Практичность (применимость) – свойства программного средства,
обусловливающие сложность его понимания, изучения и
использования, а также привлекательность для квалифицированных
пользователей при приме-нении в указанных условиях.
• Сопровождаемость – приспособленность программного средства к модификации и изменению конфигурации и функций.
• Мобильность – подготовленность программного средства к переносу из
одной аппаратно-операционной среды в другую.

55. Надёжность программного обеспечения

• Надежность программного обеспечения – способность
программного продукта безотказно выполнять определенные
функции при заданных условиях в течение заданного периода
времени с достаточно большой вероятностью.
• Степень надежности характеризуется вероятностью работы
программного продукта без отказа в течение определенного периода
времени.
• Отказ – это нарушение работоспособности программного изделия,
являющееся следствием таких явлений, как нарушения кодов записи
программ впамяти, стирания или искажения данных в оперативной
или долговременной памяти, нарушения нормального хода
вычислительного процесса.
• Сбой – это самоустраняющийся отказ , не требующий внешнего
вмешательства. Основное различие между сбоем и отказом – по
временному показателю длительности восстановления.

56.

Принципы определения надежности
1. Число ошибок в программе – величина «ненаблюдаемая»,
наблюдаются не сами ошибки, а результат их проявления.
2. Неверное срабатывание программы может быть следствием не
одной, а сразу нескольких ошибок.
3.Ошибки могут компенсировать друг друга, так что после
исправления какой-то одной ошибки программа может начать
«работать хуже».
4.Надежность характеризует частоту проявления ошибок, но не их
количество.

57. Сущность и проведение сертификации

58. Сертификация

процедура подтверждения соответствия результата
производственной деятельности нормативным
требованиям, посредством которой третья сторона
документально удостоверяет, что продукция, работа
или услуга соответствует заданным требованиям.
Система качества
Оценка системы
качества
Совокупность
организационной
структуры, методик,
процессов и ресурсов,
необходимых для
осуществления общего
руководства качеством.
Определение возможности
системы качества
заявителя соответствовать
требованиям заявленной
модели обеспечения
качества.

59. Органы сертификации, также как и обязательный сертификат соответствия появились в 1993 году.

Система сертификации – система,
обладающая собственными правилами
процедуры и управления для
проведения сертификации.
Системы сертификации могут
действовать на национальном,
региональном и международном
уровнях.
Орган по сертификации - орган,
проводящий сертификацию
соответствия. Орган по сертификации
может сам проводить испытания или же
осуществлять надзор за этой
деятельностью, проводимой по его
поручению другими органами.
Испытательная
лаборатория - лаборатория
(центр), который проводит
испытания в процессе
сертификации.

60. Схема сертификации - это совокупность действий, официально установленная и применяемая в качестве доказательства соответствия

Схема сертификации - это совокупность действий, официально
установленная и применяемая в качестве доказательства соответствия заданным
требованиям.
В работах по сертификации участвуют:
• заявитель;
• орган сертификации;
• испытательная лаборатория;
• эксперт.
Аккредитация (испытательной
лаборатории или органа по
сертификации) - процедура,
посредством которой уполномоченный в
соответствии с законодательными
актами Российской Федерации орган
официально признает возможность
выполнения испытательной
Заявитель - организация, подавшая заявку на
лабораторией или органом по
сертификацию системы качества.
сертификации конкретных работ в
заявленной области.
Эксперт - специалист, имеющий квалификацию для проведения
проверки системы качества и получивший в Регистре персонала
Системы сертификации ГОСТ Р сертификат на право проведения работ.

61. В Российской Федерации действует национальная Система сертификации ГОСТ Р.

В Российской Федерации действует национальная Система сертификации
ГОСТ Р.

62. Алгоритм сертификации

63. Основные понятия и термины в области сертификации

Знак соответствия (в области сертификации) - защищенный в установленном
порядке знак, применяемый или выданный в соответствии с правилами системы
сертификации, указывающий, что обеспечивается необходимая уверенность в том, что
данная продукция, процесс или услуга соответствует конкретному стандарту или
другому нормативному документу.
Технические условия (ТУ) - документ, устанавливающий технические
требования, которым должна удовлетворять продукция, процесс или услуга. ТУ могут
быть стандартом, частью стандарта или самостоятельным документом.
Выделяют два вида сертификации:
Обязательная сертификация

64. ОРГАНИЗАЦИЯ РАБОТ ПО СЕРТИФИКАЦИИ СРЕДСТВ И СИСТЕМ ИНФОРМАТИЗАЦИИ В РОССИЙСКОЙ ФЕДЕРАЦИИ

обязательная сертификация средств информатизации на
соответствие требованиям электромагнитной совместимости, а также
требованиям, обеспечивающим безопасность жизни, здоровья,
имущества потребителей и охрану среды обитания;
добровольная сертификация функциональных параметров
средств и систем информатизации, по номенклатуре и характеристикам,
устанавливаемым отраслевыми (фирменными) стандартами, и
учитывающим различные аспекты применения аппаратуры и
программного обеспечения.

65.

Основные понятия и термины в области
сертификации
Сертификат соответствия системы качества - Документ,
подтверждающий, что система качества организации соответствует
установленным требованиям.
Ресертификация - подтверждение соответствия системы качества после
окончания срока действия или отмены срока действия сертификата.

66.

Международная сертификация
Германия
Сертификация в Германии базируется на законе
об
ответственности
за
изготовление
недоброкачественной
продукции,
который
гармонизирован с законодательством стран — членов
ЕС и служит законодательной базой для сертификации
в рамках единого рынка. Общенациональная система
сертификации в стране включает несколько систем
сертификации,
удовлетворяющих
потребности
германской экономики на 80—90%. Среди наиболее
известных — Система А1 — система сертификации
соответствия стандартам DIN.
Система А1 охватывает все виды изделий, на
которые установлены требования в стандартах DIN. К
ней имеют
одинаковый доступ германские и
зарубежные
организации,
заинтересованные
в
сертификации своей продукции. Система носит
добровольный характер.

67.

Международная сертификация
Франция
Сертификация во Франции существует с 1939 г.
Первым законом в этой области был Закон о знаке
соответствия национальным стандартам NF, который с
последующими
изменениями
и
дополнениями
действует
и
сегодня.
Ответственность
за
сертификацию
возложена
на
Французскую
ассоциацию по стандартизации (AFNOR).
AFNOR определяет полномочия испытательных
центров и лабораторий, отвечает за их аккредитацию.

68.

Международная сертификация
США
Общее руководство сертификацией в стране
осуществляет
Сертификационный
комитет,
действующий в составе NIST. Комитет координирует
работы по стандартизации и представляет США в ИСО,
МЭК и других международных организациях.
Национальный институт стандартов и технологии
- Миссия института «продвигать» инновационную и
индустриальную конкурентоспособность США путём
развития наук об измерениях, стандартизации и
технологий с целью повышения экономической
безопасности и улучшения качества жизни.

69.

Международная сертификация
Япония
Набор
требований,
используемых
в
промышленности Японии. Процесс стандартизации
координируется
Комитетом
по
промышленным
стандартам
Японии.
Комплекс
стандартов JIS предложен Японской ассоциацией
стандартов (Japanese Standards Association).

70.

Международная сертификация
Европа
Продукция, поставляемая на рынки Европейского
союза, должна соответствовать применяемым в
Евросоюзе стандартам качества и быть безопасной
для
потребителей,
животных,
имущества
и
окружающей
среды.
С
целью
подтверждения
соответствия минимальным нормам безопасности на
территории 28 стран Европейского союза, а так же в
Исландии,
Норвегии,
Лихтенштейне
и
Турции
применяется CE маркировка товаров.

71.

Международная сертификация
МИР
Генеральное
соглашение
по
тарифам
и
торговле ГАТТ — международное соглашение,
заключенное в 1947 году с целью восстановления
экономики после Второй мировой войны, которое на
протяжении почти 50 лет фактически выполняло
функции международной организации (ныне —
Всемирная торговая организация - ВПО).

72. Сертификат соответствия

73. Сертификация

процедура, в результате которой третья независимая от изготовителя (продавца, исполнителя)
и потребителя (покупателя) сторона подтверждает соответствие объектов (продукция, услуги,
работы, системы качества, персонал, рабочие места) требованиям технических регламентов,
положениям стандартов или условиям договоров
Сертификат соответствия
документ, выданный согласно правилам системы сертификации и указывающий, что
данная продукция, технологический процесс или услуга находятся в соответствии с
определенными стандартами или другими документами, устанавливающими требования к
ним.

74. Закон «О защите прав потребителей» (1992 г.)

регулирует отношения, возникающие между
потребителями и изготовителями,
исполнителями, продавцами при продаже
товаров (выполнении работ, оказании услуг);
устанавливает права потребителя на
приобретение товаров (работ, услуг)
надлежащего качества и безопасных для жизни
и здоровья;
гарантирует получение информации о товарах
(работах, услугах) и об их изготовителях
(исполнителях, продавцах);
обеспечивает государственную и общественную
защиту их интересов, а также определяет
механизмы реализации этих прав.
Закон «О защите
прав потребителей»
(ст. 5)
Обязательной сертификации подлежат:
товары (работы, услуги), на которые в
законодательных актах, государственных
стандартах установлены требования,
направленные на обеспечение безопасности
жизни, здоровья потребителей и охраны
окружающей среды, а также на предотвращение
причинения вреда имуществу потребителей;
средства, обеспечивающие безопасность жизни
и здоровья потребителей.

75. Закон «О защите прав потребителей»

Каждая единица или партия товара,
реализуемая через розничную
торговую сеть, должна
сопровождаться сертификатом
соответствия, который продавец
обязан предъявлять покупателю по
его требованию.
Реализация товаров (в том числе
импортных), выполнение работ и
оказание услуг без сертификата,
подтверждающего их соответствие
обязательным требованиям
стандартов по безопасности, Законом
запрещены.

76. Сертификация осуществляется в целях:

удостоверения соответствия продукции, процессов производства, эксплуатации, хранения,
перевозки, реализации и утилизации, работ, услуг или иных объектов техническим
регламентам, стандартам, условиям договоров;
содействия приобретателям в компетентном выборе продукции, работ, услуг на российском и
международном рынках;
создания условий для обеспечения свободного перемещения товаров по территории РФ, а
также для осуществления международного экономического, научно-технического
сотрудничества и международной торговли.

77.

ПРИНЦИПЫ ПОДТВЕРЖДЕНИЯ СООТВЕТСТВИЯ
доступности информации о порядке осуществления подтверждения соответствия
заинтересованным лицам;
недопустимости применения обязательного подтверждения соответствия к объектам, в
отношении которых не установлены требования технических регламентов;
установления перечня форм и схем обязательного подтверждения соответствия в
отношении определенных видов продукции в соответствующем техническом
регламенте;
уменьшения сроков осуществления обязательного подтверждения соответствия и
затрат заявителя;
недопустимости принуждения к осуществлению добровольного подтверждения
соответствия, в том числе в определенной системе добровольной сертификации;
защиты имущественных интересов заявителей, соблюдения коммерческой тайны в
отношении сведений, полученных при осуществлении подтверждения соответствия;
недопустимости подмены обязательного подтверждения соответствия добровольной
сертификацией.

78. Сертификация по принципу:


добровольная сертификация
проводится по инициативе
заявителей (изготовителей,
продавцов, исполнителей) в
целях подтверждения
соответствия продукции
требованиям стандартов,
технических условий, рецептур и
других документов,
определяемых заявителем

обязательная сертификация
проводится только в случаях,
установленных соответствующим
техническим регламентом, и
исключительно на соответствие
требованиям этого регламента
Сертификация по принадлежности системе:
гигиеническая сертификация
пожарная сертификация
сертификация на соответствие
сертификация систем качества

79. Гигиенический сертификат

документ, подтверждающий, что продукция, вид
деятельности или технические условия
соответствуют установленным гигиеническим
нормам и санитарным правилам
Сертификат пожарной
безопасности
документ, подтверждающий, что
продукция соответствует требованиям
(правилам) пожарной безопасности

80. Приказ Минздрава России от 20 июля 98 г. № 217 «Об утверждении Положения о проведении гигиенической оценки продукции, товаров и

производств»
Приказом
утвержден
"Перечень
продукции, подлежащей гигиенической
оценке в обязательном порядке и форма
гигиенического заключения".
Приказ Главного управления
государственной
противопожарной службы МВД
России от 17 ноября 1998 г. № 73с
«Об утверждении и введении в
действие Перечня продукции,
подлежащей обязательной
сертификации в области
пожарной безопасности в
Российской Федерации».
В перечень включены строительные материалы и
изделия, на которые для их применения в
строительстве
необходимо
в
обязательном
порядке
получать
сертификат
пожарной
безопасности.
Перечень включает также средства обеспечения
пожарной
безопасности,
электротехнические
устройства, теплогенераторы и др.

81. Сертификат соответствия

выдается на продукцию, используемую в
строительстве, и подтверждающий, что
продукция соответствует требованиям основных
нормативно-технических документов,
установленных для данной продукции при
сертификации в строительстве
Декларация о соответствии
Документ, в котором изготовитель (продавец,
исполнитель) удостоверяет, что поставляемая
(продаваемая) им продукция соответствует
установленным требованиям. Перечень продукции,
соответствие которой может быть подтверждено
декларацией о соответствии, требования к
декларации о соответствии и порядок ее принятия
утверждаются Правительством РФ.

82.

ПОСТАНОВЛЕНИЕ ПРАВИТЕЛЬСТВА РОССИЙСКОЙ
ФЕДЕРАЦИИ
от 1 декабря 2009 года N 982
Об утверждении единого перечня продукции, подлежащей
обязательной сертификации, и единого перечня продукции,
подтверждение соответствия которой осуществляется в форме
принятия декларации о соответствии

83. Знак соответствия

Защищенный в установленном порядке знак,
применяемый в соответствии с правилами
системы сертификации, подтверждающий, что
продукция соответствует конкретному стандарту
или другому нормативному документу.
Знак соответствия
техническому регламенту
(ТР) Российской
Федерации

84. Сертификат соответствия системы качества

Сертификат ИСО 9000 (требованиям
стандарта ISO 9001:2000) - это
официальный документ,
подтверждающий, что деятельность по
производству продукции /
предоставлению услуг (включая
послепродажное обслуживание)
организована в соответствии с
требованиями международного стандарта
ISO 9001:2000 (ГОСТ Р ИСО 9001-2011)

85. Требуется сертификат ИСО 9000

Для участия в тендерах, где заказчиком является государственное
ведомство либо зарубежная компания (довольно распространенное
условие для входа на западный рынок - наличие сертификата ИСО
9000);
Для облегчения взаимодействия с госструктурами;
Для повышения имиджа компании на рынке и повышения
эффективности бизнес-процессов внутри организации и при
взаимодействии с потребителями.

86. Сертификат соответствия Таможенного Союза

Сертификат соответствия Таможенного Союза —
это документ, оформляемый аккредитованными
органами сертификации для подтверждения
соответствия продукции требованиям действующих
технических регламентов ТС. Документ имеет
юридическую силу на территории всех государств
Евразийского Экономического Союза.
Знак ЕАС - это знак обращения продукции на рынке
Таможенного союза .
Знаком ЕАС маркируется продукция, которая
полежит обязательной сертификации или
декларированию соответствия по требованиям
технических регламентов Таможенного Союза.
Знак ЕАС информирует потребителя, о том, что на
продукцию был оформлен
сертификат или декларация Таможенного Союза.
Нанесение на упаковку продукции знака ЕАС
является обязательным требованием действующих
технических регламентов ТС.

87. АЛГОРИТМ СЕРТИФИКАЦИИ

1. Подача заявителем в орган по сертификации продукции заявки с прилагаемой
технической документацией (СТО, протоколы испытаний, проведенных
изготовителем, др. документы, прямо или косвенно подтверждающие
соответствие требованиям безопасности)
2. Рассмотрение заявки и принятие по ней решения органом по сертификации
(ОС)
3. Отбор ОС образцов для проведения испытаний
4. Проведение испытаний образцов продукции аккредитованной испытательной
лабораторией
5. Проведение ОС анализа состояния производства
6. Обобщение ОС результатов испытаний и анализа состояния производства и
выдача сертификата соответствия
7. Нанесение единого знака обращения
8. Инспекционный контроль за сертифицированной продукцией

88. Нормативно-правовые документы и стандарты в области защиты информации и информационной безопасности

В состав законодательства по обеспечению
информационной безопасности включаются
федеральные законы, подзаконные нормативные
правовые акты федеральных органов исполнительной
власти, законы и подзаконные нормативные правовые
акты субъектов Российской Федерации.
4 Федеральный закон от 21 июня 1993 № 5485–1
«О государственной тайне», Федеральные
законы от 29 июля 2004 № 98-ФЗ
«О коммерческой тайне» и от 27.07.2006 г. № 152ФЗ «О персональных данных» (89, 90,
91) устанавливают правовые режимы информации
ограниченного доступа, в том числе, сведений,
составляющих государственную и коммерческую
тайну.
К числу наиболее значимых нормативных
правовые актов в области обеспечения
информационной безопасности относятся
следующие законы и подзаконные акты.
1 Конституция Российской
Федерации содержит нормы, которые
определяют правовые основы
информационной безопасности
2 Федеральный закон от 28 декабря
2010 г. N 390-ФЗ «О безопасности»
3 Федеральный закон от 27.07.2006, г.,
№ 149-ФЗ «Об информации,
информационных технологиях и о
защите информации»

89. Нормативно-правовые документы и стандарты в области защиты информации и информационной безопасности

В состав законодательства по обеспечению
информационной безопасности включаются
федеральные законы, подзаконные нормативные
правовые акты федеральных органов исполнительной
власти, законы и подзаконные нормативные правовые
акты субъектов Российской Федерации.
К числу наиболее значимых нормативных
правовые актов в области обеспечения
информационной безопасности относятся
следующие законы и подзаконные акты.
8 Указ Президента РФ от 17 марта 2008 г. № 351
«О мерах по обеспечению информационной
безопасности Российской Федерации при использовании
информационно-телекоммуникационных сетей
международного информационного обмена»
6 Уголовный кодекс РФ в главе 28 Кодекса
предусматривает ответственность
за совершение преступлений в сфере
компьютерной информации
9 Приказом ФСО России от 07.08.2009 N
487 утверждено Положение о сегменте
информационно-телекоммуникационной сети
Интернет
5 Федеральный закон от 6 апреля 2011 г.
№ 63-ФЗ «Об электронной подписи»
7 Трудовой кодекс РФ устанавливает
правовой режим персональных данных
работника, определяет общие требования
по их обработке и защите, устанавливает
сроки хранения таких данных и процедуру
их использования.

90. Основные виды технической и технологической документации

91. Документация на программный продукт

Документация
управления
проектом
Документация
продукции
Документация
разработки
• организационные
документы,
которыми
обмениваются
между собой те,
кто так или иначе
участвует в
создании
программы.
• технические
документы,
которыми
обмениваются
между собой те,
кто так или иначе
участвует в
создании
программы.
• технические
документы,
которые
предоставляются
потребителю в
комплекте
поставки
программы или
отдельно от нее.
Эксплуатационная документация – это вид технической документации,
описывающий порядок установки, настройки и использования
разработанного программного обеспечения (автоматизированной
системы).

92. Основные документы, которые входят в состав эксплуатационной документации

– руководство пользователя;
– руководство администратора;
– руководство программиста и др.
Отечественные стандарты, разрабатываемые
эксплуатационную документацию
ЕСКД, Единая система конструкторской документации (ГОСТ 2);
ЕСПД, Единая система программной документации (ГОСТ 19);
КСАС, Комплекс стандартов на автоматизированные системы
(ГОСТ 34).

93. Нормативная база в области документирования ПС


1.ГОСТ 19.001-77 ЕСПД. Общие положения.
2.ГОСТ 19.101-77 ЕСПД. Виды программ и программных документов.
3.ГОСТ 19.102-77 ЕСПД. Стадии разработки.
4.ГОСТ 19.103-77 ЕСПД. Обозначение программ и программных доку-ментов.
5.ГОСТ 19.104-78 ЕСПД. Основные надписи.
6.ГОСТ 19.105-78 ЕСПД. Общие требования к программным документам.
7.ГОСТ 19.106-78 ЕСПД. Требования к программным документам, выполненным печатным способом.
8.ГОСТ 19.201-78 ЕСПД. Техническое задание. Требования к содержанию и оформлению.
9.ГОСТ 19.202-78 ЕСПД. Спецификация. Требования к содержанию и оформлению.
10. ГОСТ 19.301-79 ЕСПД. Порядок и методика испытаний.
11. ГОСТ 19.401-78 ЕСПД. Текст программы. Требования к содержанию и оформлению.
12. ГОСТ 19.402-78 ЕСПД. Описание программы.
13. ГОСТ 19.404-79 ЕСПД. Пояснительная записка. Требования к содержанию и оформлению.
14. ГОСТ 19.501-78 ЕСПД. Формуляр. Требования к содержанию и оформлению.
15. ГОСТ 19.502-78 ЕСПД. Описание применения. Требования к содержанию и оформлению.
16. ГОСТ 19.503-79 ЕСПД. Руководство системного программиста. Требования к содержанию и оформлению.
17. ГОСТ 19.504-79 ЕСПД. Руководство программиста.
18. ГОСТ 19.505-79 ЕСПД. Руководство оператора.
19. ГОСТ 19.506-79 ЕСПД. Описание языка.
20. ГОСТ 19.508-79 ЕСПД. Руководство по техническому обслуживанию. Требования к содержанию и оформлению.
21. ГОСТ 19.604-78 ЕСПД. Правила внесения изменений в программные документы, выполняемые печатным способом.

94. Виды программных документов

Вид программного
документа
Спецификация
Ведомость держателей
подлинников
Текст программы
Описание программы
Программа и методика
испытаний
Техническое задание
Содержание программного документа
Состав программы и документации на нее
Перечень предприятий, на которых хранят подлинники программных документов
Запись программы с необходимыми комментариями
Сведения о логической структуре и функционировании программы
Требования, подлежащие проверке при испытании программы, а также порядок и
методы их контроля
Назначение и область применения программы, технические, техникоэкономические и специальные требования, предъявляемые к программе,
необходимые стадии и сроки разработки, виды испытаний
Пояснительная записка
Схема алгоритма, общее описание алгоритма и (или) функционирования программы, а также обоснование принятых технических и технико-экономических
решений
Эксплуатационные
документы
Сведения для обеспечения функционирования и эксплуатации программы

95. Виды эксплуатационных документов

Вид эксплуатационного
документа
Содержание эксплуатационного документа
Ведомость эксплуатационных
документов
Перечень эксплуатационных документов на программу
Формуляр
Основные характеристики программы, комплектность и
сведения об эксплуатации программы
Описание применения
Сведения о назначении программы, области применения,
применяемых методах, классе решаемых задач,
ограничениях для применения, минимальной
конфигурации технических средств
Руководство системного
программиста
Сведения для проверки, обеспечения функционирования и
настройки программы на условия конкретного применения
Руководство программиста
Сведения для эксплуатации программы
Руководство оператора
Сведения для обеспечения процедуры общения оператора
с вычислительной системой в процессе выполнения
программы
Описание языка
Описание синтаксиса и семантики языка
Руководство по техническому
обслуживанию
Сведения для применения тестовых и диагностических
программ при обслуживании технических средств

96. Эксплуатационная документация на программный продукт

Документ
описание
программы
описание
применения
Аудитория
лица, принимающие решения о
приобретении, вводе в
эксплуатацию и способах
использования программы
описание языка
пользователи языка
(программисты, операторы,
кодеры, верстальщики)
паспорт
лица, ответственные за
эксплуатацию программы
ответственный пользователь
системы, обеспечивающий ее
целевое применение
руководство
администратора
руководство
оператора
операторы, работающие с
системой, частью которой
является программа
Примерное содержание
назначение и основные
возможности программы,
необходимые ей нее системные
ресурсы, входные и выходные
данные
основная идея языка, его синтаксис,
элементы и конструкции,
встроенные функции
краткие сведения о программе и
условиях ее поставки
управление учетными записями
пользователей, назначение
пользователям прав доступа,
ведение нормативно-справочной
информации, загрузка и выгрузка
данных
порядок выполнения
предусмотренных операций,
сообщения программы и
предписанные оператору способы
реакции на них

97.

Документ
Аудитория
Примерное содержание
назначение и возможности
программы, ее основные концепции,
интерфейс пользователя, порядок
решения типовых задач, описание
функций программы
руководство
пользователя
пользователи программы, т.е.
лица, применяющие ее для
решения собственных
прикладных задач
руководство
программиста
программисты,
архитектура программы или
сопровождающие программу
создаваемых на ее основе
или использующие ее в качестве
приложений, описание программных
платформы либо средства
интерфейсов к ее объектам,
разработки при создании
протоколов обмена данными и т. п.
собственных программ
руководство
системные администраторы,
системного
осуществляющие установку
администратора (си
программы и поддерживающие
стемного
систему в рабочем состоянии
программиста)
установка программы, ее интеграция
в систему, проверка правильности
функционирования, устранение
аварийных ситуаций
спецификация
лица, ответственные за
эксплуатацию программы
справочная
система («хелп»)
пользователи, операторы,
материал всех имеющихся
администраторы, системные
руководств и описаний, краткие
администраторы, программисты описания элементов интерфейса
и др.
пользователя программы
комплект поставки программы
English     Русский Правила