Инструменты системного администратора

1.

ИНСТРУМЕНТЫ СИСТЕМНОГО
АДМИНИСТРАТОРА

2.

ХОРОШЕМУ СИСТЕМНОМУ
АДМИНИСТРАТОРУ НУЖНЫ
ХОРОШИЕ ИНСТРУМЕНТЫ.
1 Резервное копирование
2 Автоматизация сборки
3 ChatOps
4 Клонирование
5 Облачные вычисления
6 Облачная оркестрация
7 Облачное хранилище
8 Просмотр кода
9 Организация совместной работы
10 База данных управления конфигурации

3.

ХОРОШЕМУ СИСТЕМНОМУ
АДМИНИСТРАТОРУ НУЖНЫ
ХОРОШИЕ ИНСТРУМЕНТЫ.
11 Управление конфигурацией
12 Непрерывная интеграция и развёртывание
13 Панели управления
14 Автоматизация развёртывания
15 Создание диаграмм
16 Распределённые файловые системы
17 DNS
18 Редакторы
19 Управление IT-активами
20 LDAP

4.

ХОРОШЕМУ СИСТЕМНОМУ
АДМИНИСТРАТОРУ НУЖНЫ
ХОРОШИЕ ИНСТРУМЕНТЫ.
21 Работа с логами
22 Почтовые серверы
23 Обмен сообщениями
24 Мониторинг
25 Показатели и сбор показателей
26 Управление конфигурацией сети
27 Рассылки
28 NoSQL
29 Упаковка
30 Распределение и планирование задач

5.

ХОРОШЕМУ СИСТЕМНОМУ
АДМИНИСТРАТОРУ НУЖНЫ
ХОРОШИЕ ИНСТРУМЕНТЫ.
31 СУБД
32 Безопасность
33 Обнаружение сервисов
34 Контейнеры
35 SSH
36 Статистика
37 Страницы состояния
38 Тикет-системы
39 Устранение неполадок и диагностика
40 Управление проектами

6.

ХОРОШЕМУ СИСТЕМНОМУ
АДМИНИСТРАТОРУ НУЖНЫ
ХОРОШИЕ ИНСТРУМЕНТЫ.
41 Управление версиями
42 Виртуализация
43 VPN
44 Веб
45 Веб-почта
46 Вики
47 Блоги
48 Книги
49 Рассылки для сисадминов
50 Репозитории
51 Сайты

7.

РЕЗЕРВНОЕ
КОПИРОВАНИЕ
Резервное копирование необходимо для формирования
архива данных, защищенного от изменений и повреждений, а
также восстановления в случае повреждения или сбоев в
первоисточнике. Виды бэкапов: Полный —
создание копии всех данных на устройстве или в отдельном
разделе памяти.

8.

РЕЗЕРВНОЕ
КОПИРОВАНИЕ
Amanda — программа для архивирования информации,
обладающая возможностью резервного копирования
данных, постоянно хранящихся на множестве
компьютеров в компьютерной сети;
Restic — быстрая, безопасная и эффективная программа
для резервного копирования;
UrBackup — простая в использовании система
резервного копирования;

9.

АВТОМАТИЗАЦИЯ
СБОРКИ
Автоматизация сборки - это жизненно важный инструмент
для системных администраторов и разработчиков.
Это сценарий или автоматизация процесса компиляции
исходного кода в двоичный файл.
Системные администраторы могут использовать инструменты
сборки для управления и обновления файлов конфигурации.

10.

АВТОМАТИЗАЦИЯ
СБОРКИ
Apache Ant — инструмент для автоматизации сборки.
Похож на make, написан на Java;
Apache Maven — инструмент для автоматизации сборки, в
основном для Java;
GNU Make — самый популярный инструмент для
автоматизации сборки с множеством применений;
Gradle — ещё один open-source инструмент для
автоматизации сборки.

11.

CHATOPS
ChatOps предоставляет контекст работы, который вы уже
делаете, в разговорах, которые вы ведете.
ChatOps по-прежнему остается свежим и необычным, когда
работа переходит в общий чат. Вы можете запускать команды
непосредственно из чата, и все в чате могут видеть историю
выполняемой команды, делать то же самое,
взаимодействовать друг с другом и даже учиться.
Информация и процесс принадлежат всей команде, это
приносит много преимуществ.
Вы можете приступить к выполнению таких операций, как
развертывание кода или серверов предоставления ресурсов
из чата, просмотр графиков из инструментов мониторинга,
отправка SMS, контроль ваших кластеров или просто запуск
простых команд оболочки.

12.

CHATOPS
CloudBot — простой, быстрый, расширяемый open-source
IRC-бот на Python;
Eggdrop — самый популярный open-source IRC-бот, гибкий и
простой в использовании;
Err — модульный чат-бот, который легко развернуть и
поддерживать;
Hubot — фреймворк для создания чат-ботов, созданный на
основе GitHub Campfire;
Lazlo — фреймворк для ChatOps-автоматизации,
написанный на Go;
Lita — чат-бот на Ruby;
KeyBase — чат-приложение с шифрованием, облаком и git.

13.

КЛОНИРОВАНИЕ
Самый быстрый способ подготовить новую систему к эксплуатации —
сделать ее копией уже существующей, т. е. клонировать. Клонирование
представляет собой процесс воспроизведения данной системы на
другом рабочем месте. Клонированная станция будет иметь
аналогичную версию операционной системы, те же установленные (и
соответствующим образом настроенные) прикладные программы
пользователей и т. п.
К клонированию прибегают при обновлении аппаратной части рабочего
места (новый системный блок), при создании новых рабочих мест и т. д.
Существуют различные способы клонирования. Новый образ можно
скопировать на жесткий диск, загрузившись со сменного носителя и
перенеся данные со сменного устройства или по сети с сервера, если
обеспечить удаленную загрузку новой рабочей станции. Первый вариант
более прост в настройке и использовании, второй — более гибок,
поскольку на сервере можно хранить образы для различных вариантов
установки, но и требует установки серверной части.

14.

КЛОНИРОВАНИЕ
Clonezilla — программа, предназначенная для
клонирования дисков и отдельных разделов жёсткого
диска, а также создания резервных копий и аварийного
восстановления системы;
Fog — open-source система для клонирования;
Redo Backup — простой, но эффективный инструмент
для резервного копирования и восстановления.

15.

ОБЛАЧНЫЕ
ВЫЧИСЛЕНИЯ
Облачные технологии — это технологии распределенной
обработки цифровых данных, с помощью которых
компьютерные ресурсы предоставляются интернетпользователю как онлайн-сервис.
Программы запускаются и выдают результаты работы в окне
web-браузера на локальном ПК.

16.

ОБЛАЧНЫЕ
ВЫЧИСЛЕНИЯ
CloudStack — open-source платформа облачных вычислений
для запуска и управления большими сетями виртуальных
машин;
Cobbler — сервер развёртывания Linux;
Mesos — создавайте и запускайте распределённые системы
с эффективным использованием ресурсов;
OpenNebula — облачная платформа для сисадминов и
devops;
Openshift Origin — дистрибутив Kubernetes для
непрерывной разработки приложений и их развёртывания,
разработанный Red Hat;
OpenStack — open-source программное обеспечение для
создания частных и публичных облаков;

17.

ОБЛАЧНОЕ
ХРАНИЛИЩЕ
Облачное хранилище – это модель облачных вычислений,
которая дает возможность хранить данные и файлы в
Интернете, пользуясь услугами поставщика облачных
вычислений, к которому вы подключаетесь либо через
общедоступный Интернет, либо через частное сетевое
соединение. Поставщик обеспечивает безопасное хранение и
обслуживание серверов хранилища, инфраструктуры и сети,
а также управление ими. Благодаря этому вы получаете
доступ к данным тогда, когда он вам нужен, практически в
неограниченном масштабе и с эластичным объемом. Если вы
пользуетесь облачным хранилищем, то отпадает
необходимость покупать и обслуживать собственную
инфраструктуру хранилища данных, что дает гибкость,
масштабируемость и надежность доступа к данным в любое
время и в любом месте.

18.

ОБЛАЧНОЕ
ХРАНИЛИЩЕ
git-annex assistant синхронизированная папка на всех
ваших устройствах под управлением OS X, Linux, Android,
а также на съёмных носителях и NAS-устройствах;
nextCloud — сетевой доступ к файлам;
ownCloud — предоставляет универсальный доступ к
файлам по сети;
Seafile — open-source решение для облачного хранения;
SparkleShare — предоставляет услуги по облачному
хранению и синхронизации файлов;
Swift — высокодоступное распределённое хранилище;
Syncthing — open-source система для зашифрованного
распределения данных.

19.

ПРОСМОТР КОДА
Просмотр кода (англ. code review) или инспекция кода (англ.
code inspection) — систематическая проверка исходного кода
программы с целью обнаружения и исправления ошибок,
которые остались незамеченными в начальной фазе разработки.
Целью просмотра является улучшение качества программного
продукта и совершенствование навыков разработчика.
В процессе инспекции кода могут быть найдены и устранены
такие проблемы, как ошибки в форматировании строк, состояние
гонки, утечка памяти и переполнение буфера, что улучшает
безопасность программного продукта. Системы контроля версий
дают возможность проведения совместной инспекции кода.
Кроме того, существуют специальные инструментальные
средства для совместной инспекции кода.
Программное обеспечение для автоматизированной инспекции
кода упрощает задачу.

20.

ПРОСМОТР КОДА
Gerrit — open-source приложение с веб-интерфейсом,
интегрируемое с Git, предназначенное для совместного
проведения инспекции кода;
Phabricator — инструмент для просмотра кода,
созданный Facebook и используемый WikiMedia, FB,
DropBox и другими;
Review Board — инструмент для совместного просмотра
кода с веб-интерфейсом.

21.

ОРГАНИЗАЦИЯ
СОВМЕСТНОЙ РАБОТЫ
Системный администратор – это голова и мозг IT-отдела в
любой компании, с помощью программных инструментов он
обеспечивает эффективность и надежность совместной
работы всех подразделений и сотрудников информационной
инфраструктуры организации, занимается ее
усовершенствованием и развитием.

22.

ОРГАНИЗАЦИЯ
СОВМЕСТНОЙ РАБОТЫ
Citadel/UX — open-source веб-приложение для организации
совместной работы;
EGroupware — веб-приложение для совместной работы
группы людей, написанное на PHP;
Horde Groupware — веб-приложение на PHP для организации
совместной работы;
Kolab — свободный почтовый сервер с поддержкой
совместной работы, календарей, списков дел, WebDAV,
ActiveSync синхронизацией и многим другим;
SOGo — groupware — сервер с упором на простоту и
масштабируемость;
Zimbra — программный продукт для автоматизации
совместной деятельности рабочих групп.

23.

БАЗА ДАННЫХ УПРАВЛЕНИЯ
КОНФИГУРАЦИИ
CMDB (база данных управления конфигурацией) - это база
данных, которая содержит всю информацию об аппаратных и
программных компонентах, которые мы используем для ИТслужб компании. Отношения между этими компонентами
также фиксируются в CMDB. CMDB предлагает четкий обзор
данных конфигурации и способ просмотра этих данных с
любой точки зрения.

24.

БАЗА ДАННЫХ УПРАВЛЕНИЯ
КОНФИГУРАЦИИ
Clusto — инструмент управления кластерами;
i-doit — open-source база данных IT-документации и
управления конфигурацией;
iTop — настраиваемое ITSM— и CMDB-решение с
открытым исходным кодом;
Ralph — система управления активами и
инфраструктурой датацентров;
Sicekit — набор инструментов, предназначенных для
MediaWiki, чтобы помочь людям, которые поддерживает
системы и инфраструктуру.

25.

УПРАВЛЕНИЕ
КОНФИГУРАЦИЕЙ
3.9 Управление конфигурацией техническая и организационная деятельность, включающая а
себя:
- идентификацию конфигурации;
- контроль за конфигурацией;
- представление отчетности о статусе конфигурации;
- проверку конфигурации.
Источник: ИСО 1000795: Административное управление качеством. Руководящие у
казания по управлению конфигурацией

26.

УПРАВЛЕНИЕ
КОНФИГУРАЦИЕЙ
Chef — система управления конфигурациями, написанная
на Ruby и Erlang, с использованием предметноориентированного языка для описания конфигураций;
mgmt — менеджер конфигураций, написанный на Go;
Pallet — платформа для автоматизации инфраструктуры
в облаке, сервере или прямо на виртуальной машине;
Puppet — кроссплатформенное клиент-серверное
приложение, которое позволяет централизованно
управлять конфигурацией операционных систем и
программ, установленных на нескольких компьютерах.
Написано на Ruby;
Salt — система управления конфигурациями и
удалённого выполнения операций, написанная на Python.

27.

НЕПРЕРЫВНАЯ
ИНТЕГРАЦИЯ И
РАЗВЁРТЫВАНИЕ
Buildbot — open-source фреймворк для
автоматизации процессов сборки, тестирования и
выпуска программного обеспечения;
Drone — сервер непрерывной интеграции,
основанный на Docker и настраиваемый с помощью
YAML-файлов;
Go — open-source сервер непрерывной поставки;
Jenkins — расширяемый open-source сервер
непрерывной интеграции;
Spinnaker — open-source платформа непрерывной
поставки;
TeamCity — мощный инструмент для непрерывной
интеграции от JetBrains;

28.

ПАНЕЛИ
УПРАВЛЕНИЯ
Ajenti — панель управления для Linux и BSD;
Cockpit — менеджер Linux-серверов с веб-интерфейсом;
Froxlor — простая в использовании панель для Linux с
поддержкой Nginx и PHP-FPM;
ISPConfig — панель управления хостингом для Linux;
Sentora — панель управления для Linux, BSD и Windows,
основанная на ZPanel;
VestaCP — панель управления хостингом для Linux с
Nginx;
Virtualmin — панель управления для Linux, основанная на
Webmin;
Webmin — панель управления для Linux с вебинтерфейсом.

29.

АВТОМАТИЗАЦИЯ
РАЗВЁРТЫВАНИЯ
Capistrano — инструмент для автоматизации и
развёртывания удалённого сервера, написанный на
Ruby;
Fabric — библиотека на Python для удалённого
выполнения команд по SSH в целях развёртывания
приложения или администрирования системы;
Mina — быстрый инструмент для развёртывания;
Rocketeer — менеджер задач для автоматического
выполнения рутинных операций и инструмент для
развёртывания на PHP.

30.

РАСПРЕДЕЛЁННЫЕ
ФАЙЛОВЫЕ СИСТЕМЫ
Две главные цели распределенных файловых систем:
Сетевая прозрачность.
Самая важная цель - обеспечить те же самые возможности
доступа к файлам, распределенным по сети ЭВМ, которые
обеспечиваются в системах разделения времени на
централизованных ЭВМ.
Высокая доступность.
Другая важная цель - обеспечение высокой доступности. Ошибки
систем или осуществление операций копирования и
сопровождения не должны приводить к недоступности файлов.
Файловый сервис - это то, что файловая система предоставляет
своим клиентам, т.е. интерфейс с файловой системой.
Архитектура распределенных файловых систем обычно имеет
два компонента - файловый сервис и сервис директорий.

31.

РАСПРЕДЕЛЁННЫЕ
ФАЙЛОВЫЕ СИСТЕМЫ
HDFS — файловая система, предназначенная для
хранения файлов больших размеров, поблочно
распределённых между узлами вычислительного
кластера. Написана на Java для фреймворка Hadoop;
Lustre — распределённая файловая система массового
параллелизма, обычно используемая для
крупномасштабных кластерных вычислений;
MooseFS — отказоустойчивая, распределенная сетевая
файловая система с открытым исходным кодом;
OpenAFS — распределённая файловая система с
поддержкой нескольких ОС;
TahoeLAFS — open-source децентрализованная облачная
файловая система;

32.

РЕДАКТОРЫ
Atom — текстовый редактор от GitHub;
Brackets — open-source текстовый редактор для вебдизайнеров и фронтенд-разработчиков;
Eclipse — IDE с системой расширений, написанная на Java;
Geany — текстовый редактор, использующий GTK+;
GNU Emacs — расширяемый и настраиваемый текстовый
редактор;
Haroopad — редактор разметки с возможностью сразу же
видеть результат;
ICEcoder — редактор кода с веб-интерфейсом;
Intellij IDEA — мощная IDE с множеством плагинов,
написанная на Java и Kotlin;
jotgit — редактор для совместного редактирования;

33.

УПРАВЛЕНИЕ ITАКТИВАМИ
ITAM ( IT Asset Management) — это процесс, необходимый для эффективного
учета, планирования и отслеживания состояния контрактных обязательств и
ИТ-активов.
Наличие у ИТ-службы актуальной, достоверной и полной информации о
компонентах ИТ-инфраструктуры компании и связях между ними
положительно влияет на эффективность и результативность других
процессов. Сведения о взаимоотношениях и взаимосвязях между ИТактивами составляют основу для анализа степени воздействия на ИТинфраструктуру и предоставляемые сервисы инцидентов, проблем и
изменений.
ИТ-актив — это учетная единица, отображающая материальный или
нематериальный компонент ИТ-инфраструктуры (технические средства,
все виды программного обеспечения, сетевые элементы, рабочие станции,
серверы, системные блоки, принтеры и прочие контролируемые
компоненты).
Процесс управления ИТ-активами включает в себя проведение учета ИТактивов и взаимосвязей между ними, мониторинг статуса ИТ-активов,
назначение владельцев и пользователей ИТ-актива.

34.

УПРАВЛЕНИЕ ITАКТИВАМИ
GLPI — система работы с заявками и инцидентами, а
также для инвентаризации компьютерного оборудования;
OCS Inventory NG — позволяет пользователям
инвентаризировать IT-активы;
Netbox — инструмент для управления IP-адресами и
инфраструктурой датацентра;
RackTables — система управления активами для
датацентров;
Ralph — система управления активами и
инфраструктурой датацентров;
Snipe IT — система управления активами и лицензиями;
OpenDCIM — приложение для управления
инфраструктурой датацентра.

35.

РАБОТА С ЛОГАМИ
Если в работе сервера, компьютера или программного
обеспечения возникла неизвестная ошибка, в первую очередь
смотрят логи.
Лог — текстовый файл с информацией о действиях
программного обеспечения или пользователей, который
хранится на компьютере или сервере. Это хронология
событий и их источников, ошибок и причин, по которым они
произошли.
Читать и анализировать логи можно с помощью специального
ПО.

36.

РАБОТА С ЛОГАМИ
Echofish — система для сбора и анализа логов в
реальном времени;
Fluentd — open-source система для сбора логов;
Flume — распределённая система сбора и агрегации
логов;
Graylog2 — сервер для анализа событий и логов с
возможностями оповещения;
Heka — система для работы с логами от Mozilla;
Kibana — инструмент для визуализации данных;
Logstash — инструмент для управления событиями и
логами;
Octopussy — open-source решение для работы с логами.

37.

ПОЧТОВЫЕ СЕРВЕРЫ
Несмотря на серьезный прогресс в области digital- и IT-технологий,
электронная почта по-прежнему остается одним из самых популярных
средств коммуникации. Поэтому для каждой компании, которая планирует
создать свою систему электронной почты, важен выбор почтового сервера.
Почтовые серверы представляют собой программы, отвечающие за
доставку электронных писем. Для отправки писем на верные адреса и для
обеспечения безопасности информации в этих серверах применяются
протоколы:
IMAP (Internet Message Access Protocol) - при использовании этого
протокола письма сохраняются на почтовом сервере получателя. Этот способ
надежен, однако сервер должен иметь достаточно большой объем памяти;
POP3 (Post Office Protocol 3) - данный протокол предусматривает
хранение сообщений не в памяти сервера, а на самом устройстве. Поэтому
время от времени почту приходится «чистить» от ненужных писем;
SMTP (Simple Mail Transfer Protocol) - протокол-«посредник», с
помощью которого электронное письмо сперва уходит на почтовый сервер
отправителя, а затем - на сервер получателя, где обрабатываются IMAP или
POP3.

38.

ПОЧТОВЫЕ СЕРВЕРЫ
Cyrus IMAP/POP3 — open-source почтовый сервер, который
предназначен для запуска на закрытых серверах;
Dovecot — IMAP- и POP3-сервер, разрабатываемый с упором
на безопасность, гибкость настройки и быстродействие;
Exim — агент пересылки сообщений для Unix-систем;
Haraka — высокопроизводительный SMTP-сервер на
JavaScript;
MailCatcher — простой SMTP-сервер на Ruby. Полезен в
целях разработки или отладки;
Maildrop — высокопроизводительный open-source SMTPсервер;
OpenSMTPD — защищённый SMTP-сервер;

39.

ОБМЕН
СООБЩЕНИЯМИ
Обмен сообщениями — это технология высокоскоростного асинхронного
взаимодействия между программами с гарантией доставки информации.
Программы взаимодействуют между собой обмениваясь сообщениями.
Система обмена сообщениями — это некоторый программный комплекс,
который обеспечивает хранение и передачу двоичных данных (в
большинстве случаев) между различными участниками системы.
Использование системы обмена сообщениями обладает такими
важными преимуществами:
независимость взаимодействующих приложений через общий интерфейс;
экономия и рациональное использование ресурсов;
надежность, благодаря возможности накапливать сообщения, а так же
благодаря независимости компонентов;
возможность доставки сообщений, после сбоя одного из компонентов
после “восстановления”;
гарантия доставки сообщения.

40.

ОБМЕН
СООБЩЕНИЯМИ
Ejabberd — распределённый и устойчивый к отказам
XMPP-сервер, написанный в основном на Erlang;
Metronome IM — XMPP-сервер мгновенного обмена
сообщениями, начинался как форк Prosody IM;
MongooseIM — масштабируемая платформа для
мгновенного обмена сообщениями, написанная на
Erlang;
Openfire — кроссплатформенный XMPP-сервер,
написанный на Java;
Prosody IM — кроссплатформенный XMPP-сервер,
написанный на Lua;

41.

МОНИТОРИНГ
Мониторинг ИТ-инфраструктуры — это
автоматизированная система контроля состояния
элементов ИТ-инфраструктуры.
Система мониторинга постоянно проверяет работу
серверов и служб. В случае возникновения ошибки
или обнаружения уязвимости, оповещает
системного администратора.

42.

МОНИТОРИНГ
Alerta — распределённая, масштабируемая и гибкая
система мониторинга;
Canopsis — open-source гипервизор;
Cacti — инструмент с веб-интерфейсом, который
собирает статистические данные за определённые
временные интервалы и позволяет отобразить их в
графическом виде;
Cabot — легко развёртываемая служба мониторинга
и оповещений на собственном сервере;
Centreon — open-source инструмент для
мониторинга производительности;
check_mk — набор расширений для Nagios;

43.

ПОКАЗАТЕЛИ И СБОР
ПОКАЗАТЕЛЕЙ
Для оценки эффективности информационных технологий служат
различные показатели, причем применение тех или иных показателей
связано с уровнем зрелости предприятия в области использования
информационных технологий, а также с уровнем зрелости самого ИТподразделения.
Очень важно организовать непрерывный процесс в ИТ-процессах:
сбор статистики,
анализ накопленных данных,
выработка направленных на улучшение решений (постановка целей)
по тому или иному ИТ-процессу,
внедрение улучшений,
контроль полученных результатов улучшения.
Постановка целей и контроль их достижения минимизирует отвлечение
на второстепенные и менее значимые задачи.

44.

ПОКАЗАТЕЛИ И СБОР
ПОКАЗАТЕЛЕЙ
Collectd — демон для сбора системной статистики;
Collectl — высокоточный инструмент для сбора показателей
производительности системы;
Smashing — фреймворк на Ruby, позволяющий создавать
дашборды. Является форком Dashing;
Diamond — демон на Python, собирающий статистику;
Facette — инструмент для визуализации временных данных,
написанный на Go;
Freeboard — open-source инструмент для создания
дашбордов;
Ganglia — масштабируемая распределённая система
мониторинга для высокопроизводительных систем;
Grafana — open-source программное обеспечение для
анализа временных рядов;

45.

ЗАДАНИЕ
Разработать презентацию (не менее 10-ти
слайдов) по одной из групп инструментов
системного администратора или по одной из
программ.
Повторы тем в группе студентов не допускаются.