Разработки Google

1. Разработки Google

2. Google File System

• Google File System (GFS) —
распределенная файловая система,
созданная компанией Google в 2000 году для
своих внутренних потребностей.
• Используемая реализация является
коммерческой тайной компании Google,
однако общие принципы построения
системы были опубликованы в 2003 году.
• Обновленная GFS второй версии (2009 год)
имеет кодовое название Colossus

3. Особенности ГФС

• Несовместима с POSIX, тесно интегрирована с
MapReduce.
• POSIX — (англ. Portable Operating System Interface
for Unix — Переносимый интерфейс
операционных систем Unix) — набор стандартов,
описывающих интерфейсы между операционной
системой и прикладной программой.
• MapReduce — модель распределённых
вычислений, представленная компанией Google,
используемая для параллельных вычислений над
очень большими, несколько петабайт наборами
данных в компьютерных кластерах.

4. Устройство GFS

• GFS — кластерная система,
оптимизированная для центрального
хранилища данных Google и нужд
поискового механизма, обладающая
повышенной защитой от сбоев.
Система предназначена для
взаимодействия между
вычислительными системами, а не
между пользователем и
вычислительной системой.

5. Устройство GFS

• В GFS файлы делятся на блоки данных
(англ. chunk — кусок) по 64 МБ (в первой
версии, ориентированной на обслуживание
поисковых индексов) или по 1 МБ (в более
универсальной GFS 2.0). При разработке ФС
предполагалось, что файлы очень редко
переписываются или уменьшаются в размере
хранимых данных, а лишь читаются или
увеличиваются в размере, посредством
добавления в конец новых данных.

6. Безопасность ГФС

• Вся информация копируется и хранится
в трёх (или более) местах
одновременно, при этом система
способна очень быстро находить
реплицированные копии, если какая-то
машина вышла из строя. Задачи
автоматического восстановления после
сбоя решаются с помощью программ,
созданных по модели MapReduce.

7. Google App Engine

• Google App Engine — сервис хостинга
сайтов и web-приложений на серверах Google
с бесплатным именем
<имя_сайта>.appspot.com, либо с
собственным именем, задействованным с
помощью служб Google
• Платформа Google конкурирует с
аналогичными сервисами от Amazon, которые
предоставляют возможности размещать
файлы и веб-приложения, используя свою
инфраструктуру.

8. Особенности

• App Engine представлена в апреле
2008, доступны как бесплатные
аккаунты (до 1 Гб дискового
пространства, 10 Гб входящего трафика
в день, 10 Гб исходящего трафика в
день, 200 миллионов гигациклов CPU в
день и 2000 операций отправления
электронной почты в день),так и
возможность приобретения
дополнительных ресурсов.

9.

• Приложения, разворачиваемые на базе App
Engine, должны быть написаны на Python,
Java, Go либо PHP.
• Предоставлена возможность использовать
планировщик задач cron как для приложений
реализованных на Python, так и на Java.
Разрешено планирование не более 20-ти
заданий

10.

• Использование службы аккаунтов Google
позволяет быстро начать работу с
приложением, нет необходимости
проводить отдельную регистрацию учётных
данных на каждом сайте. Это также
позволяет разработчику не заботиться о
реализации ещё одной системы
регистрации пользователей специально
для своего приложения.

11. Google Fusion Tables

• BigTable — высокопроизводительная
база данных, построенная на основе
Google File System (GFS), Chubby Lock
Service и некоторых других продуктах
Google. В настоящий момент не
распространяется и не используется за
пределами Google, хотя Google
предлагает использовать её как часть
Google App Engine.

12.

• Google Fusion Tables была выпущена 9 июня
2009 года как экспериментальная система
для управления данными в облаке.
• Fusion Tables это не столько таблицы,
сколько база данных заточенная под
отображение геоинфомации, причем
координаты могут быть заданы как в
формате широта\долгота, так и адресомминимум страной