Google File System

Поделись знанием:
Перейти к: навигация, поиск

Google File System (GFS) — распределенная файловая система, созданная компанией Google в 2000 году для своих внутренних потребностей. Используемая реализация является коммерческой тайной компании Google, однако общие принципы построения системы были опубликованы в 2003 году.[1] Несовместима с POSIX, тесно интегрирована с MapReduce. Обновленная GFS второй версии (2009 год) имеет кодовое название Colossus.[2]

GFS — кластерная система, оптимизированная для центрального хранилища данных Google и нужд поискового механизма, обладающая повышенной защитой от сбоев. Система предназначена для взаимодействия между вычислительными системами, а не между пользователем и вычислительной системой.

Вся информация копируется и хранится в трёх (или более) местах одновременно, при этом система способна очень быстро находить реплицированные копии, если какая-то машина вышла из строя. Задачи автоматического восстановления после сбоя решаются с помощью программ, созданных по модели MapReduce.

В GFS файлы делятся на блоки данных (англ. chunk — кусок) по 64 МБ (в первой версии, ориентированной на обслуживание поисковых индексов) или по 1 МБ (в более универсальной GFS 2.0)[2]. При разработке ФС предполагалось, что файлы очень редко переписываются или уменьшаются в размере хранимых данных, а лишь читаются или увеличиваются в размере, посредством добавления в конец новых данных.

Один из создателей — Говард Гобьов.[3]

Напишите отзыв о статье "Google File System"



Примечания

  1. [research.google.com/archive/gfs.html The Google File System] // 19th Symposium on Operating Systems Principles, 2003
  2. 1 2 [www.computerra.ru/81807/google-file-system/ Файловая система Google: колосс против информационного слона] // "Компьютерра-Онлайн", 04 сентября 2013
  3. [www.computerra.ru/vision/722808/ Object Storage: можно ли прожить без файлов?] // "Компьютерра-Онлайн", 23 ноября 2012 года

Литература

  • Ghemawat, Sanjay; Gobioff, Howard & Leung, Shun-Tak (2003), [research.google.com/archive/gfs.html "The Google File System"], 19th Symposium on Operating Systems Principles, Lake George, NY: The Association for Computing Machinery, CiteSeerX:10.1.1.125.789, <research.google.com/archive/gfs.html> .

</div>

Ссылки

  • [habrahabr.ru/post/73673/ Распределенная файловая система GFS], 29 октября 2009
  • [queue.acm.org/detail.cfm?id=1594206 GFS: Evolution on Fast-forward], by Marshall Kirk McKusick, Sean Quinlan, August 1, 2009



Отрывок, характеризующий Google File System

– Напротив, но важность какая то. Княгиня! – сказал он ей шопотом.
– Да, да, да, – радостно говорила Наташа.
Наташа рассказала ему свой роман с князем Андреем, его приезд в Отрадное и показала его последнее письмо.
– Что ж ты рад? – спрашивала Наташа. – Я так теперь спокойна, счастлива.
– Очень рад, – отвечал Николай. – Он отличный человек. Что ж ты очень влюблена?
– Как тебе сказать, – отвечала Наташа, – я была влюблена в Бориса, в учителя, в Денисова, но это совсем не то. Мне покойно, твердо. Я знаю, что лучше его не бывает людей, и мне так спокойно, хорошо теперь. Совсем не так, как прежде…
Николай выразил Наташе свое неудовольствие о том, что свадьба была отложена на год; но Наташа с ожесточением напустилась на брата, доказывая ему, что это не могло быть иначе, что дурно бы было вступить в семью против воли отца, что она сама этого хотела.
– Ты совсем, совсем не понимаешь, – говорила она. Николай замолчал и согласился с нею.
Брат часто удивлялся глядя на нее. Совсем не было похоже, чтобы она была влюбленная невеста в разлуке с своим женихом. Она была ровна, спокойна, весела совершенно по прежнему. Николая это удивляло и даже заставляло недоверчиво смотреть на сватовство Болконского. Он не верил в то, что ее судьба уже решена, тем более, что он не видал с нею князя Андрея. Ему всё казалось, что что нибудь не то, в этом предполагаемом браке.
«Зачем отсрочка? Зачем не обручились?» думал он. Разговорившись раз с матерью о сестре, он, к удивлению своему и отчасти к удовольствию, нашел, что мать точно так же в глубине души иногда недоверчиво смотрела на этот брак.
– Вот пишет, – говорила она, показывая сыну письмо князя Андрея с тем затаенным чувством недоброжелательства, которое всегда есть у матери против будущего супружеского счастия дочери, – пишет, что не приедет раньше декабря. Какое же это дело может задержать его? Верно болезнь! Здоровье слабое очень. Ты не говори Наташе. Ты не смотри, что она весела: это уж последнее девичье время доживает, а я знаю, что с ней делается всякий раз, как письма его получаем. А впрочем Бог даст, всё и хорошо будет, – заключала она всякий раз: – он отличный человек.


Первое время своего приезда Николай был серьезен и даже скучен. Его мучила предстоящая необходимость вмешаться в эти глупые дела хозяйства, для которых мать вызвала его. Чтобы скорее свалить с плеч эту обузу, на третий день своего приезда он сердито, не отвечая на вопрос, куда он идет, пошел с нахмуренными бровями во флигель к Митеньке и потребовал у него счеты всего. Что такое были эти счеты всего, Николай знал еще менее, чем пришедший в страх и недоумение Митенька. Разговор и учет Митеньки продолжался недолго. Староста, выборный и земский, дожидавшиеся в передней флигеля, со страхом и удовольствием слышали сначала, как загудел и затрещал как будто всё возвышавшийся голос молодого графа, слышали ругательные и страшные слова, сыпавшиеся одно за другим.