Где хранится видеоконтент YouTube, резервируется ли он, каков общий размер хранилищ данных?
Интересно
Каждую секунду на видеохостинге YouTube появляется огромное количество нового контента. Сложно представить хранилища для такого объема данных. Компания Google не раскрывает все свои секреты, но все же постараемся разобраться, где и насколько надежно хранятся видео YouTube.
Дата-центры Google
Дата-центры Google представляют собой центры, предназначенные для обработки данных. Они содержат компьютерные узлы, накопительные диски, внешние и внутренние сети, системы охлаждения и программное обеспечение. Google не предоставляет официальных данных относительно того, сколько именно серверов, но по приблизительным оценкам некоторых исследовательских компаний их количество может составлять более 2,5 млн.
Дата-центр в штате Айова
Существует множество центров обработки данных компании Google, расположенных на нескольких континентах. В Северной Америке их 15, в Южной Америке – 3, в Европе – 8, в Азии – 5.
Типы серверов, используемых в дата-центрах:
- веб-серверы;
- индексирования данных;
- рекламные;
- сбора данных;
- документов;
- проверки правописания.
Файловая система Google
GFS или файловая система компании Google представляет собой проприетарную кластерную файловую систему. Она была разработана Google для того, чтобы максимально надежно и эффективно обеспечивать доступ к данным. Версия Colossus является последней (представлена в 2010 году).
Дата-центр в штате Джорджия. Разноцветные трубы – это система охлаждения, а сотрудники передвигаются по помещениям на велосипедах
Файловая система необходима для удовлетворения основных потребностей компании в хранении и дальнейшем использовании данных (в основном для системы поиска). GFS способна к генерации больших объемов информации. «Предком» GoogleFS являлась BigFiles, которая была разработана Сергеем Брином и Ларри Пейджем, когда компания только начала свое существование.
Резервируются ли видео YouTube и каков общий размер хранилищ данных?
Данные на серверах Google хранятся в виде синхронизированных между собой копий одновременно в нескольких дата-центрах. Таким образом, даже если один из центров обработки данных выйдет из строя, видеоконтент никуда не пропадет. Какие объемы хранилищ – неизвестно. Согласно некоторым неофициальным оценкам, объем ежегодно загружаемых файлов составляет около 120 ПБ (1 ПБ = 1024 ТБ или более миллиона ГБ).
Если Вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.
Насколько велик youtube?
Я часто задавался вопросом — сколько же места занимает вся вселенная youtube. По информации на 2015 год всё видео занимало 5 петабайт. 5 ПЕТАБАЙТ КАРЛ!! 1 петабайт = 1000 террабайт 1 террабайт = 1000 гигов ну а дальше вы сами знаете. А ведь уже идет вторая неделя 2017 так что минимум 8 Петабайт есть точно, поскольку качество со временем улучшается, все больше пользователей приходят в сеть.
Первый и главный управляющий сервер — центр находится в Латинской Америке вот он:
В каждом таком дата центре больше 1500 Очень мощных серверов — компьютеров и температура строго 15 градусов C*. В некоторых центрах чтобы сэкономить место на кондиционерах и прочих охлаждающих приблуд стоит водяное охлаждение и оно осуществляется по вот этим трубам:
Да, все в стиле google, но каждый цвет обозначает свой хим. состав. Сервера например погружены в диэлектрическую жидкость она не проводит ток и безопасна для электронных компонентов, в то же время как сказано температура составляет ровно 15 градусов C*.
Кстати скажу заканчивая пост что Google не создавала Youtube, её основатели — Чад Херли), Стив Чен и Джавид Карим, а компания называлась Alphabet, но вскоре проект обанкротился и Google купила его за 1.65 млн.$ Вот так обосновался наш любимый Ютуб и стал заменой тв.
Всю инфу искал я, не копипаст, если что-то было похожее на мой пост то простите баянометр выдал мне пост «Кажется моя кошка сломалась» так что вроде ничего похожего нету. Всем желаю счастья и добра!
Т.к в моей стране интернет считается роскошью я смотрю видосы в 144p и то трафика не хватает на месяц, если надо подробнее, читайте мой пост на тему интернета http://pikabu.ru/story/internet_u_vas_i_u_nas_4641499
Alphabet — это новая компания, которая сейчас управляет Google Inc. Её основали в 2015 году, чтобы вывести из-под Google весь зоопарк всего того, что было в компании.
как-то слабо верится, что всего 5 петабайт, пусть даже на 2015 год
5000000 гигов не так уж и много)
Новые детали
Попросили меня выбрать другого хостера для сайта нашей компании. Звоню в разные компании и раcспрашиваю про их сервера. Вот один из диалогов между мной (Я) и сотрудником техподдержки (Т):
Я: у вас выделенные сервера каждый раз из новых деталей собираются или как получится?
Т: из новых конечно, мы старые продаем сразу.
Я: а если человек всего на месяц сервер брал, тоже разберете и продадите потом?
Т: конечно, у нас свой канал сбыта есть. небольшая компания, которая скупает у нас детали в любом виде с очень маленькой уценкой, потом пакует как новые и отправляет в страны третьего мира.
Я: а новые детали вы случайно не у них же покупаете?
Т: у них же, зачем далеко ходить. а что? стоп. в смысле?!
@moderator, перенесите в «Баяны», пожалуйста.
Баянометр повтор не нашел, поиск в Яндексе выдал пост, который я указал в UPD.
В Страсбурге сгорел дата-центр OVH SBG2
10 марта в 02:42 по московскому времени облачным провайдером OVH было опубликовано оповещение о деградации сервиса в дата-центре SBG1 в Страсбурге, которое позже было дополнено информацией о пожаре в здании SBG2:
«В настоящее время в нашем центре обработки данных в Страсбурге произошел серьезный инцидент, связанный с пожаром в здании SBG2. Пожарные немедленно прибыли на место происшествия, но не смогли справиться с возгоранием в SBG2. Все здание было изолировано, что влияет на все наши услуги на SBG1, SBG2, SBG3 и SBG4. Если ваш сервис хостится в Страсбурге, мы рекомендуем активировать План аварийного восстановления. Все наши бригады полностью мобилизованы вместе с пожарными. Мы будем держать вас в курсе по мере поступления дополнительной информации.»
SBG2 является частью кампуса SBG, состоящего из 4 ЦОД. В SBG2 предоставлялись услуги аренды выделенных серверов (dedicated) и облачные сервисы. И если облачным сервисам OVH должен был обеспечивать резервное копированием своими силами, то для арендаторов выделенных серверов эта ситуация в отсутствии резервных копий может быть фатальной.
Тем временем real-time мониторинг доступности выделенных серверов в SBG2 рапортует о полной доступности всего оборудования в ЦОД. Вероятно, сервера мониторинга располагались в том же дата-центре.
Среди облачных провайдеров, не входящих в «большую тройку» (AWS, Azure и Google Cloud), OVH является одним из наиболее популярных. Большинство из 27 дата-центров OVH расположены в Европе. Последняя крупная авария у OVH также произошла в кампусе SBG в 2017 году. В результате отключения электроэнергии весь кампус SBG был отключен. Сорок минут спустя другой кампус RBX (Рубе, Франция) потерял связь из-за несвязанной ошибки программного обеспечения в сетевом оборудовании.
Сочувствуем всем проектам, у кого сервера находились в данном дата-центре, а остальным напоминаем про давно известный чек-лист:
Храните бекапы в (сберегательных кассах) отдельных дата-центрах;
Периодически проверяйте работоспособность своих бекапов;
Имейте наготове план аварийного восстановления доступности сервиса.
UPD: В 9:20 по московскому времени пожар закончился. Судя по сообщениям Octave Klaba (основателя и владельца OVH) в Twitter, в связи с близким расположением зданий дата-центров SBG1, SBG3 и SBG4 к сгоревшему SBG2, пожарным пришлось их «охлаждать», в связи с чем в настоящий момент отсутствует доступ в эти здания и работа данных ЦОД сегодня восстановлена быть не может.
Сколько мегабайт трафика использует видео Youtube на вашем смартфоне?
В этой статье мы расскажем, сколько мегабайт мобильного интернета на телефоне потребляет видео Youtube за 1 минуту, 5 минут и за 1 час.
YouTube, считается одним из приложений, которое потребляет большую часть мобильного интернета в нашем телефоне. К счастью, официальное приложение позволяет нам изменять разрешение видео во время его воспроизведения таким образом, чтобы мы могли уменьшить потребление мобильных данных. Но, сколько мегабайт мобильного интернета видео YouTube потребляет на вашем смартфоне?
Потребление мобильного интернета видеороликами в Youtube
Потребление мобильного интернета видеороликами из приложения Youtube может меняться в зависимости от таких аспектов, как разрешение видео или количество времени просмотренных видеороликов.
На сегодняшний день YouTube оценивает следующий объем данных за каждую минуту просмотренного видео:
Видео с разрешением 144p : 1,90 МБ за минуту видео
Видео в разрешении 240p : 2,70 МБ за минуту видео
Видео с разрешением 360p : 4,40 МБ за минуту видео
Видео в разрешении 480p : 7,70 МБ за минуту видео
Видео в разрешении HD (720p): 14,50 МБ за минуту видео
Видео с разрешением Full HD (1080p) : 27,61 МБ за минуту видео
На 5-минутное видео, общие затраты мобильного интернета следующие:
Видео в разрешении 144p : 9,5 МБ для 5 минут видео
Видео в разрешении 240p : 13,5 МБ для 5 минут видео
Видео в разрешении 360p : 22 МБ для 5 минут видео
Видео в разрешении 480p : 38,5 МБ для 5 минут видео
Видео в разрешении HD (720p): 72,5 МБ для 5 минут видео
Видео в разрешении Full HD (1080p) : 138,05 МБ для 5 минут видео
Сколько мегабайт вы тратите за 1 час видео на YouTube?
Видео с разрешением 144p : 114 МБ за 1 час видео
Видео в разрешении 240p : 162 МБ за 1 час видео
Видео в разрешении 360p : 264 МБ за 1 час видео
Видео в разрешении 480p : 462 МБ за 1 час видео
Видео в разрешении HD (720p): 870 МБ за 1 час видео
Видео в разрешении Full HD (1080p) : 1,65 ГБ за 1 час видео
С помощью приведенных выше данных, мы можем рассчитать расход нашего мобильного интернета при просмотре видео в приложении Youtube. Рассчитав потребление мобильного интернета, мы сможем подобрать для себя оптимальный тариф.
Спасибо за внимание! Надеемся, что эта статья была вам полезна. Присоединяйтесь к нам в Одноклассниках.
Рекомендуем статьи из категории mobile :
Как хитрожопые продавцы обманывают на Озоне — обзор планшета K10
16 ноября 2022
Список телефонов Realme, ожидаемых получения Android 11 на основе Realme UI 2.0
Откуда у Google столько памяти?
Волшебные сервера, ясен пень.
А вот какие виды памяти бывают:
- Вконтакте
- Вконтакте
индекс всего интернета и «весь интернет» это не одно и тоже. объем хранилища у них несомненно большой, но значительно меньше чем «весь интернет»
размер индекса гугла примерно 100 Петабайт на 2016 год. сейчас наверно подрос где нибудь процентов на 10.
прибавим сюда кучу личной инфы с их сервисов, ну скажем еще процентов 20 от этого объема.
Объем всего интернета по примерным оценкам исследователей из Cisco (самая большая контора по производству сетевого оборудования) — где то в районе 1.2 Зетабайта на текущий момент, что примерно в 10 000 раз больше чем размер индекса Google.
При желании можно разместить 200 Петабайт данных даже в одном ДЦ.
Более интересный вопрос — как они обеспечивают оперативность доступа к такому объему данных (я могу представить только в общих чертах)