Hacker Sim

Не так давно соцсеть Фейсбук опубликовала определенную статистику о том, какие размеры данных лежат на ее серверах. Так, ежедневно система обрабатывает 2,5 млрд штук текста, суммарный объем которого превосходит 500 Тб. Каждый день грузится 300 млрд свежих снимков и производится 2,7 млн «лайков», а каждые тридцать минут сканируется 105 Тб данных.

Однако 500 Тб — это капля в море сравнивая с емкость которого составляет Hadoop-кластера, который в настоящее время имеет 100 петабайт данных. Напоминаем, что 1 петабайт — это 1 048 576 Гигабайт. Представить такое трудно, однако все-таки вероятно — довольно только высчитать, что вся информация Фейсбук без проблем уместится на 100 млн. винчестеров емкость которого составляет 1 Тб любой. Тем не менее, если разделить это на 1 млн оформленных клиентов, то без проблем осознать, откуда выходят такие числа.

По версии технологического начальника социальные сети Джея Париха (Jay Parikh), Фейсбук имеет самый крупный Hadoop-кластер во всем мире.