Это история о кластере на линуксе в ящике от ИКЕИ

Здравствуйте, никому не кашлять, потому как осень на улице. Хотя сегодня довольно неплохой день, все же он омрачен тем, что надо ехать на работу. Ну а пока у меня сохнет голова после душа, поведаю ону сказку, как один шведский товарищ, 3-д аниматор, сделал у себя дома суперкомпьютер в ящике из ИКЕИ.

Собственно для чего это нужно: Для отрисовки (рендеринга) графики, требуется очень большая вычислительная мощность процессора. Вот фотографии студии где происходят снимки, и фотография того, что выходит в эфир.

Тепеь фото нашего друга, суперкомпьютера Helmer! Ура, встречайте:

Ну а теперь по-подробнее о нем.

3-д компьютерный рендеринг (отрисовка) требует огромной вычислительной мощности центрального процессора компьютера, и сопряжено с большим временем на исполнение. Для того, что бы сократить время обработки видео, используется технология распределения вычислений на несколько компьютеров, объединенных в ферму. Обычно такие фермы очень дорогие и потребляют колоссальное количество энергии и выделяют очень много тепла. Наш сосед из Швеции решил собрать нечто подобное у себя дома, но немного подешевле и по-проще. Он использовал обычные комплектующие, которые продаются в любом компьютерном магазине, и еще пару раз скатался на строительный рынок, и потратил немного времени, что бы получить самую настоящую Линукс ферму.

Для этого компьютера было использовано шесть процессоров Интел Ксеон КвадКоре и самые простые материнские платы которые поддерживают этот процессор, ими оказались материнские платы Гигабайт GA-G33M-DS2R/S2.

Коечно для всего этого, нужна оперативная память. Выбрали вот такой вариант:

Комплектующие закуплены, приступаем к сборке:
Цепляем радиаторы на процессор.

Большой проблемой оказалось то, куда запихнуть все это. Дело в том, что шесть системных блоков очень бы портили дизайн квартиры, да и применение шести качественных корпусов сильно удорожали бы стоимость компьютера. Кто бы мог подумать, что компания ИКЕЯ выпускает замечательные АТХ совместимые шкафы 🙂

Вид на этот шкаф (ящик) сзади. Ящик обработан лобзиком и напильником для придания ему заданных форм. Сзади прорезаны прямоугольные отверстия для блока питания и круглое отверстие для вентилятора.

Следующим этапом идет установка блоков питания, они расположены зиг-загом для лучшего прохождения воздушных потоков.

Вот мы установили первые три комплекта, и начинаем ставить ОС Линукс

Очень большая путаница проводов получается 🙂

Все, ферма готова, для обработки видео была использована программа DrQueue, а все компьютеры подключены к гигабитному 3сом свитчу. Для хранения данных используется FreeNAS сервер, который работает на процессоре С7, но это уже другая история 🙂

Да, этот компьютер выглядит более странно чем обычный компьютер, да и стоит немного дороже, но зато там 24 ядра 2.4 гигагерца, 48 Гигабайт оперативной памяти и потребляет всего 400 Ватт энергии. Он не горячий, и производит шума не более чем обычный настольный компьютер. Рендеринг на этом компьютере происходит значительно быстрее, то что обычный мощный компьютер сделает за ночь, этот компьютер сделает за 10-11 минут.

Небольшой тест на производительность:

сцена шторма в океане, 24 кадра, разрешение видео 4000х4000 точек:
— на компьютере MacPro 2 x DualCore Xenon 2.66 Гигагерца, с 4 Гигабайтами оперативной памяти занимает 552 минуты (9.2 часа)
— Этот сервер делает это же видео за 64 минуты!

Производительность фермы в результате быстрее в девять раз чем производительность одного компьютера на базе двух двух-ядерных процессоров Ксеон.