Пару лет назад институту перепало 3 стойки блейдов JS20 на архитектуре PPC. В МСЦ собрали новую машину, старую раздавали всем желающим. Эти три стойки были разобраны, перевезены на газелях в Черноголовку, здесь выгружены на хим. склад. Там они пролежали год, пока под них подготавливали помещение. После чего они опять загружены в грузовой автомобиль и перевезены на место постоянно дислокации. Были собраны и прекрасно заработали. Разве что, Myrinet местами не захотел подниматься. Так оно проработало какое-то время. Периодически замерзал кондиционер, комната со стойками прогревалась градусов этак до 40. Но блейды продолжали работать. Под новый год под ними просел пол. Они опять были разобраны. Пол отремонтирован. После чего их опять собрали и они продолжили работать.
Сейчас в среднем по всем шасси не работает каждый 14ый блейд, причем исключительно по причине умерших жестких дисков.
Такое вот замечательное оборудование выпускает IBM. Тяжелое оно только очень.
dimanche 27 mars 2011
Кластер №2
После того, как в кластере №1 стало совсем плохо с узлами, было закуплено Nое количество материнских плат с процессорами и в процессе перестановки оборудования решено было провести и замену ПО, что стоит на кластере.
В этот раз на глаза попался проект Warewulf, который сейчас перерос в Perceus. Использовалась всё так же загрузка по сети, только вместо nfsroot, на головной машине создавались образы эталонной исталляции для узла, ядро и основные утилиты грузились в запакованном виде по сети, разворачивались в RAM-диск, это всё загружалось, остатки ОС монтировались по NFS и узел работал. В качестве дистрибутива была выбрана Fedora Core 4. Остальное ПО не поменялось - GNU compiler suite, LAM-MPI, PBS, который к тому моменту уже превратился в Torque. Для распределения нагрузки по узлам была предпринята попытка перейти для tcl-планировщик, оценивая загруженность узла по load average, что было, конечно, неразумно, но в тот момент оно работало лучше, нежели планировщик по умолчанию. Для запуска параллельных задач по-прежнему использовался ручной поиск свободных узлов при помощи wwtop, перечисление оных в hostfile и запуск при помощи mpirun.
Так кластер проработал относительно долго, пережив пережив переезд в другое помещение. Но и в нем на материнских платах стали пухнуть конденсаторы и через какое-то время было решено купить ещё 16 мат. плат, 16 процессоров, 32 планки памяти и опять поменять оборудование.
В этот раз на глаза попался проект Warewulf, который сейчас перерос в Perceus. Использовалась всё так же загрузка по сети, только вместо nfsroot, на головной машине создавались образы эталонной исталляции для узла, ядро и основные утилиты грузились в запакованном виде по сети, разворачивались в RAM-диск, это всё загружалось, остатки ОС монтировались по NFS и узел работал. В качестве дистрибутива была выбрана Fedora Core 4. Остальное ПО не поменялось - GNU compiler suite, LAM-MPI, PBS, который к тому моменту уже превратился в Torque. Для распределения нагрузки по узлам была предпринята попытка перейти для tcl-планировщик, оценивая загруженность узла по load average, что было, конечно, неразумно, но в тот момент оно работало лучше, нежели планировщик по умолчанию. Для запуска параллельных задач по-прежнему использовался ручной поиск свободных узлов при помощи wwtop, перечисление оных в hostfile и запуск при помощи mpirun.
Так кластер проработал относительно долго, пережив пережив переезд в другое помещение. Но и в нем на материнских платах стали пухнуть конденсаторы и через какое-то время было решено купить ещё 16 мат. плат, 16 процессоров, 32 планки памяти и опять поменять оборудование.
vendredi 25 mars 2011
Кластер №1
Году этак в 2003 мы решили обновить старый кластер из 16 машин Pentium-III 667 на что-то более новое и быстрое. Сначала долго договаривались на какой платформе это всё собирать (AMD или Intel), были написаны 2 сметы, но, как обычно, начальство сказало “ох, не доверяю я AMD” и в моем распоряжении оказались 16 машин Pentium IV 3.2 ГГц, которые предстояло объединить в сеть и заставить считать.
Довольно романтичная первая мысль была: а не сделать ли 15 компьютеров, загружающихся по сети, а их диски объединить в один большой при помощи PVFS2. И, конечно же, хотелось изобрести велосипед.
Для этих целей был взят дистрибутив CRUX, стартовые скрипты у него были тривиальны. Оставалось пересобрать ядро с поддержкой nfsroot, немного исправить скрипты для узлов, поднять Yp для авторизации пользователей, поднять PBS для учередей. На этом настройка закончилась, всё более-менее работало. Конечно, сразу выяснились некоторые нюансы, как то нестабильно работающий модуль ядра pvfs, несколько куцый набор приложений в системе портов CRUX’а, прочие мелочи. От pvfs пришло отказаться также ещё и по причине нестабильной работы узлов. Для работы с софтом использовать pkgsrc. С распределением задач по узлам в PBS разобраться так и не удалось.
В таком виде кластер просуществовал до тех пор пока из строя не вышли штук 8 узлов (вспухли конденсаторы на мат. плате), после чего были куплены новые запчасти и в процессе перестановки материнских плат также была изменена программная начинка кластера.
Довольно романтичная первая мысль была: а не сделать ли 15 компьютеров, загружающихся по сети, а их диски объединить в один большой при помощи PVFS2. И, конечно же, хотелось изобрести велосипед.
Для этих целей был взят дистрибутив CRUX, стартовые скрипты у него были тривиальны. Оставалось пересобрать ядро с поддержкой nfsroot, немного исправить скрипты для узлов, поднять Yp для авторизации пользователей, поднять PBS для учередей. На этом настройка закончилась, всё более-менее работало. Конечно, сразу выяснились некоторые нюансы, как то нестабильно работающий модуль ядра pvfs, несколько куцый набор приложений в системе портов CRUX’а, прочие мелочи. От pvfs пришло отказаться также ещё и по причине нестабильной работы узлов. Для работы с софтом использовать pkgsrc. С распределением задач по узлам в PBS разобраться так и не удалось.
В таком виде кластер просуществовал до тех пор пока из строя не вышли штук 8 узлов (вспухли конденсаторы на мат. плате), после чего были куплены новые запчасти и в процессе перестановки материнских плат также была изменена программная начинка кластера.
Inscription à :
Articles (Atom)