Кластер №3

После того, как кластер №2 более чем на 50% умер, было решено заменить его полностью. Оставалась энная сумма денег, которые, конечно же, нужно было потратить. В этот раз всё было несколько сложнее. За попыткой вписаться в бюджет последовало написание технического задания, объявление тендера.

В итоге было куплено 15 материнских плат, 15 трехядерных Phenom’ов и немного более слабая конфигурация для головной машины.

Установка ПО на кластер началась с выяснения того, что BIOS, с которым поставляются материнские платы, нестабильно работает с быстрой памятью. 16 раз пришлось обновить BIOS. Дальше, впрочем, всё стало проще.

Первая мысль о том, как развернуть кластер была - не хочется возиться со всяческими загрузками по сети, давайте установим операционную систему на один узел, а после в помощью dd скопируем ее на все остальные узлы. Что и было предпринято с некоторыми нюансами.

В таком виде кластер просуществовал этак месяцев 6, за эти 6 месяцев пришлось ещё поднять большой кластер, что несколько поменяло представления о развертывании кластеров. Поэтому через полгода было решено переставить ОС на узлах. Началось всё с ещё одного обновления BIOS. На сей раз только на сильно нестабильно работающих машинах.

А далее было всё весьма прозаично: DHCP, DNS, TFTP, PXE, Kickstart.

И не смотря на наличие большого кластера, народ не спешит с этого маленького куда-то перемещаться.

Кластер №2

После того, как в кластере №1 стало совсем плохо с узлами, было закуплено Nое количество материнских плат с процессорами и в процессе перестановки оборудования решено было провести и замену ПО, что стоит на кластере.

В этот раз на глаза попался проект Warewulf, который сейчас перерос в Perceus. Использовалась всё так же загрузка по сети, только вместо nfsroot, на головной машине создавались образы эталонной исталляции для узла, ядро и основные утилиты грузились в запакованном виде по сети, разворачивались в RAM-диск, это всё загружалось, остатки ОС монтировались по NFS и узел работал. В качестве дистрибутива была выбрана Fedora Core 4. Остальное ПО не поменялось - GNU compiler suite, LAM-MPI, PBS, который к тому моменту уже превратился в Torque. Для распределения нагрузки по узлам была предпринята попытка перейти для tcl-планировщик, оценивая загруженность узла по load average, что было, конечно, неразумно, но в тот момент оно работало лучше, нежели планировщик по умолчанию. Для запуска параллельных задач по-прежнему использовался ручной поиск свободных узлов при помощи wwtop, перечисление оных в hostfile и запуск при помощи mpirun.

Так кластер проработал относительно долго, пережив пережив переезд в другое помещение. Но и в нем на материнских платах стали пухнуть конденсаторы и через какое-то время было решено купить ещё 16 мат. плат, 16 процессоров, 32 планки памяти и опять поменять оборудование.

Кластер №1

Году этак в 2003 мы решили обновить старый кластер из 16 машин Pentium-III 667 на что-то более новое и быстрое. Сначала долго договаривались на какой платформе это всё собирать (AMD или Intel), были написаны 2 сметы, но, как обычно, начальство сказало “ох, не доверяю я AMD” и в моем распоряжении оказались 16 машин Pentium IV 3.2 ГГц, которые предстояло объединить в сеть и заставить считать.

Довольно романтичная первая мысль была: а не сделать ли 15 компьютеров, загружающихся по сети, а их диски объединить в один большой при помощи PVFS2. И, конечно же, хотелось изобрести велосипед.

Для этих целей был взят дистрибутив CRUX, стартовые скрипты у него были тривиальны. Оставалось пересобрать ядро с поддержкой nfsroot, немного исправить скрипты для узлов, поднять Yp для авторизации пользователей, поднять PBS для учередей. На этом настройка закончилась, всё более-менее работало. Конечно, сразу выяснились некоторые нюансы, как то нестабильно работающий модуль ядра pvfs, несколько куцый набор приложений в системе портов CRUX’а, прочие мелочи. От pvfs пришло отказаться также ещё и по причине нестабильной работы узлов. Для работы с софтом использовать pkgsrc. С распределением задач по узлам в PBS разобраться так и не удалось.

В таком виде кластер просуществовал до тех пор пока из строя не вышли штук 8 узлов (вспухли конденсаторы на мат. плате), после чего были куплены новые запчасти и в процессе перестановки материнских плат также была изменена программная начинка кластера.

3G в Linux

Network Manager в Fedora 14 порадовал тем, что без проблем подключился к 3G Утела. Спросил только "а вы где?" (Украина), "а кто у вас провайдер?" (Утел). Под Макосью процесс установки драйверов модема и подключения был менее приятным.