Совсем недавно пришлось потрогать InfiniBand свитчи от Sun и хочется поделиться тем, что отличается от официальной документации в удобную для администраторов сторону.
Прежде всего, краткий экскурс в интерфейсы подопытного: 32 порта IB, пара оптических линков, пара Ethernet линков (aka ILOM), USB разъём с подключенным к нему USB-DB9F serial адаптером и два C13/C14 разъёма для питания.
Внутри свитча установлена CentOS, даже более-менее свежая: ядро 2.6.27 (не очень понятно, почему коллеги не сделали выбор в пользу 2.6.26 или 2.6.28, ... , ну да и ладно).
Дефолтный baud-rate новых, присылаемых Oracle, систем отличается от указанного в документации. Актуальное значение: 115200. Для подключения удобно использовать USB-DB9F со своей стороны и простой нуль-модемный кабель между этими двумя DB9F.
Собственно, документация рекомендует конфигурировать свитч с помощью пользователя ilom-admin (стандартный пароль: ilom-admin), да и вообще предлагает нам старательно делать вид, что перед нами "глупое" устройство, а не полноценный сервер. К слову сказать, живущий внутри свитча ILOM -- это обычная linux программка, которая эмулирует из себя оригинал и управляет CentOS. Например перезагружает сервер при выполнении reset /SP.
В общем, долго думать не пришлось, полный контроль над CentOS можно обрести привычными root / changeme.
Правда, коллеги поленились установить в систему telnet и tcpdump, так что для диагностики сети нам предоставлены cat, bash и Perl 5.8.8 впрочем, разве что-то ещё нужно?
Конфигурацию управляющей сети предполагается выполнять через DHCP или через ILOM-подобный интерфейс. Однако, никто не мешает привычно поправить /etc/sysconfig/network-scripts/ifcfg-eth0 и сказать service network restart. После этого, свитчом можно управлять по сети. Но для красоты, лучше всё же перенастроить сеть через "ILOM" (show /SP/network и set /SP/network/commitpending=true), который, по сути, изменяет всё тот же файл, приводя его в "красивый" вид.
После этого можно прошить в свитч требуемую версию прошивки, перезагрузиться и подключить IB линки.
Для работы с IB есть стандартный набор утилит, описанных в документе (https://docs.oracle.com/cd/E19654-01/820-7752-12/z40000629112.html). Из них довольно полезно запустить ibswitches, чтобы посмотреть, что знает свитч о своей IB топологии.
На этом инициализация коммутатора завершена. Останется только добавить свитч в Ops Center, если он имеется, и можно выполнять дальнейшую настройку.
