Все сервера, предлагаемые нами в аренду, оснащены контроллером IPMI (Intelligent Platform Management Interface), позволяющим осуществлять включение, выключение, удаленное подключение (KVM) с возможностью монтирования ISO-образов, а также обеспечивающим доступ к информации о текущем состоянии сервера.
При помощи IPMI после выдачи сервера вы сможете произвести установку операционной системы и первоначальную настройку сервера. Так как IPMI-контроллер подключён отдельным кабелем и имеет собственный IP-адрес, даже в случае потери доступа к ОС Вы всегда сможете управлять сервером удаленно без необходимости прямого физического доступа.
Как установить ОС?
Для установки операционной системы Вам потребуется подключиться к IPMI сервера одним из удобных для вас способов: через Web-интерфейс или при помощи программы IPMIView. В статье будут описаны оба варианта, однако мы рекомендуем использовать второй способ.
Web-интерфейс
Для подключения через web-интерфейс необходимо в адресной строке вашего браузера ввести адрес IPMI и авторизоваться. Адрес и реквизиты для авторизации вы можете найти в письме с доступом к серверу или в вашем личном кабинете. Далее потребуется перейти во вкладку Remote Control -> Console Redirection и нажать кнопку Launch Console .
В разделе Device 1 выберите ISO File в выпадающем списке Logical Drive Type и укажите путь до образа на вашем диске при помощи кнопки Open Image , после чего подключите образ кнопкой Plug In .
После подключения образа перезагрузите ваш сервер в разделе Power Control ->
Некоторые серверы позволяют подключить до трёх устройств при помощи вкладок Device 2 или Device 3 в разделе Virtual Media -> Virtual Storage . Это может быть полезно, если при установке потребуется установить дополнительные драйвера.
Если вы планируете установить на сервер ОС Windows, комбинацию клавиш Ctrl+Alt+Del можно передать в разделе Macro - Macro .
Инструкция по работе с web-интерфейсом в старых версиях прошивок IPMI
IPMIView
Для использования программы Supermicro IPMIView необходимо скачать её с официального сайта , указав свои данные, либо напрямую с ftp-сервера: https://www.supermicro.com/wftp/utility/IPMIView/
После установки и запуска программы необходимо добавить ваш сервер в разделе File - New - System .
В качестве System Name укажите имя вашего сервера, а в графу IP address впишите адрес IPMI , который вы можете найти в письме с доступом к серверу или в вашем личном кабинете. Убедитесь, что в графе адреса отсутствуют пробелы в конце строки и нажмите OK .
В списке слева дважды нажмите на имя добавленного сервера, после чего вы увидите окно авторизации. Заполните его при помощи реквизитов из письма или личного кабинета и нажмите Login . В случае успешного подключения вы увидите надпись Connected , а в самом низу окна появятся дополнительные вкладки для управления сервером.
Для удалённого управления сервером перейдите в разде KVM Console и нажмите кнопку Launch KVM Console .
Дальнейшие действия аналогичны работе через
При помощи программы IPMIView вы также можете перезагрузить, включить или выключить ваш сервер во вкладке IPMI Device .
Реализацией удаленного управления и мониторинга компьютерных систем крупные производители оборудования вплотную занялись еще в конце прошлого века. При стремительном росте компьютеризации и возникновении распределенных сетей крупных предприятий и организаций потребовалась технология, которая бы позволяла централизовано управлять наиболее важными узлами без непосредственного локального доступа к компьютеру. В первую очередь, крупные производители серверных платформ реализовали возможность выполнения на сервере, который может находиться в соседнем здании или на другом конце планеты, удаленного доступа, позволяющего обслуживающему персоналу выполнить следующие операции:
Включить или выключить электропитание.
Выполнить аппаратный сброс компьютера.
Посмотреть или изменить настройки BIOS.
Установить операционную систему с использованием виртуальных носителей.
Управлять операционной системой удаленно с использованием стандартных устройств ввода – вывода.
Отслеживать техническое состояние наиболее важных узлов оборудования.
Выполнять операции по обслуживанию аппаратной платформы (прошивка BIOS материнской платы или определенных контроллеров) и обеспечения авторизованного доступа к ней.
В результате совместных усилий крупных производителей серверного оборудования (Intel, Dell, NEC и Hewlett-Packard) была разработана спецификация интеллектуального интерфейса управления платформой - Intelligent Platform Management Interface (IPMI) , ставшая стандартом для реализации удаленного доступа к компьютерному оборудованию серверных платформ.
Назначение и реализация интерфейса IPMI.
IPMI (от англ. Intelligent Platform Management Interface) - интеллектуальный интерфейс управления платформой, предназначенный для автономного мониторинга и управления функциями, встроенными непосредственно в аппаратное и микропрограммное обеспечения серверных платформ. Другими словами IPMI – это средство управления, которое реализовано независимо от основного оборудования сервера и обеспечивает его включение, выключение, сброс, удаленное подключение виртуальных мониторов, клавиатур и мышей, наблюдение за работой оборудования и оповещение о важных событиях, связанных с работоспособностью сервера. Спецификация IPMI версии 1.0 была опубликована еще в 1998г. и базировалась на подключении к модулю IPMI через последовательный интерфейс RS-232. Последующие спецификации IPMI 1.5 b 2.0 базируются на использовании стандартного сетевого интерфейса.
Ядром системы управления серверной платформой является специализированное устройство - Baseboard Management Controller (BMC) , который практически является специализированным компьютером, встроенным в серверную платформу, имеющим свои собственные процессор, память, периферийное оборудование и операционную систему. Модуль BMC питается от дежурного напряжения блока питания (+5V Standby) и, соответственно, начинает работать как только на вход блока питания подано первичное напряжение 220V, независимо от того, включен компьютер или нет.
Спецификация IPMI не задает жестких стандартов по реализации IPMI-устройств. Они могут быть выполнены в виде отдельного адаптера, могут быть распаяны непосредственно на материнской плате или выполнены в виде отдельного микроконтроллера. В настоящее время, наиболее распространены интегрированные в серверные материнские платы контроллеры BMC на базе технологии “система на одном кристалле” (System-on-Chip, SoC), позволяющие реализовать как эффективное взаимодействие с управляемой платформой, так и огромное количество функций по удаленному мониторингу, оповещению о важных событиях по e-mail или SNMP, ведению журналов и т.п.
Контроллеры BMC для серверных материнских плат подключаются к ним через системный интерфейс, названный IPMB (Intelligent Platform Management Bus/Bridge) или к другим контроллерам BMC через интерфейс IPMC (Intelligent Platform Management Chassis). Для удаленного управления оборудованием через контроллер BMC может быть использован специальный протокол прикладного уровня Remote Management Control Protocol (RMCP) , обеспечивающий работу через обычную локальную сеть. Как правило, современные контроллеры BMC обеспечивают управление серверными платформами через веб-интерфейс, а также обеспечивают удаленное подключение устройств CD/DVD и работу клавиатуры-видео-мыши по сети (IP KVM), что позволяет легко выполнять, например изменение настроек BIOS или выполнять установку операционной системы, не имея физического доступа к оборудованию сервера.
Основные возможности управления материнской платой через интерфейс IPMI.
Рассмотрим возможности управления сервером через интерфейс IPMI на примере материнской платы Supermicro X8DTT-IBQF с интегрированным контроллером Nuvoton WPCM450 Baseboard Management Controller с поддержкой IPMI 2.0.
Контроллер Nuvoton WPCM450 поддерживает графическое ядро с PCI-интерфейсом, устройства Virtual Media (виртуальные CD/DVD) и перенаправление клавиатуры-видео-мыши (Keyboard/Video/Mouse, KVM ). Для подключения к локальной сети используется внешний контроллер Ethernet, распаянный на материнской плате.
Для взаимодействия с компонентами управляемой системы используются шины управления платформой Platform Environment Control Interface (PECI) . На материнской плате имеется перемычка для отключения BMC-контроллера, если возникнет такая необходимость. Также, на ней имеется светодиод BMC LED (BMC Heartbeat LED) для индикации работоспособного состояния контроллера – зеленый мерцающий индикатор, обозначает, что BMC работает нормально.
Подключение к локальной сети выполняется через порт RJ-45, обозначенный как IPMI_LAN
Первичная настройка интерфейса IPMI выполняется в разделе Adnanced – IPMI Configuration основного BIOS.
Status of BMC состояние контроллера BMC
View BMC System Event Log - просмотр системного журнала событий (SEL), который ведется контроллером BMC.
Clear BMC System Event Log - очистка журнала событий
Set LAN Confi guration - настройка сетевой конфигурации адаптера, используемого контроллером BMC. Можно настроить на получение IP-адреса, маски и адреса шлюза автоматически по DHCP, или задать их вручную.
Set PEF Confi guration - настройка фильтра событий, регистрируемых контроллером Platform Event Filter (PEF). В данном пункте меню можно настроить реакцию контроллера на определенные события, как например, выключение питания при увеличении температуры, или снижении скорости вращения вентиляторов. По умолчанию, фильтрация событий отключена.
BMC Watch Dog Timer Action - можно настроить опрос состояния управляемой системы и ее сброс, перезагрузку или выключение питания при зависании. По умолчанию, отключено.
Основные возможности по управлению и мониторингу состояния платформы доступны через веб-интерфейс. Для подключения к модулю BMC используется любой браузер с поддержкой java, в адресной строке которого вводится IP-адрес IPMI-устройства и, после подключения, выполняется авторизация с использованием имени пользователя и пароля, указанных в документации или заданных пользовательскими настройками. Имя пользователя и пароль по умолчанию для IPMI-устройств производства Supermicro - ADMIN / ADMIN . После успешной авторизации откроется основное окно управления платформой с активированной вкладкой “System Information”:
Вкладка “Server Health” позволяет контролировать состояние оборудования сервера:
Sensor Reading - просмотр данных контролируемых датчиков
Sensor Reading with Thresholds - просмотр данных контролируемых датчиков и пороговых значений
Event Log - просмотр журнала событий
Отображаемая информация датчиков включает их имена, состояние и считанное значение. В нижней части экрана имеются кнопки Refresh - обновить данные датчиков и Show Thresholds - показать пороговые значения. С помощью подменю Select a sensor type category можно выбрать тип датчиков (температура, напряжение и т.п.). Пример отображаемой информации:
Просмотр журнала событий позволяет определить время возникновения фиксируемого состояния датчика, получить его краткое описание и оценить уровень опасности для функционирования оборудования. Пример отображаемой информации:
Вкладка Configuration позволяет выполнить настройки оповещений о состоянии оборудования, изменять сетевые параметры, настроить политику доступа к устройству IPMI.
Alerts - настройка оповещений. Можно создать до 15 записей с различными правилами оповещений. Имеется возможность задать категорию событий, по которым выполняется оповещение – информация, предупреждение, критическое событие, невосстановимое состояние. Оповещение возможно по электронной почте или через отправку SNMP trap. В первом случае, необходимо указать e-mail, на который будет отправлено письмо, при возникновении события заданной категории, во втором – IP-адрес сервера, собирающего SNMP-оповещения. При использовании оповещения через электронную почту, необходимо указать IP-адрес и порт SMTP-сервера и адрес отправителя в разделе SMTP
Разделы LDAP , Active Directory , RADIUS ,Users и SSL sertificate настраиваются в зависимости от требований безопасности доступа к IPMI-устройствам. В разделе Network можно изменить сетевые настройки IP-адрес, маску, шлюз. В разделе Ports - номера портов, которые используются при эмуляции виртуальных устройств загрузки, видеомонитора, клавиатуры и мыши. Также можно изменить номер порта для веб-доступа к устройству IPMI.
Вкладка Remote Control позволяет выполнить удаленное подключение к консоли сервера с использованием java-апплета. Необходимо учитывать, что при первом подключении, консоль может длительное время не работать, поскольку для выполнения апплета требуется запуск виртуальной машины Java. Кроме обычной эмуляции терминала, в данной программе возможно выполнение записи сеанса работы через меню Video – Capture Screen , использование программной клавиатуры (Keyboard – Soft Keyboard ) и подключение виртуальных носителей (Media – Virtual Media Wizard )
Вкладка Remote Control используется для включения, выключения и сброса сервера.
Вкладка Maintenance - для обновления прошивки и принудительного сброса IPMI-устройства.
Кроме ручного контроля оборудования, интерфейс IPMI позволяет настроить систему оповещения с использованием электронной почты о важных событиях, связанных с работой оборудования – изменении температуры, напряжений, скорости вращения вентиляторов, возникновении корректируемых ошибок памяти (ECC) и т.п. Также имеется возможность мониторинга с использованием протокола SNMP (Simple Network Management Protocol).
Реализация интерфейса IPMI может отличаться в зависимости от производителя оборудования и модели материнской платы. Так, например, для многих серверных платформ Intel подключение по IPMI через веб-браузер обеспечивается специальным модулем удаленного управления – Remote Management Module (RMM ), который не входит в стандартную комплектацию и закупается отдельно. При чем, существует несколько редакций данных модулей, совершенно не совместимых между собой, модуль RMM3 невозможно установить на платформу, поддерживающую RMM4 и наоборот. При установке или замене модуля RMM необходимо руководствоваться документацией к материнской плате.
Кроме того, например, на многих платформах производства Supermicro при включении оборудования IPMI на входе порта Ethernet должен присутствовать линк, в противном случае, доступ к интерфейсу IPMI по сети работать не будет.
Для управления платформами через интерфейс IPMI может использоваться не только браузер, но и программное обеспечение, разрабатываемое производителями оборудования, как например утилита с графическим интерфейсом от Supermicro IPMI View
Также существуют утилиты командной строки IPMICFG и SMCIIPMITOOL .
Не так давно, мне удалось поработать с новыми для меня серверами Supermicro удаленное управление которыми осуществляется с помощью интерфейса IPMI . В данной статье я постараюсь раскрыть основные моменты в настройки IPMI на серверах Supermciro, покажу основные пункты меню интерфейса IPMI, а также расскажу о дополнительных утилитах, командах и способах мониторинга сервера с помощью ipmi.
IPMI (Intelligent Platform Management Interface) — интеллектуальный интерфейс управления платформой, предназначенный для автономного мониторинга и управления функциями, встроенными непосредственно в аппаратное и микропрограммное обеспечения серверных платформ. (информация взята с официального источника). IPMI реализуется в виде отдельного контроллера сервера, который не зависит от операционной системы, BIOS, CPU севера и позволяет удаленно управлять физическим оборудованием.
Первичная настройка IPMI консоли и знакомство с интерфейсом
Настройка IPMI начинается с настройки IP адреса интерфейса, который нужно указать в BIOS. Если сервер установлен в офисе, это может быть серый IP-адрес, если же ваше оборудование размещается в ДатаЦентре, то наверняка вы используете белый статический IP-адрес.
На серверах Supermicro в BIOS можно попасть, нажав кнопку “Del ” при загрузке сервера, я не буду заострять на этом внимание и сразу перейду к интерфейсу самого BIOS.
Как видите на скриншоте, я вошел в пункт меню IPMI и активировал возможность конфигурации Lan для интерфейса (Update IPMI Lan Configuration=Yes, Configuration Address Source = Static), указал IP-адрес, маску подсети и основной шлюз.
Применить настройки можно нажав кнопку F4 , после чего произойдет перезагрузка сервера.
Если вы все сделали правильно, то введя в браузере, указанный для интерфейса IPMI IP, у вас откроется авторизация:
Теперь пройдем по основным моментам.
При покупке нового сервера, в IPMI уже создан пользователь ADMIN с паролем ADMIN , именно с этими данными мы и авторизуемся. Я всегда рекомендую создавать нового пользователя, а стандартного удалять или менять у него пароль, так оставлять такой логин и пароль, крайне небезопасно. Создать нового пользователя или поменять пароли/привилегии у текущих, можно в меню Configuration -> Users .
Рестарт интерфейса IPMI можно сделать из меню Maintenance -> Unit Reset .
Монтирование iso образа ОС для установки на сервер выполняется в меню Virtual Media -> CD-ROM Image .
У меня iso образы ОС хранятся на сервере Samba в той же подсети что и интерфейсы IPMI серверов. Я указываю адрес сервера Samba, путь к образу установочному ISO с ОС, после чего монтирую ISO образ и приступаю к установке операционной системы.
Удаленную графическую Java консоль сервера (KVM-over-IP ) можно открыть через Remote Control -> Console Redirection .
Консоль в целом удобная, но после установки ОС, для работы с сервером я обычно использую ssh клиенты. Иногда есть моменты когда, это невозможно, например если у вас не работает или еще не настроена сеть на сервере или же имеются какие-то проблемы с доступом. Именно тогда на помощь и приходит Remote Console.
Никаких отдельных настроек в самой консоли делать не нужно, хочу лишь добавить, что она имеет встроенную клавиатуру, которую можно вызывать из меню Virtual Media -> Virtual Keyboard .
Совет. После продолжительной работы с серверами SUpermicro, я обнаружил один неприятный баг. После установки операционной системы Centos 7 и установки KVM на нее, пропадает возможность использовать Remote Console. Пока сервер в процессе загрузки, консоль отвечает и можно пройти в Bios или увидеть загрузку ядра ОС. Но как только операционная система загрузилась, видео в консоли пропадает. Путем экспериментов мне удалось победить этот баг. Нужно в загрузки ядра добавить параметр загрузки nomodeset. Для этого после установки ОС нужно выполнить команду:
grubby --args "nomodeset" --update-kernel /boot/vmlinuz-`uname -r`
После этого, Remote Console работает исправно.
Управление сервером через утилиту IPMICFG от SuperMicro
Для управления серверами через IPMI компания SuperMicro разрабатывает собственную утилиту IPMICFG .
Скачать файл IPMICFG можно с помощью команды:
wget ftp://ftp.supermicro.com/utility/IPMICFG/IPMICFG_1.30.0_build.190710.zip
На момент публикации файл был с таким названием, я рекомендую заходить на репозиторий SuperMicro по ссылке ftp://ftp.supermicro.com/utility/IPMICFG/ и копировать url актуального файла.
Распакуем скачанный файл в директорию которой находимся:
ln -s /root/IPMI*/Linux/64bit/IPMICFG-Linux.x86_64 /usr/local/sbin/ipmicfg
Теперь мы можем запускать утилиту с помощью команды ipmicfg (символической ссылки). Рассмотрим базовые возможности утилиты ipmicfg.
Если выполнить команду ipmicfg -help мы получим список всех возможных параметров утилиты.
Разберем основные команды:
- ipmicfg -help – полная справка по утилите;
- ipmicfg -m – просмотр текущего IP и mac-адреса для IPMI;
- ipmicfg -k - просмотр маски подсети;
- ipmicfg -g – просмотр заданного шлюза;
- ipmicfg -fd - сброс IPMI к заводским настройкам;
- ipmicfg -user list – просмотр созданных пользователей и их привилегий.
Вы можете изменить IP адрес, маску и шлюз интерфейса IPMI:
- ipmicfg -m 192.168.1.200
- ipmicfg -k 255.255.255.0
- ipmicfg -g 192.168.1.1
Создать нового пользователя IPMI и его пароль:
ipmicfg -user add С помощью утилиты делаем следующее: ipmicfg -user add 6 test 123456 4 Тем самым мы создали пользователя test с паролем 123456 и привилегиями администратора. Список пользователей IPMI и их привилегии в системе можно вывести командами: Как уже видите на скриншоте, пользователь test создан. Чтобы изменит (сбросить) пароль пользователя IPMI, исползайте команду: ipmicfg -user setpwd И приведу еще пару примеров использование данной утилиты: Через IPMI мониторить температуру и работу железа сервера SuperMicro довольно просто. Полная информация о железе сервера содержится в пункте System -> Hardware Information. Информацию по состоянию процессора, оперативной памяти и вентиляторах, можно посмотреть перейдя во вкладку Server Health -> Sensor Readings. Для удобства просмотра, можно менять категории отображения датчиков, например, температуры: Или датчики напряжения: Так как в данный момент на нашем сервере нет проблем, ни с температурой, ни с напряжением, все датчики находятся в зеленой зоне. Если на сервере поднимается температура или есть проблемы с напряжением, зеленые прямоугольники будут окрашиваться в красный цвет, что послужит сигналом для проверки вашего сервера. Проверка состояния блоков питания: # ipmicfg -pminfo Item | Value
---- | -----
Status | (00h)
Input Voltage | 217.5 V
Input Current | 1.06 A
Main Output Voltage | 12.28 V
Main Output Current | 17.93 A
Temperature 1 | 23C/73F
Temperature 2 | 21C/70F
Fan 1 | 2064 RPM
Fan 2 | 2032 RPM
Main Output Power | 220 W
Input Power | 228 W
PMBus Revision | 0x22
PWS Serial Number | P2K4FCH02LT0125
PWS Module Number | PWS-2K04F-1R
PWS Revision | REV1.0
Current Sharing Control | PEC error
Item | Value
---- | -----
Status | (00h)
Input Voltage | 217.5 V
Input Current | 1.09 A
Main Output Voltage | 12.30 V
Main Output Current | 18.09 A
Temperature 1 | 24C/75F
Temperature 2 | 22C/72F
Fan 1 | 2064 RPM
Fan 2 | 2064 RPM
Main Output Power | 223 W
Input Power | 234 W
PMBus Revision | 0x22
PWS Serial Number | P2K4FCH02LT0126
PWS Module Number | PWS-2K04F-1R
PWS Revision | REV1.0
Current Sharing Control | PEC error
Посмотреть температуру процессора можно командой: ipmicfg -nm oemgettemp Так же можно проверить в каком режиме работают вентиляторы и изменить режим, если это необходимо. Проверка состояния и конфигурации вентилятора # ipmicfg -fan Current Fan Speed Mode is [ PUE2 Optimal Mode ]
Supported Fan modes:
0:Standard
1:Full
3:PUE2 Optimal
4:Heavy IO
Изменение режима работы кулера: ipmicfg -fan Информация о версии и прошивке IPMI: # ipmicfg -nm deviceid Device ID = 50h
Firmware Version = 4.1.4.54
IPMI Version = 2.000000
Manufacturer ID = 57 01 00
Product ID Minor Ver = Greenlow platform
Implemented DCMI version = DCMI not implemented/enabled
Firmware implemented version = NM Revision 4.0
Image Flag = operational image 1
raw = 50 01 04 14 02 21 57 01 00 09 0b 04 05 40 01
И посмотреть все сенсоры можно командой ipmicfg -sdr При выводе мы видим, что есть дополнительные столбцы, в которых отображена информация о лимитах нижнего и верхнего пределов. Так же существует еще не малое количество утилит, которые можно использовать для мониторинга и автоматизировать этот процесс, например, с nagios. В данный момент заострять на этом внимание мы не будем, так как цель статьи рассказать основные моменты в работе с IPMI. Если вас заинтересует тема мониторинга, вы можете оставить свои пожелания и возможно в дальнейшем мы осветим и эту тему. Надеюсь, данная статья окажется для вас полезной! Часто задаваемые вопросы о IPMI в материнских платах Supermicro: зачем он нужен, особенности, наглядная демонстрация, подводные камни. Всю работу выполняет процессор BMC (Baseboard management controller) - он имеет собственную память и специализированную ОС (обычно на базе Linux). BMC использует USB шину для подключения виртуальных клавиатуры, мыши и приводов CD/DVD/FDD. Через другие шины осуществляется сбор показаний датчиков вращения вентиляторов, температуры, управление питанием, доступ к COM-порту (для удаленного доступа к последовательной консоли). BMC также занимается захватом и перенаправлением содержимого видеобуфера - в современных BMC уже интегрировано видеоядро, когда-то, в первых реализациях, BMC занимался оцифровкой аналогового сигнала с отдельного VGA-контроллера. Обмен данными с "внешним миром" происходит через ethernet (выделенный порт или один из портов размещенного на системной плате контроллера ethernet). В целях диагностики можно зайти через SSH, где вас будет ждать busybox. 3) Сколько это стоит?
Сетевые настройки можно поменять при необходимости на вкладке BMC Setting (помните, что можно по ошибке потерять удаленный доступ к серверу). Кстати, об удаленном доступе: используются следующие порты (их нужно будет пробросить через NAT или обеспечить способ доступа в менеджмент-сеть, например, через VPN): На вкладке KVM Console
можно увидеть самую полезную вещь - графическую консоль сервера. Там же находятся кнопки снятия скриншота, управления виртуальными носителями (Virtual Media), перехода в полноэкранный режим и дополнительная софт-клавиатура. Зачем она нужна, если есть аппаратная? Для различных комбинаций клавиш, которые по каким-то причинам не удается отправить на сервер с аппаратной клавиатуры, например классический Ctrl+Alt+Delete. Можно либо перенаправить локальный привод, либо подключить образ, что гораздо удобнее. Для появления соответствующего устройства в загрузочном меню BIOS может потребоваться перезагрузка. Переходим на вкладку Remote Control
, жмем Launch Console
и получаем в отдельном окне Redirection Viewer
, аналогичный по функционалу консоли в IPMIView.
Стоит добавить, что web-интерфейс не облегчает задачу доступа к консоли из внешней сети - Redirection Viewer
- это не Java-апплет, а отдельное Java приложение и использует те же порты для трафика видео, HID и виртуальных приводов: 5900, 5901, 5120, 5123. Для того чтобы сетевым администраторам максимизировать время безотказной работы серверов, существует множество технологий и продуктов. Поэтому необходимо было, чтобы стандарты управления были едиными для всех. На сегодняшний день стандарт IPMI (интерфейс интеллектуального управления платформой) является одним из важнейших открытых стандартов и присутствует во всех платформах Supermicro. Большинство материнских плат Supermicro соддержат специальный слот, поддерживающий IPMI карты стандарта 2.0 (IPMI over LAN). Технология IPMI дает возможность удаленно управлять и восстанавливать сервер независимо от его статуса и состояния. Связь с удаленной консолью управления обеспечивается при помощи встроенного сетевого контроллера, используя дополнительную полосу пропускания. Это аппаратное решение, не зависящее от операционной системы. IPMI 2.0 - это быстрый и недорогой способ удаленного управления, контроля, диагностики и восстановления сервера. Так как IPMI полностью независим от операционной системы, мониторинг, управление, диагностику и восстановление систем можно проводить даже в том случае когда ОС "зависла" или сервер отключен. В технологии IPMI реализованы функции выведения уведомлений о необходимости восстановления компонентов - это дает возможность следить за состоянием системы и реагировать на возможные аппаратные проблемы до их проявления. Вероятность подобных проблем также снижает функция мониторинга аппаратных средств. Кроме того можно отслеживать вмешательства в аппаратную часть сервера, если настроить систему IPMI на выявление открытий корпуса. Безопасность работы персонала обеспечивает использование многоуровневых прав и паролей совместно с технологиями идентификации и линейного шифрования. Некоторые модули IPMI 2.0 поддерживают KVM-over-Lan. Это дает возможность удаленно зайти в операционную систему на сервере и произвести необходимые манипуляции по ее настройке, либо по установке и удалению необходимых программ. IPMI отличается простотой в эксплуатации, поскольку обычно он поставляется уже интегрированным в сервер или отдельное устройство. И что самое важное - он не требует финансовых трат. И позволяет осуществлять управление системой в те моменты, когда программные средства бессильны - например, при "зависании" ОС. Таким образом, технология IPMI и существующие средства и методы управления прекрасно дополняют друг друга. И для эффективного управления сервером необходимо использовать как программные так и аппаратные ресурсы. - Защита паролем Модули удаленного управления, среди которых наибольшую известность получили KVM-переключатели, как правило, выполнены в виде внешних конструктивов. Но есть и другой класс устройств, также предназначенный для осуществления дистанционных манипуляций с серверным оборудованием, встраиваемый непосредственно в контролируемый объект. Каждый системный администратор не представляет своей деятельности без использования удаленного доступа к подопечным серверам, причем в двух вариантах: удаленного контроля состояния оборудования и дистанционного выполнения административных функций. Обычно эти задачи решаются посредством доступа к текстовой консоли или рабочему столу графической оболочки. Организовать удаленное управление возможно разными способами, самыми распространенными из которых являются программные средства. Практически каждый производитель серверов и систем хранения данных поставляет в комплекте ПО для удаленного мониторинга состояния, оповещения о критических ситуациях и администрирования оборудования. Не последнее место занимают встроенные средства дистанционного доступа, предоставляемые ОС, не считая отдельных продуктов третьих фирм. Но иногда программные средства оказываются бессильными помочь в устранении неполадок без прямого доступа к серверу. Это бывает, например, при аппаратном сбое, и исправить ситуацию может только "холодный" рестарт или даже необходимость выключения/включения питания. В таких случаях на помощь приходит специализированное аппаратно-программное решение, представляющее собой специальный контроллер, устанавливаемый на материнскую плату. Его питание обеспечивается от дежурного источника или вообще автономно. К нему есть доступ через сетевой интерфейс, кроме того, может быть еще один канал - через автономный СOM-порт или модем.Такой контроллер имеет доступ к сенсорам на материнской плате, а также может осуществлять аппаратный сброс и включение/выключение питания. Управление этими функциями выполняется с рабочей станции администратора, на которой устанавливается клиент, взаимодействующий с контроллерами и допускающий мониторинг/управление группой серверов, оборудованных такими модулями.> Altusen IP9001 Контроллер IP9001 - по сути, "компьютер в компьютере". Такое решение обеспечивает полную аппаратную независимость от управляемого сервера Доступ к дистанционному узлу осуществляется посредством Web-интерфейса и позволяет производить любые операции с обслуживаемым компьютером вплоть до включения/выключения и аппаратного сброса Устройство представляет собой PCI-контроллер для дистанционного управления по протоколу TCP/IP, рассчитанный на установку в любой компьютер, оснащенный соответствующим интерфейсом. По сути, IP9001 - самостоятельная ЭВМ с собственным процессором IBM PowerPC 405GPr - 400-мегагерцевой версией уже известного 405GP, выпускающегося с тактовыми частотами 266 и 300 MHz. Этот процессор включает в себя интегрированный PCI-интерфейс, контроллеры SDRAM и Ethernet. Помимо обязательных ОЗУ и ПЗУ на плате присутствует собственный графический контроллер ATI Rage XL, а для подключения к сети на ней предусмотрен Ethernet-порт RJ-45. Заслуживает внимания и возможность работы через телефонную сеть при помощи дополнительного модемного модуля (разъем RJ-11) - она выручит при отсутствии доступа к управляемому узлу посредством локальной сети. Кроме перечисленного выше, модуль дистанционного управления оснащен приличным набором периферийных интерфейсов, среди которых - RS-232 и хаб USB 2.0. Питание устройства осуществляется двумя путями - через шину PCI и внешний источник, предназначенный для обеспечения независимости от управляемого компьютера. Управление с удаленной консоли предоставляет оператору весь спектр возможностей, доступных непосредственно с самого сервера, в том числе работу в режиме Remote Console, мониторинг напряжения и температуры системы, включение/выключение, перезагрузку. Поддержка виртуального диска, CD и флоппи-дисковода позволяет устанавливать обновления, ПО и загружать ОС с носителя, физически находящегося на удаленной рабочей станции. Программное обеспечение допускает поддержку 64 учетных записей с разграничением прав доступа к управлению для каждого оператора. Работа устройства рассчитана на использование операционных систем Windows 2000/2003/XP, Red Hat версий 8.0 и выше. IPMI (Intelligent Platform Management Interface). Еще одна разновидность встраиваемых устройств, предназначенных исключительно для серверных платформ, базируется на наборе спецификаций IPMI, разработанных группой компаний-производителей серверного оборудования Intel, HP, NEC и Dell для средств удаленного мониторинга/управления. В него вошли три спецификации: Intelligent Platform Management Interface; Intelligent Platform Management Bus (IPMB) и Intelligent Chassis Management Bus (ICMB). IPMB - спецификация внутреннего интерфейса расширенного мониторинга/управления в пределах одной системы, ICMB определяет спецификации внешнего интерфейса между IPMI-совместимыми системами. Расширители IPMI, несмотря на небольшие габариты, обеспечивают полный контроль над сервером После выхода в 1998 г. версии 1.0 была выпущена 1.5, а в настоящее время актуальна спецификация 2.0. Этот стандарт поддержал уже 171 производитель оборудования, и список продолжает расти. Версия 1.5 была утверждена в I квартале 2001 г. Она уже включала следующие возможности: средства мониторинга температур, напряжений, скорости вращения вентиляторов, датчики вскрытия корпуса; управление сбросом и питанием; ведение журнала событий; сторожевую схему (WatchDog Timer); доступ и оповещение через COM-порт и локальную сеть; специализированные шины для мониторинга. Версия 2.0 была принята в феврале 2004 г. В ней предусмотрен ряд дополнительных возможностей, таких как Serial Over LAN, шифрование пакетов, внутренние и внешние протоколы, усовершенствованы средства защиты от несанкционированного доступа, добавлены расширения для мониторинга модульных структур (blade-серверов) и средства для создания виртуальных (management only) сетей. Средствами IPMI оснащались серверные материнские платы на платформе Intel 7500 для Xeon Prestonia с шиной 400 MHz. Это был модуль SMC-0001, совместимый с IPMI-1.5, выполненный как небольшая платка со специализированным процессором и своим COM-портом в конструктиве, аналогичном модулям памяти SO-DIMM.Практически на все платы на платформе Intel 7520/7525/7320, а также Intel 7221 для Pentium 4 устанавливается модуль AOC-IPMI20-E, уже совместимый с IPMI 2.0. Архитектура IPMI версии 2.0. На сегодняшний день это основной стандарт, принятый разработчиками серверных систем На серверных платформах 7230 для Pentium D и 1U-платформах серии 6014P для Xeon появился новый конструктив для IPMI-карт. Он имеет разъем, похожий на PCI-Х х16, только с "перевернутым" ключом. Эти платы (AOC-1UIPMI-B и AOC-LPIPMI-LANG) функционально аналогичны AOC-IPMI20-E, но оснащены дополнительной гигабитовой сетевой картой Intel 82541PI. Модуль AOC-LPIPMI-LANG предназначен для установки в обычный или 2U-корпус, а AOC-1UIPMI-B - в 1U-корпус и не оборудован сетевой картой (она опционально доступна в виде отдельного модуля AOC-1UIPMI-LANG). По умолчанию AOC-IPMI20-E использует первый сетевой контроллер, имеющийся на материнской плате, а AOC-1UIPMI-B и AOC-LPIPMI-LANG - свой дополнительный, если он установлен. При инсталляции в модуле IPMI сначала программируется Firmware, соответствующее материнской плате, а затем устанавливается IP-адрес. В операционной системе эта же сетевая карта может параллельно использоваться для других нужд с IP-адресом, отличным от установленного для IPMI. Как правило, последнему из соображений безопасности рекомендуется выделять отдельную сеть. Для мониторинга/управления систем с IPMI-адаптерами применяется специальная утилита IPMIView20, которая распознает адаптеры всех версий. Она позволяет находить IPMI-адаптеры в заданном диапазоне адресов, и группировать обнаруженные системы по определенному признаку. Для получения доступа к конкретному серверу необходимо пройти парольную аутентификацию, причем в IPMI 2.0 используется контроль по паролю и шифрование, а также многоуровневое разграничение прав доступа.ПО для управления серверами через IPMI предоставляет оператору не только набор базовых функций, но и данные мониторинга в удобной графической форме Основные возможности мониторинга/управления, предоставляемые адаптерами IPMI, стандартые: ведение журнала системных событий, слежение за температурой, напряжениями, скоростями вращения вентиляторов, другими датчиками. Имеется возможность перезагрузки, включения/выключения и Cycle - последовательного выключения, а затем включения питания. Все эти функции доступны в двух режимах: Graceful Power Control - корректное выполнение shutdown операционной системы через установленный на ней агент (GPC-агент имеется только для Windows и Linux), и Chassis Power Control - аппаратный сброс/выключение питания.Доступ к текстовой консоли осуществляется посредством ее переназначения на COM-порт и реализации SOL-redirection (Serial Over LAN). Последняя позволяет получить доступ к текстовой консоли удаленного сервера, и поменять удаленно, например, настройки BIOS. Таким же образом можно получить доступ к загрузочному меню Windows или к текстовой консоли Linux/UNIX. Устройства, описанные в обзоре, созданы для выполнения одной и той же задачи - максимально упростить обслуживание удаленных систем. Главное различие между ними - сфера применения. Если Altusen IP9001 подходит для любой системы, то установка модулей IPMI ограничена исключительно серверными платформами. Сегодня многие компании-разработчики стремятся включать подобные модули в состав своих систем. Так, 15 июня ATEN International Co. Ltd. объявила, что ее новое микропрограммное решение IPMI официально выбрано Micro-Star International Co. Ltd. (MSI) для своей серверной линейки продукции. MSI внедрит микропрограммное решение ATEN в линейку AMD-серверов, чтобы предоставить клиентам необходимые функции управления серверами.Отдельно стоит отметить, что Supermicro готовит для платформы Bensley новые средства мониторинга/управления AOC-SIMLP IPMI 2.0, которые будут иметь встроенные возможности KVM Over LAN средствами IPMI.
Мониторинг железа на сервере SuperMicro через IPMI и утилиту IPMICFG
Мониторинг сервера SuperMicro через IPMI
Мониторинг с помощью утилиты ipmicfg
1) Самый популярный миф о KVM-over-LAN - это то, что он "не нужен"
. Почему-то многие путают его с обычным удаленным доступом к текстовой/графической консоли ОС, т.е. "зачем нам KVM-over-LAN, если есть SSH, VNC, RDP и Radmin?"
Разница принципиальная: KVM-over-LAN - это не просто доступ к консоли ОС, он никак от ОС не зависит, это доступ к консоли непосредственно самого сервера (и не только к консоли, подробности будут ниже), т.е. мы можем, например: зайти в BIOS системной платы или доп. контроллера, установить ОС, настроить мониторинг сенсоров (что, опять-таки, очень важно - независимый от ОС) через SNMP и т.д.
2) Как это работает?
Работает достаточно просто, вот структурная схема (Supermicro последнее время использует, как правило Winbond или Nuvoton WPCM450:
Собственно, WPCM450 в продуктах Supermicro представляет собой систему на базе процессора ARM 926EJ-S, работающей под управлением ОС Linux на ядре 2.6.
В настоящее время Supermicro интегрирует IPMI BMC непосредственно на системные платы. Раньше использовались дополнительные модули (например - AOC-SIMSO+). Наличие IPMI BMC на плате Supermicro обозначает буквой F, например: X8DTi и X8DTi-F, и разница в цене не превышает $50, что уже является очевидным ответом на вопрос "нужно или нет", ведь внешний IP-KVM обойдется вам гораздо дороже. Ставить обычный KVM и каждый раз при необходимости что-нибудь переустановить или перепрошить идти в серверную - тоже не выход, это потеря времени, ведь ваш сервер может находится за десятки и сотни километров, да и, в конце концов - это просто неудобно.
4) Как это выглядит на практике?
Доступ к IPMI можно получить либо через IPMIView (специализированная утилита на Java, есть сборки под Windows и Linux) или через обычный браузер (при подключении к графической консоли запустится дополнительное java-приложение).
Рассмотрим IPMIView. Для начала в BIOS можно настроить ethernet-порт IPMI: по умолчанию стоит DHCP, но можно вручную выставить нужные IP/маску/шлюз, тэг VLAN (весь ужаленный менеджмент лучше выделить в отдельную подсеть из соображений безопасности и удобства).
Запускаем IPMIView и находим нужный сервер (можно просканировать диапазон адресов на предмет наличия IPMI), логин/пароль по умолчанию - ADMIN/ADMIN.
За здоровьем сервера можно наблюдать на вкладке Sensors
(показания температурных и вентиляторных датчиков вы увидите только при включенном сервере):
TCP:
UDP:
Вот несколько особенностей:
И заключительный абзац - использование виртуальных носителей.
Переключение раскладки в WinPE 3.0 не работает. Так что собирайте WinPE с английской раскладкой, для этого нужно добавить в скрипт сборки после монтирования Wim-образа следующую команду:
Dism /image:C:\winpe64\mount /Set-InputLocale:1033:00000409
"C:\winpe64\mount" - точка монтирования образа.
При желании можно заодно сменить локаль и язык интерфейса - смотрите документацию к WinPE.
P.S. Как сбросить пароль IPMI? Только при помощи консольной утилиты ipmicfg . Существует в версиях под DOS, Windows и Linux. Запуск ipmicfg -fd обнуляет все настройки и устанавливает логин/пароль пользователя с администраторскими правами в стандартные ADMIN/ADMIN.
Обновление от 18.04.2010
. В какой-то момент, после очередного обновления Java, попытка смонтировать iso образ в IPMIView начала приводить к его падению (Windows 7 64бит с последними обновлениями).Вышел новый релиз IPMIView (build 110412 от 12 апреля). Пока еще не проверял, исправлен ли там этот баг, так как можно пользоваться запуском консоли через web-интерфейс.
P.S. от 01.12.2011
. Дополнительная статья: FreeIPMI .
P.S. от 06.10.2013. Похожая .
P.S. от 10.11.2013.
P.S. от 20.06.2014.
Опять .Преимущества технологии IPMI
Altusen IP9001 и модули IPMI: встраиваемые средства для удаленного управления компьютером
Послесловие