Что такое ilo в сервере
В данной заметке хочу рассказать и для себя зафиксировать такой вопрос,ч то такое ILO и MSM порты. Integrated Lights-Out — механизм управления серверами в условиях отсутствия физического доступа к ним. Применяется фирмой Hewlett Packard для всех своих серверов (кроме серверов 100 серии до марта 2009 года (до G6)). Это некое устройство, которое по функционалу схоже с KVM. Оно позволяет получить доступ к серверу даже тогда, когда «отвалился» основной интерфейс. У ILOсвой IP-адрес и попасть на него можно прямо через браузер. Как настроить ILO управление на сервере HP dl380 g7
На любом из серверов HP вы сможете обнаружить наклейку в которой содержится информация по умолчанию для подключения к порту управления. Ниже представлен пример такой наклейки. Так же есть и другие методы определения IP-адреса ILO порта, в случаях, когда у вас может не быть физического доступа к серверу.
Версии ILO
На начало 2019 года у компании HP технология Integrated Lights-Out насчитывает 5 версий. Версия ILO 1 уже не поддерживается с 2014 года, 2-4 версии последнее обновление получили в 2018 году после очередного нахождения лазеек в безопасности. Был выпущен для ILO 3 бюллетень безопасности CVE-2017-8987. Сама дыра безопасности задействовала физическое соединение для того, чтобы атаковать процессы и критические службы, напомню, что HP iLO 3, это карточка с дискретным сетевым соединением. Rapid7 составила отчет из которого следует, что если хакер будет использовать данную уязвимость, то он сможет управлять полностью сетевым соединением на протяжении 10 минут до перезагрузки сервера службой безопасности. Вот согласитесь, что за 10 минут можно успеть многое, залочить нужные учетные записи, поменять пароли и многое другое. Данная лазейка была в прошивке v1.88. Так, что срочно обновлять ILO.
В серверах HP ProLiant Gen8 и Gen9 уже используется ILO 4 в качестве порта управления. Тут она представлена с дискретным чипом ARM на физическом уровне, он архитектурно независим от серверного CPU, из-за того, что подключен напрямую к шине PCI-Express. Прошивка хранится на дискретном флеш-чипе, что позволяет интерфейсу ILO 4 быть работоспособным когда сервер отключен. Но есть огромное но, есть операционная система от компании RTOS GreenHills Integrity, которая почему-то открывала на прямую доступ в интернет некоторым интерфейсам iLO 4. Логично, что добрые люди из интернета с радостью отыскивают такие сервера и не против посмотреть, что на них расположено.
При атаке они переполняют heap-буфер при обработке HTTP-заголовка. В момент, когда новый клиент подключается к web-серверу, один из четырех потоков обрабатывает соединение и начинает анализ HTTP-запроса. Обработка производится функцией, поочередно считывающей каждую строку, идентифицируя и анализируя таким образом возможные варианты HTTP-заголовка. Основная проблема возникает при обработке заголовка соединения функцией sscanf, которая вызывается небезопасной строкой.
Соответственно, при обработке сверхдлинного заголовка соединения возможно переполнение буфера и выполнение произвольного кода. В Hewlett Packard подчеркивают, что угроза не является лишь теоретически возможной. Известно, что выявившие уязвимость специалисты получили таким образом доступ к управлению сервером. ILO 5 актуальна на 4 февраля 2019 года и имеет версию 1.40.
Существует несколько API для взаимодействия с HP iLO:
Вот так вот выглядит веб-интерфейс при подключении к порту управления ILO 4 на Prolient DL380 Gen9. Тут вы на основном дашборде увидите сводную системную информацию:
Загрузить последние версии ILO прошивок вы можете на сайте производителя:
Или же использовать SPP диски обновления от HP, где очень удобно все обновить за один подход, но из минусов этого метода, то что ISO образа очень объемные.
Проливая свет на HP ProLiant iLO Management Engine
Привет, меня зовут Алексей Павлов, я занимаюсь в HP Россия подготовкой технических заданий по серверному, сетевому оборудованию и системам хранения.
Компания HP анонсировала восьмое поколение серверов в марте 2012 года. О некоторых особенностях дизайна уже было сказано здесь: habrahabr.ru/company/hp/blog/141796.
А теперь я хочу показать вам красоту заложенных в Gen8 решений на простом практическом примере. Недавно в нашем демо-центре в московском офисе мне удалось потестировать DL380p Gen8, и я хочу подробнее рассказать об особенностях развертывания ОС с помощью HP iLO Management Engine.
В этом посте вы найдете пару видео, несколько скриншотов и мои комментарии к ним.
HP iLO Management Engine представляет собой полный набор встроенных инструментов, которые работают на протяжении всего жизненного цикла сервера: первоначальное развертывание, постоянное управление, оповещение, удаленная техническая поддержка. HP iLO Management Engine поставляется со всеми серверами HP ProLiant Gen8 без ограничений по функциональности (то есть никакого больше деления на iLO 100 и полноценный iLO).
Ключевых встроенных инструментов четыре: HP Intelligent Provisioning, HP Agentless Management, HP Active Health System, HP Insight Remote Support.
HP Intelligent Provisioning включает в себя функции по конфигурированию железной части сервера: все драйверы, агенты, прошивки, конфигурационные утилиты теперь хранятся в NAND-памяти на материнской плате. Так же в HP Intelligent Provisioning интегрированы функции HP SmartStart и установки ОС. Кстати, о SmartStart мы планируем подробно рассказать в одном из ближайших постов.
HP Agentless Management производит мониторинг состояния сервера без установки агентов под ОС – проверка состояния железа и фунции оповещения теперь вынесена на чип iLO 4 и не зависит от ОС и процессора.
HP Active Health System – своеобразный «черный ящик» сервера, куда постоянно записываются состояния компонентов сервера и малейшие изменения в конфигурации hardware. В зависимости от типа контракта на поддержку данные могут записываться в «банк данных» сервера удаленной поддержки, чтобы, например, заранее предоставить жесткий диск на замену, если появятся первичные признаки деградации RAID-группы.
HP Insight Remote Support – возможность удаленного подключения к серверу в любом месте и круглосуточная помощь по техническим вопросам. С выходом iLO 4 появилась возможность управления сервером с помощью мобильных устройств — есть приложение для iOS и Android.
И от теории к практике: приступим к удаленной установке Windows Server 2008 R2 на DL380p Gen8.
1. На верхней крышке сервера будет указана информация по логину и паролю к iLO 4 сервера, куда мы и будем подключаться. IP-адрес iLO 4 назначается по DHCP. При первом подключении можно зайти на DHCP-сервер и посмотреть присвоенный адрес, либо подключиться локально и назначить адрес вручную.
2. C этого момента смотрим видео выше. Подключаемся к iLO. Скриншоты кликабельны.
3. Попадаем в главное меню (00:10). Здесь можно получить всю информацию о системе.
4. Из Active Health System Logging (01:20) можно выгрузить отчет о работе сервера за определенный промежуток времени и отправить его в виде файла на диагностику в сервисный центр.
5. Можно изучить какое потребление питания на сервере (02:44) и изменить настройки (03:08).
6. Апгрейд iLO доступен в автоматическом режиме с помощью Intelligent Provisioning или вручную (03:58).
7. Можно создать несколько пользователей (04:04) или назначить права существующим на какие-либо действия. Например, можно назначить права оператора администраторам, которые смогут удаленно перезагружать сервер, подключаться удаленно, подключать virtual media, разворачивать образы, конфигурировать iLO и управлять другими пользователями.
9. Обратите внимание на галочки в правом нижнем углу: почти все «вкусности» Gen8 задействованы в этом сервере.
10. Далее попадаем в менеджер настройки сервера HP Smart Start (01:22). Здесь доступна установка ОС и настройка устройств сервера.
11. SmartStart представлен 9 компонентами (01:28). Active Health System download (01:31) позволяет загрузить на Flash логи сервера и отправить их в сервисный центр.
12. Array Configuration Utility (01:51) позволяет сконфигурировать дисковую подсистему сервера и настроить RAID контроллер p420i. Особенности нового контроллера:
Диски немного уменьшились в размере, что позволяет теперь размещать до 25 дисков в одном сервере. У самого диска появился индикатор его активности в RAID, кнопка “do not remove”, задняя подсветка.
Для SSD появилась функция оценки здоровья диска: SSD Wearing Gauge.
13. В Quick Configs можно изменить настройки профиля BIOS сервера (02:14).
14. Intelligent provisioning preferences позволяет настроить сетевой адаптер для iLO (02:42) и получить справку по всем функциям.
15. Функция Insight Remote Support позволяет ввести адрес удаленного сервера поддержки HP (04:08), на который будет отправляться информация по состоянию системы.
16. Установка ОС происходит в несколько простых этапов (05:06). Сначала собирается информация о конфигурации сервера.
17. Далее предлагается выбрать тип установки (05:38), recommended install позволяет автоматически установить все обновления, подготовить дисковое хранилище и установить драйверы HP.
18. Операционная система готова к установке (06:08).
Думаю, все очень просто и понятно 🙂
По скорости развертывания такая система быстрее на 20% по сравнению с ProLiant поколения G7, а скорость доступности первых данных о сервере после включения – уже через 3 секунды.
Я осветил только одну часть той работы, которая была проделана инженерами HP в рамках последних двух лет, и которая была воплощена в новых серверах Gen8. Об остальных улучшениях постараюсь написать в следующих обзорах.
HP iLO – настройка и использование
HP iLO – настройка и использование
HP Integrated Lights-Out (iLO) представляет собой набор встроенных технологий управления, поддерживает полный жизненный цикл для серверов HP ProLiant. Начиная с первоначального развертывания и до текущего управления, iLO является хорошим инструментом, который будет помогать в удаленной настройке сервера, развертыванию служб, ОС и предоставлять данные о текущем состоянии сервера.
Расширенная лицензия, которая необходима для корректной работы данной технологии, довольно дорогая, но вы можете получить бесплатную пробную версию (60 дней). Достаточно времени, чтобы сконфигурировать парк серверов и оценить необходимость приобретения данного продукта.
Перед первой загрузкой сервера необходимо подключить сетевой кабель к порту iLO (задняя сторона панели сервера). Предполагается, у вас есть DHCP-сервер, работающий в сети, который обеспечит ваш сервер IP-адресом (его рекомендуется сразу же зарезервировать, исключив конфликты IP адресов в дальнейшем). Если вы не используете DHCP-сервер, то необходимо настроить iLO вручную. Во время загрузки сервера нажмите F8 и в меню настройки введите IP-адрес. В данном меню конфигурации iLO доступны настройки конкретной учетной записи пользователя, которая будет использоваться для администрирования сервера позже. В моем случае, я просто добавил пользователя, т.к. IP / DNS задаются DHCP сервером.
При загрузке системы, вы увидите текущий IP адрес iLO в левом нижнем углу экрана загрузки. Просто введите этот IP в адресную строку браузера и вы попадете на страницу приветствия и авторизации.
Введите логин и пароль от учетной записи сервиса iLO (указан на наклейке на сервере), либо созданный ранее. Для получения бесплатной пробной версии сроком на 60 дней необходимо:
После того как вы загрузили файл PDF, перейдите в браузере в консоль iLO, раздел “Администрирование”> “Лицензирование” и введите там ключ активации. Активация данного сервиса позволит использовать ряд преимуществ и расширенных функций: Интеграция каталогов, Kerberos с двухфакторной аутентификации, HP Single Sign-On, Удаленная консоль, Виртуальный KVM (Integrated Remote Console), Virtual Media (CD, флоппи, USB-драйв, сетевая/локальная папка), отчеты по энергопотреблению, тепловому состояния узлов.
Теперь можно скачивать и подключаться через консоль удаленного доступа к серверу (используются те же учетные данные):
Настройка и активация сервиса iLO для серверов HP завершена.
Нашли ошибку в тексте? Выделите фрагмент текста и нажмите Ctrl+Enter
Лицензия iLO Advanced. Для чего она нужна именно сейчас?
В статье рассмотрел наиболее важные, на мой взгляд, преимущества лицензии iLO Advanced для процессора управления HPE Proliant Light-Out. И, самое главное, написал инструкцию, как получить временную лицензию со сроком действия до 1 января 2021 года.
В эти непростые времена мы решили поддержать малый и средний бизнес на «удаленке». Теперь каждый из вас может скачать себе ключ на активацию функционала HPE iLO Advanced на серверах HPE ProLiant, доступ к которому будет действовать до конца 2020 года.
Корпоративные заказчики продолжают пользоваться всеми преимуществами лицензии HPE iLO Advanced, а компании поменьше на ней экономят. Сейчас у них появилась возможность оценить расширенный функционал ПО.
Давайте сравним возможности стандартной и расширенной версии HPE iLO:
| Функционал | HPE iLO Standard | HPE iLO Advanced |
| Поддержка платформ | Есть во всех серверах, где присутствует контроллер управления iLO. Бесплатно> | Все серверы ProLiant, блейд-серверы, вычислители Synergy, картриджи Moonshot в шасси Edgeline |
| Диагностика «Active Health» | — | + |
| Расширенное управление питанием «Advanced Power Management» (графики энергопотребления во времени, возможность динамического ограничения энергопотребления | — | + |
| Автоматическое восстановление безопасной конфигурации | — | + |
| Безагентный мониторинг | + | + |
| Резервное копирование и восстановление конфигурации | + | + |
| Режим Commercial National Security Algorithm (CNSA) | — | + |
| Аутентификация через доменную службу | — | + |
| Встроенная удаленная поддержка | + | + |
| Встроенная система мониторинга состояния сервера | + | + |
| Система коллективной работы через интегрированную консоль удаленного доступа | — | + |
| Поиск через службу «iLO Federation Discovery» | + | + |
| Управление через службу «iLO Federation Discovery» | — | + |
| Перезагрузка HPE iLO | + | + |
| HPE iLO RESTful API | + | + |
| Встроенная консоль удаленного управления | Для BL и WS – стандартно, для остальных серверов – до загрузки в ОС | + |
| Видеозапись действий в консоли удаленного управления | — | + |
| IPMI через LAN/DCMI | + | + |
| IPv6 | + | + |
| Поддержка технологии «Jitter Smothing» | — | + |
| Запись и просмотр состояния сервера на момент загрузки | + | + |
| Передача данных в формате «Syslog» | — | + |
| RIBC | + | + |
| Верификация микрокодов в процессе работы сервера | — | + |
| Доступ к виртуальному дисководу «Virtual Media» из скриптов | — | + |
| Безопасная чистка данных из постоянной памяти HPE iLO (NAND/пользовательские данные) | — | + |
| Технология «Silicon Root of Trust» | + | + |
| Доступ по SSH | + | + |
| Доступ к удаленной текстовой консоли сервера по SSH | — | + |
| Двухфакторная авторизация (Kerberos, Smart Card – PIV/Common Access Card) | — | + |
| Доступ к виртуальному дисководу «Virtual Media» из консоли удаленного доступа | Для BL и WS – стандартно | + |
| Виртуальные кнопки управления питанием (Вкл/Вкл/Перезагрузка) | + | + |
| Виртуальный последовательный порт | + | + |
| Запись вывода и проигрывание с виртуального последовательного порта | — | + |
| Веб-интерфейс | + | + |
| Технология «Профили нагрузки» | + | + |
Подробнее о лицензировании вы можете узнать здесь.
Обращаю ваше внимание на функции удаленной графической консоли и виртуального привода DVD/ носителя USB. Это – возможность полноценного администрирования сервера удаленно без физического доступа к нему: полезная возможность для удаленной работы.
С лицензией жизнь начинает играть другими красками: можно смонтировать образ CD/DVD, лежащий на локальном диске вашего компьютера, или подключить папку на него же:
А с лицензией – есть:
Режим работы сервера:
Серверы можно объединять в группы (всегда есть группа по умолчанию) и настраивать их по общим правилам: присвоить всем один виртуальный носитель, задать для группы ограничения по энергопотреблению (если питание в стойке ограничено), раздать всем лицензию HPE iLO Advanced (попробуйте с нашей временной лицензией), сравнить и при необходимости довести микрокоды на серверах группы до одной версии, и даже включить и выключить все серверы одновременно (мечта хакера). Рекомендую присмотреться к федерации.
Мы рассмотрели далеко не все дополнительные возможности, приобретаемые сервером. Изучить остальные вы можете сами, воспользовавшись лицензией.
Итак, рассказываю, как же получить ключ. Всё просто
А теперь рассказываю, как установить ключ
А если у вас есть свободное время в самоизоляции, то рекомендую попробовать еще несколько решений.
HPE iLO Amplifier Pack – бесплатное ПО, которое поставляется в виде виртуальной машины. Оно повзоляет проводить инвентаризацию серверов, обновлять микрокоды, сохранять и восстанавливать настройки HPE iLO.
Полностью возможности раскрываются при наличии на серверах лицензии HPE iLO Advanced. Есть возможность оценить и сравнить HPE iLO Amplifier Pack с лицензией HPE iLO Advanced и без.
Документация доступна по этой ссылке.
Для серверов работает в связке с HPE iLO Amplifier Pack. HPE InfoSight for Servers – облачный сервис по диагностике и мониторингу вашего оборудования. Чтобы им воспользоваться, необходимо иметь поддержку на оборудование (гарантия – тоже поддержка). В сервисе можно также отслеживать статус заявок.
Этот сервис полезен при удаленной работе, если вы не боитесь передать телеметрию (не пользовательские данные, конечно) на серверы компании.
Управление серверами HP ProLiant через открытые REST API или «iLO на стероидах»
Вступление от HP: эта публикация написана одним из наших заказчиков, который по долгу службы пожелал остаться анонимным. Все совпадения имён и айпишников считать случайными. Попробовать сделать то же самое можно в любое время в нашем демо-центре в Москве — желающих просим писать в комментарии.
Приветствую. Меня зовут Эдуард, и я системный администратор в небольшой компании, которая аутсорсит администрирование ИТ-инфраструктуры. Кхм… Уже похоже на клуб анонимных кого-то с проблемами? Ну да ладно, одна интересная проблема у нас действительно была, а сегодня мы расскажем, как мы с ней столкнулись, и как случайно её решили.
Для начала немного предыстории. Все же помнят, как весело было админить удалённое железо раньше, лет 5-8 назад? Пишем заявку инженерам в ДЦ, ждём, когда они подключат KVM, настраиваем BIOS/CMOS, выставляем загрузку по сети, ставим систему (это хорошо, если кто-то добрый уже написал генератор preseed/kickstart-файлов, и в ДЦ есть DHCP/PXE сервер). А потом у нас на всех серверах появился ipmi (ну со временем). Ох, как мы радовались первое время!
И сервер уже вроде бы ставит ОС. Остаётся только наблюдать за этим в консоли, если скучно. Огорчало только то, что BIOS всё равно приходилось обновлять руками и настраивать (ну там HT/VT-d включить, хотя бы). В итоге все серверы были настроены по-разному, в зависимости от того, в каком квартале их ставили. Ну вы же понимаете, что серверы всегда ставил самый младший админ.
Когда мы находили что-то критичное – мы шли и руками переключали настройки. Бардак, да и только. Но вообще всё это нас устраивало до того, как с нами случилась история, о которой я сегодня и буду рассказывать.
Стоит упомянуть, что часть клиентов мы размещаем прямо на своём железе (точнее на виртуалках на этом железе, которое рулится через ). Ну чтобы вам было легче представить – наша система сильно похожа на OpenStack. И вот, в один прекрасный день, к нам пришел заказчик и попросил «на его железе сделать систему для управления виртуальными машинами в приватном облаке». Мы обрадовались, начали ему показывать своё решение (уже после подписания контракта и ТЗ), ему всё понравилось. Всё понравилось, менеджеры уже открывают шампанское (а надо сказать, что контракт по нашим меркам был очень неплохой). И тут клиент показывает пальцем в пункт ТЗ и спрашивает – «а с этим как?». Сидят админы и недоуменно смотрят в этот пункт – «новые серверы должны автоматически добавляться в облако после инвентаризации, установки в стойку и подключения сети-питания». Мы начали показывать – вот смотрите, мы записываем сервер сюда (1c), добавляем его mac-адрес вот сюда (самописная web-морда для управления dhcp-сервером и pxe), запускаем скрипт, сервер загружается по сети, система ставится (мы с облегчением выдохнули, поняв, что хотя бы система ставится сама), потом мы ловим сервер при перезагрузке, усиленно жмем клавишу Del… В общем, представитель клиента посмотрел на это, почесал затылок, походил по переговорке, собрался с мыслями и произнес: «Да где ж тут автоматически? Вот давайте выкинем всё, кроме 1С, всё равно туда бухгалтеры сервер вносить будут, а не я, и того места, куда вы mac-адрес записывали». Ну и вскоре после этого ушел, добавив, что надеется на то, что задачу мы всё же решим.
Потом мы, как обычно, ТЗ решили прочитать. Нашли там всякие интересные пункты, которые мы (ну те, кто делал задачу, а не те, кто ТЗ подписывал и пересказывал его нам) увидели впервые. Например, мониторинг температуры в обход ОС, мониторинг потребления электричества, автоматическая настройка BIOS… Начали размышлять. Сначала склонялись к мысли, что ipmitool всё это может. Потом представили, как всё это будет выглядеть. Подумали про то, как обновлять настройки, про мониторинг датчиков… В общем, разошлись на выходные с задачей «изучить весь гугл на предмет альтернатив ipmi, которые могут».
Приходим в понедельник, все грустные, злые. А один админ сидит и улыбается. Логичным было пристать к нему с расспросами на тему того, зачем он читает ithappens, когда у нас такая беда. Как оказалось, радовался он по поводу того, что читал не ithappens, а Redfish server management spec v 1.0 (читать здесь). Почитали все вместе вслух, злиться перестали. Redfish оказался именно тем, что нам нужно. Взяли менеджера, заставили его обзванивать всех производителей серверов, чтобы найти железку, в которой Redfish реализован. Приходят через час и смеется, показывает пальцем на коробку у входа и говорит «всё, я нашел». Собственно, коробка оказалась коробкой от HP Proliant Gen9. Сервер мы нашли, вернули в лабораторию (и кто вообще догадался новенький неизученный сервер сразу в ДЦ везти…) и приступили к знакомству с HP REST API (которая и является реализацией Redfish в серверах HP).
Так как мы админы (это потом уже нам дали питониста и он нам всё написал и сделал красивый web-интерфейс), то первым делом мы сели писать sh-ники, которые будут делать то, что нам нужно. Конечно, мы бы не советовали ходить в Rest API консольным curl-ом и генерировать JSON через echo (ну или хотя бы потом не показывайте никому это), но вот поделиться примерами взаимодействия с HP ProLiant REST API будем рады (тем более, что сами представители HP нас об этом и попросили).
Возможностей там полно на самом деле, в документации 2 сотни страниц списка объектов и краткого их описания. Мы первым делом пытались выполнить свои основные задачи, как proof-of-concept. Конечно, часть из них можно делать и через IPMI, но мы решили использовать один инструмент, именно API.
Первым делом (ну хорошо, вторым, после подключения сервера в стойке и после того, как HP iLO получит IP-адрес), прописываем все настройки BIOS:
Научимся управлять питанием. Ребут «по кнопке»:
«Выдёргиваем кабель из розетки»:
Отправляем инженера «нажать кнопку питания»:
Спросим у сервера, кто он такой:
PATCH-запросом в эту же ручку можно изменить информацию о сервере внутри iLo.
Спросим MAC-адреса у сервера (да, в итоге мы пошли дальше и DHCP-сервер сам проводил инвентаризацию новых серверов, если находил незнакомый iLO в отдельном VLAN-е – для iLO мы выдавали динамические адрес, а потом уже заводили записи о статических адресах для сетевых карт сервера и интерфейса iLo):
Из предыдущего JSON-а мы вытаскивали также и количество памяти с моделью CPU, потом разработчики сделали интеграцию с 1С, сервер отправлял данные о себе и туда. Здесь же мы определяли и версию BIOS, чтобы ругаться об устаревших (или просто отличающихся по кластеру) версиях.
Ещё через REST API можно снять показания метрик питания (к сожалению, не во всех «уровнях» лицензии iLO):
Ещё мы нашли какую-то жуткую ручку, которая описывает состояние сервера – обороты вентилятора, температуру, состояние разных железок внутри сервера.
А ещё нашли объект, который говорит о состоянии сервера в целом (ОК/fail) и чем он сейчас занимается (в нашем примере он загружался):
В общем, sh-ник мы в итоге написали и отдали его разработчику. Он над нами посмеялся, мы его за это поругали, пригрозили рута отобрать… Но зато он потом написал модуль в наше облачко, который умеет добавлять и управлять серверами через Redfish (и HP REST API, соответственно). Ну а заказ мы в итоге выполнили.
Наверное, пора закругляться. Расскажем про тех, кто играл главные роли во всей это истории.