Построение вычислительного ресурса инженерного подразделения



Pdf просмотр
Дата24.12.2016
Размер1.7 Mb.
Просмотров505
Скачиваний0

Высокопроизводительный программно
- аппаратный комплекс:
Программные продукты
ANSYS, Inc

блэйдовый кластер
Cray CX1.
Настройка и эксплуатация
ЗАО «КАДФЕМ Си
-
Ай
-
Эс»
Александр Чернов
Начальник инженерно
- технического отдела alexander.chernov@cadfem-cis.ru

Построение вычислительного ресурса инженерного
подразделения

Построение вычислительного ресурса для инженеров расчетчиков и исследователей, использующих программные продукты с возможностями высокопроизводительных вычислений, является актуальной задачей для многих Российских компаний и научных учреждений.
При решении практических задач в программных продуктах инженерного анализа, использующих численные методы решения задач механики деформируемого твердого тела и вычислительной гидрогазодинамики, расчетные модели, как правило, требуют больших вычислительных ресурсов.

Построение вычислительного ресурса инженерного
подразделения

На практике, при получении технического задания на проектирование нового изделия, сроки на реализацию проекта ставятся очень жесткие, и времени на применение методик по упрощению и снижению размерности задачи у инженеров, как правило, нет.
Во многих программных комплексах ведущих мировых компаний реализованы решатели, использующие методы распределенных вычислений (
Distributed Solvers
). В этих решателях используется декомпозиция расчетной области на несколько расчетных областей и распределение вычислений на ядрах процессоров, используя протокол MPI и сетевое соединение.

Постановка задачи

В реальной инженерной практике над проектом работает команда инженеров расчетчиков, разной специализации: нестационарная нелинейная динамика быстропротекающих процессов, расчеты на статическую прочность больших агрегатов и узлов, расчет динамики машин, вычислительная гидрогазодинамика, …
И всем им надо в желательно кратчайшие сроки получить результаты расчетов. Для этих целей в компаниях создаются мощные инженерные вычислительные ресурсы.
Основная цель построения такого ресурса –
дать возможность инженерам удаленно со своих рабочих мест отправлять подготовленные в препроцессорах модели большой размерности в очередь задач системы управления на выделенном вычислительном ресурсе.

Почему программно
-
аппаратный комплекс ?

Вычислительный ресурс представляет собой программно
- аппаратный комплекс, где аппаратная часть –
сама hardware реализация кластера и программная часть:

Операционная система, система развертывания , управления кластером, управление вычислительными ресурсами и очередью задач.

Программные продукты для высокопроизводительных вычислений.
рассматриваются совместно, что приводит к более высокой эффективности создаваемого решения. При этом акцент делается на системе развертывания и управления вычислительного кластера, и системе управления очередью задач на уровне работы операционной системы комплекса.

Задачи для вычислительного ресурса инженерного
подразделения

Какие задачи могут стоять перед инжиниринговыми подразделениями организации (научно
- исследовательского центра):
• Запускать решатели программных продуктов инженерного анализа, использующих численные методы решения задач механики деформируемого твердого тела и вычислительной гидрогазодинамики, в режиме высокопроизводительных вычислений
• Подготавливать модели большой размерности к запуску на расчет в препроцессорах с реализацией визуализации больших объемов графики (требуются профессиональные графические карты).
• Использовать при работе решателей программных продуктов инженерного анализа гибридных вычислений CPU/GPU
(использование вычислительных блоков NVIDIA
Tesla).
• Обеспечивать хранение баз данных расчетов.

Для сравнения выберем Rack mount типовой кластер для решения
представленных задач
Шкаф серверный 42
U
с
:
Кабельными органайзерами;
Панелью электропитания;
Термостатом;
Либо вентиляторами, либо кондиционером для шкафа;
Крепежными комплектами;
Панелью освещения;
Разводкой электропитания…..
24 x 10/100/1000
Gigabit Switch
Специально оборудованное серверное
помещение с системой пожаротушения и
вентиляцией! + Накладные расходы по
обслуживанию и содержанию всего этого!

ИБП
Х
KVA RM Rack
Х
U
Серверная 1U платформа, например одна из
самых современных
ASUS RS700D-E6

N
шт.

состоит из двух независимых узлов c 4- мя процессорами с
16- тью или 24
- мя вычислительными ядрами в корпусе 1U.

Надо учитывать не только цену приобретения HPC решения, но и цену владения, также накладные расходы развертывания и монтажа
Сколько стоит площадь под специально оборудованное серверное помещение?
Во сколько обходится содержание системы кондиционирования и пожаротушения?
Сколько стоит подвод специального силового шкафа для электропитания?
Сколько кластер потребляет электроэнергии и сколько ее тратится на кондиционирование?
Когда сравниваете цены
HPC решений не забывайте учитывать эти аспекты!
Откуда в мире такая популярность блэйдовых
HPC
решений?

Ответ: «Экономическая эффективность!»


Кластер
Cray CX1 -
вычислительный ресурс
инженерного подразделения

Кластер
Cray CX
1 следует позиционировать как вычислительный ресурс инженерного подразделения.
С точки зрения масштаба решаемых задач инженерное подразделение требует запуска не более 3
- х задач одновременно, каждая из которых требует использования не более 48 ядер процессоров или одной не более чем на 128 ядрах.
Данный блэйдовый кластер сделан по технологии, позволяющей гибко конфигурировать высокопроизводительную систему под специализированные задачи инжиниринговых подразделений.

Номенклатура аппаратных средств, решающих
поставленные задачи

• Узел с дисковым массивом либо большой емкости, либо высокой производительности –
зависит от типа используемых жестких дисков;
• Вычислительных узлов только с процессорами оперативной памятью и компактным жестким диском;
• Узел с возможностью установки профессиональной графической карты для обработки графики расчетных моделей большой размерности в пре/постпроцессорах;
• Узел с блоком графических процессоров GPU NVIDIA
Tesla.


Возможно
комбинировать
вычислительные
узлы с узлами для
обработки графики
и узлами хранения
данных!


Возможна установка
16 Intel Xeon quad-
или six-core
processors на шасси

До 96 ядер на
шасси


Встроенный
коммутатор Gigabit
Ethernet Interconnect,

Опционально DDR
InfiniBand




Масштабируется до
использования 8
блэйдовых узлов на шасси
(системный блок)

2 процессора на узел (16
процессоров/на шасси)

Возможна установка до
96 GB оперативной
памяти на узел
(512GB/системный блок)

Возможна установка
массива жестких дисков
емкостью до 8 TB на узел



Опционально
возможно
комбинировать 3
шасси в стойку (rack)


CN5600 (Dual Xeon)
CV5601
CT5601
CS5604
Вычислительный узел
1 Slot
Узел обработки
графики
2 Slots
Узел использования
графических
процессоров GPGPU
2 Slots
Узел хранения
данных
2 Slots
*
Представлены
4 основных из возможных
9 конфигураций блэйдовых серверов
Блэйдовые сервера отличаются использованием
: частоты и ядерности процессоров
, размера оперативной памяти
, размера дисковой системы
, наличия интерконнекта
InfiniBand, и т. д.

В
Cray
CX1 процессоры
Xeon 5600 доступны в восьми различных вариантах: они варьируются от
Xeon L5630 (2.13 GHz, 4 core
, 80W) до X5670 (2.93
GHz,
6 core
, 95W). При сравнении
Xeon
5600 с соответствующим поколением
Xeon 5500 (Nehalem
), стоимость процессора и потребление энергии является аналогичной. Сохранение цены означает, что
Cray CX1 предлагает значительные преимущества в соотношении цена/производительность.
Производительность:
Как уже отмечалось, для некоторых вариантов процессоров количество ядер на процессор будет увеличено с 4 до 6. Это обеспечивает увеличение пиковой производительности до полутора раз, по сравнению с максимальной комплектацией, использующей
4- х
ядерные процессоры
Intel
Xeon QC X5570 2.93GHz 8M 6.4 GT/sec LGA1366,
достигается
производительность свыше 1 Т
flops +
Фактическая производительность будет зависеть от приложения.
Большинство HPC приложений, при использовании шести ядер,
будут работать на 20 –
40% быстрее, чем на процессорах с 4 ядрами

Варианты реализации управления
вычислительным ресурсом

По распространенности и качеству решения рассматриваются два решения:
На базе
Microsoft HPC Server 2008
На базе
Linux операционных систем, как самых распространенных из
UNIX операционных систем, а также исходя из поддержки ими
CAE программных продуктов для инженерного анализа и в частности программных продуктов фирмы
ANSYS ,Inc

Реализация вычислительного ресурса

на
Microsoft
Windows HPC Server 2008
К преимуществам
Microsoft Windows HPC Server 2008 следует отнести, то если IT инфраструктура компании уже построена на решениях от
Microsoft, то высокопроизводительное решение на базе
Microsoft HPC Server 2008 встраивается в уже существующую инфраструктуру:
Учетные записи пользователей в домене и политика безопасности;
Сетевые ресурсы.
В операционной системе
Microsoft Windows HPC Server
2008 реализовано создание шаблонов образов операционных систем. Операционная система с головного узла кластера на вычислительные узлы устанавливается по PXE, что позволяет быстро в автоматическом режиме развертывать достаточно мощные вычислительные комплексы.
В качестве системы управления кластером (обеспечение мониторинга задействованных вычислительных ресурсов, управление очередью задач) используется интегрированное в операционную систему
Windows HPC Server
2008 решение
- Microsoft HPC Job Manager

Реализация вычислительного ресурса

на
Microsoft
Windows HPC Server 2008
Возможна реализация различных топологий сетей:
Либо все строится на уже существующем домене организации, выделяются диапазоны
IP адресов
DNS сервера контролера домена организации.
Либо для кластера создается свой домен, для сетевой карты головного узла назначается
IP адрес домена организации и между доменом расчетного кластера и доменом организации создается доверие доменов.
На практике все основные сложности, которые возникают при развертывание кластера, связаны с настройками сети высокоскоростной передачи данных
Infiniband.
Запуск
InfiniBand subnet manager как службы opensm.
Обеспечение запуска
DHCP сервера для получения
IP адресов
Infiniband после службы
InfiniBand Subnet Manager

opensm

Запуск задач программных продуктов
ANSYS
с
помощью графических средств самих пакетов

Можно запускать решатели программных продуктов
ANSYS для вычислительной гидрогазодинамики
(ANSYS CFX и
ANSYS
FLUENT)
, используя графические окна приложений.

Запуск задач программных продуктов
ANSYS
через
планировщик
Microsoft HPC Job Manager
Недостатком данного метода является использование технологии работы с помощью удаленного рабочего стола (
Remote Desktop), использующего
Remote Desktop Protocol (RDP
), что запрещено во многих компаниях из соображений политики безопасности.
Что желательно:
На головном узле, предоставляется доступ к ресурсам дисковой системы только для директории учетной записи пользователя, который удаленно запускает задачу.
Пользователь готовит:
Сами файлы задачи, созданные в препроцессоре.
1- й
- .bat файл, в котором описывается запуск сессии решателя
2- й
- .xml файл, в котором описано выделение ресурсов для запуска этой задачи на кластере и сам запуск ее через планировщик
Microsoft HPC Job Manager.
Для решателя
ANSYS FLUENT надо сформировать еще журнальный файл
.jou

Запуск задач программных продуктов
ANSYS
через
планировщик
Microsoft HPC Job Manager
Для запуска решателя программных
ANSYS Mechanical необходимо правильно настроить файлы для запуска задач.
Для запуска каждой задачи создается 2 файла:
1- й
- .bat файл, в котором описывается запуск сессии решателя
2- й
- .xml файл, в котором описано выделение ресурсов для запуска этой задачи на кластере.
В
.bat файле указывается входной файл для решателя
.inp
Он может быт организован несколькими методами:
В нем содержатся команды непосредственно строящие расчетную модель и запускающие ее на решение;
Идет ссылка на считывание КЭ модели в
.cdb и далее задание граничных условий и запуска ее на расчет;
Считывается база данных расчета
.db и она запускается на расчет.

Запуск задач программных продуктов
ANSYS
через
планировщики
Linux
операционных систем

Различные планировщики используют определенный синтаксис запуска задач в пакетном (
batch) режиме, например:
Sun Grid Engine
Altair
®
PBS Professional
Менеджер ресурсов
Torque и менеджер очереди задач
Maui
qsub
Moab Adaptive HPC Suite
msub
Platform LSF
bsub

Есть как коммерческие (
Platform Computing, Altair)
, так и open source
(torque) реализации

Компания "КАДФЕМ Си
-
Ай
-
Эс
",
авторизованный партнер
Cray
Inc
. в России, реализует и
осуществляет техническую
поддержку продуктов
Cray
на
территории России.


Каталог: books -> conference
conference -> Перспективные подходы к созданию ос суперкомпьютера
conference -> Реализация технологии «Персональный виртуальный компьютер» на базе открытых технологий
conference -> Построение коллизии для 75-шаговой версии хэш-функции sha-1 с использованием
conference -> X международная научная конференция Параллельные вычислительные технологии
conference -> Российская академия наук Международная научная конференция Параллельные вычислительные технологии


Поделитесь с Вашими друзьями:


База данных защищена авторским правом ©nethash.ru 2019
обратиться к администрации

войти | регистрация
    Главная страница


загрузить материал