Red Hat Enterprise Linux 5 Обзор Cluster Suite Red Hat Cluster Suite для Red Hat Enterprise Linux 5 Редакция 3




страница2/3
Дата23.11.2016
Размер2.12 Mb.
Просмотров203
Скачиваний0
1   2   3
Рисунок 1.5. Fencing a Node with Dual Power Supplies
14
Глава 1. Обзор Red Hat Cluster Suite

Рисунок 1.6. Fencing a Node with Dual Fibre Channel Connections
Д ля узла можно использовать один или несколько изолирующих методов. Если используется один метод , то другие методы недоступны. Если же используется несколько методов, то они будут применяться каскадно в соответствии с порядком, определенным в файле конфигурации кластера. При сбое узла он будет изолирован согласно заданному в файле способу. Если первый способ не сработает, то процесс изолирования начнется заново и будет использован следующий способ. Если же все методы завершились неудачей, процесс начнется сначала, переходя от первого метода в файле конфигурации к последующему до тех пор, пока узел не будет изолирован.
1.3.4 . Система конфигурации кластера
The Cluster Configuration System (CCS) manages the cluster configuration and provides configuration information to other cluster components in a Red Hat cluster. CCS runs in each cluster node and makes sure that the cluster configuration file in each cluster node is up to date. For example, if a cluster system administrator updates the configuration file in Node A, CCS propagates the update from Node A to the other nodes in the cluster (refer to Рисунок 1.7, «CCS Overview»
).
Red Hat Enterprise Linux 5 Обзор Cluster Suite
15

Рисунок 1.7. CCS Overview
Other cluster components (for example, CMAN) access configuration information from the configuration file through CCS (refer to Рисунок 1.7, «CCS Overview»
).
Рисунок 1.8. Accessing Configuration Information
Файл конфигурации кластера (/etc/cluster/cluster.conf) представляет собой XML-файл,
сод ержащий определения следующих характеристрик:
Имя кластера Отображает имя кластера, версию его файла конфигурации, основные временные параметры изоляции, назначаемые узлу при его включении в кластер.
Кластер: Отображает все узлы кластера с указанием их имен, идентификаторов, число соответствующих пунктов кворума и изолирующий метод Изолирующее устройство Отображает соответствующие кластеру устройства. Параметры могут отличаться для разных типов устройств. Например, если в качестве ограничивающего
16
Глава 1. Обзор Red Hat Cluster Suite
устройства используется контроллер питания, то настройки будут включать его имя, ад рес,
имя входа и пароль.
Управляемые ресурсы Отображают необходимые для создания кластерных служб ресурсы,
что включает определения доменов восстановления, ресурсов (адреса и др, а также службы. Комбинация управляемых ресурсов позволяет определить кластерные службы и их поведение в случае сбоя.
1.4. Управление службами высокой доступности
Управление объединяет операции создания и администрирования кластерных служб высокого доступа. Ключевым компонентом при этом является rgmanager, обеспечивающий восстановление приложений. В кластере Red Hat для организации службы с высоким доступом осуществляется настройка приложения с другими кластерными ресурсами. Такие службы могут быть перенесены с одного кластерного узла над ругой без видимого клиенту прерывания работы.
Перенос обычно выполняется при сбое узла или в случае необходимости (например, плановой профилактики).
Чтобы создать высокод оступную службу, сначала надо ее настроить в файле конфигурации кластера. В состав службы входят кластерные ресурсы. Они являются компонентами, которые создаются и управляются с помощью файла конфигурации. Примерами компонентов могут служить адреса, сценарии инициализации приложений, разделяемые разделы are eligible to run a particular cluster service (refer to Рисунок 1.9, Домены восстановления»
).
Замечание
Д омены восстановления НЕ являются обязательными.
Кластерная служба может выполняться одновременно только на одном узле во избежание нарушения целостности данных. В домене восстановления можно задать приоритет для каждого узла домена. Уровень приоритета определяет порядок узлов, на которые будет перенесена служба в случае сбоя исходного узла. Если приоритет не задан, кластерная служба может быть перенесена на любой узел в домене восстановления. Также можно разрешить исполнение кластерной службы только на соответствующих ее домену восстановления узлах. Если же службе соответствует неограничиваемый домен, то она может быть запущена на любом узле, если узлы в ее домене недоступны Рисунок 1.9, Домены восстановления, Failover Domain 1 is configured to restrict failover within that domain; therefore, Cluster Service X can only fail over between Node A and Node B. Failover Domain
2 is also configured to restrict failover with its domain; additionally, it is configured for failover priority.
Failover Domain 2 priority is configured with Node C as priority 1, Node B as priority 2, and Node D as priority 3. If Node C fails, Cluster Service Y fails over to Node B next. If it cannot fail over to Node B, it tries failing over to Node D. Failover Domain 3 is configured with no priority and no restrictions. If the node that Cluster Service Z is running on fails, Cluster Service Z tries failing over to one of the nodes in
Failover Domain 3. However, if none of those nodes is available, Cluster Service Z can fail over to any node in the cluster.
Red Hat Enterprise Linux 5 Обзор Cluster Suite
17

Рисунок 1.9. Домены восстановления
Рисунок 1.10, «Web Server Cluster Service Example»
shows an example of a high-availability cluster service that is a web server named "content-webserver". It is running in cluster node B and is in a failover domain that consists of nodes A, B, and D. In addition, the failover domain is configured with a failover priority to fail over to node D before node A and to restrict failover to nodes only in that failover domain. The cluster service comprises these cluster Ресурс адреса named "gfs-content-webserver".
18
Глава 1. Обзор Red Hat Cluster Suite

Рисунок 1.10. Web Server Cluster Service Example
Клиенты используют адрес для обращения к службе кластера и инициации взаимодействия с приложением веб-сервера (httpd-content). httpd-content использует файловую систему gfs-content-webserver. Если, например, произойдет сбой узла B, служба content-webserver будет перенесена на узел D. Если же узел D недоступен, будет выполнен перенос службы на узел A. Процесс переноса останется невидимым для клиентов кластера. адрес для доступа к службе не изменится.
1.5. Red Hat GFS
Red Hat GFS -- кластерная файловая система, позволяющая объединенным в кластер узлам выполнять одновременное обращение к разделяемому блочному устройству. GFS напрямую сообщается со слоем VFS интерфейса ядра файловых систем. Для достижения оптимальной функциональности GFS использует распределенные метаданные и множество журналов. Контролирующий вводи вывод менеджер блокирования позволяет поддерживать целостность данных. Например, если один узел изменил данные в GFS, изменения немедленно станут видимы другим узлам кластера, использующим такую же файловую систему.
С помощью Red Hat GFS можно достичь максимального времени работы приложений.
Д остоинства:
Упрощение инфраструктуры данных Установка приложений и их исправлений один разд ля всего кластера.
Нет необходимости в избыточных копиях данных приложений (д ублировании).
Активируется одновременный доступ чтения записи данных для клиентов.
Упрощение резервного копирования и восстановления после аварийного сбоя (для одной файловой системы).
Максимальная утилизация ресурсов хранения, минимизация издержек их администрирования Обзор Cluster Suite
19
Управление хранилищем как единым целым, а не на уровне разд елов.
Снижение потребностей хранилища в ресурсах за счет исключения дублирования д анных.
Прозрачное масштабирование кластера за счет добавления серверов или хранилища налету Упрощено разбиение хранилища на разд елы.
Д обавление серверов в кластер налету путем их монтирования в общую файловую систему.
Конфигурация и администрирование узлов с Red Hat GFS осуществляется с помощью соответствующих утилит. С помощью CLVM (Cluster Logical Volume Manager) выполняется управление томами. Red Hat GFS обеспечивает совместный доступ к данным для узлов GFS в пределах кластера Red Hat. GFS позволяет использовать одно пространство имен файловой системы для всех узлов, а также допускает установку и исполнение приложений без необходимости подробного ознакомления с инфраструктурой хранилища. Также доступны функции, обычно использующиеся в корпоративных окружениях, такие как использование квот,
многочисленных журналов и поддержка альтернативных маршрутов предоставляет гибкий метод организации сетевого хранилища и его оптимизации в соответствии с индивидуальными потребностями производительности, масштабируемости и экономичности. Этот раздел содержит самую основную информацию о GFS.
You can deploy GFS in a variety of configurations to suit your needs for performance, scalability, and economy. For superior performance and scalability, you can deploy GFS in a cluster that is connected directly to a SAN. For more economical needs, you can deploy GFS in a cluster that is connected to a
LAN with servers that use GNBD (Global Network Block Device) or to iSCSI (Internet Small Computer
System Interface) devices. (For more information about GNBD, refer to Раздел, «Устройство
GNBD»
.)
Д алее будут приведены примеры вариантов развертывания Раздел, Повышение производительности и масштабируемости»
Разд ел 1.5.2, Производительность, масштабируемость, экономичность»
Разд ел 1.5.3, Экономичность и производительность примерах используется простейшая конфигурация. Возможны ситуации, когда потребуется использовать комбинации различных конфигураций.
1.5.1. Повышение производительности и масштабируемости
You can obtain the highest shared-file performance when applications access storage directly. The GFS
SAN configuration in Рисунок 1.11, «GFS with a SAN»
provides superior file performance for shared files and file systems. Linux applications run directly on cluster nodes using GFS. Without file protocols or storage servers to slow data access, performance is similar to individual Linux servers with directly connected storage; yet, each GFS application node has equal access to all data files. GFS supports over
300 GFS nodes.
20
Глава 1. Обзор Red Hat Cluster Suite

Рисунок 1.11. GFS with a SAN
1.5.2. Производительность, масштабируемость, экономичность
Multiple Linux client applications on a LAN can share the same SAN-based data as shown Рисунок 1.12, «GFS and GNBD with a SAN»
. SAN block storage is presented to network clients as block storage devices by GNBD servers. From the perspective of a client application, storage is accessed as if it were directly attached to the server in which the application is running. Stored data is actually on the
SAN. Storage devices and data can be equally shared by network client applications. File locking and sharing functions are handled by GFS for each network client.
Рисунок 1.12. GFS and GNBD with a SAN
1.5.3. Экономичность и производительность 1.13, «GFS и GNBD с напрямую подключенным хранилищем shows how Linux client applications can take advantage of an existing Ethernet topology to gain shared access to all block storage devices. Client data files and file systems can be shared with GFS on each client. Application failover can be fully automated with Red Hat Cluster Suite.
Red Hat Enterprise Linux 5 Обзор Cluster Suite
21

Рисунок 1.13. GFS и GNBD с напрямую подключенным хранилищем
1.6. Менеджер логических томов кластера
CLVM (Cluster Logical Volume Manager) представляет собой расширенную версию LVM2 (в пределах кластера) и реализует те же возможности что и LVM2 на индивидуальных узлах, но дополнительно обеспечивает доступ к томам для всех узлов в составе кластера Red Созданные с помощью CLVM логические тома будут доступны всем узлам кластера key component in CLVM is clvmd. clvmd is a daemon that provides clustering extensions to the standard LVM2 tool set and allows LVM2 commands to manage shared storage. clvmd runs in each cluster node and distributes LVM metadata updates in a cluster, thereby presenting each cluster node with the same view of the logical volumes (refer to Рисунок 1.14, «CLVM Overview»
). Logical volumes created with CLVM on shared storage are visible to all nodes that have access to the shared storage.
CLVM allows a user to configure logical volumes on shared storage by locking access to physical storage while a logical volume is being configured. CLVM uses the lock-management service provided by the cluster infrastructure (refer to Раздел Infrastructure»
).
Замечание
Д ля обеспечения работы разделяемого хранилища необходимо, чтобы выполнялся демон или агенты управления высокод оступными логическими томами HA-LVM (High
Availability Logical Volume Management). Если по какой-то причине вы не можете их запустить, например, у вас нет достаточных полномочий, тоне используйте LVM над иске с совместным доступом, так как это может повредить данные. Если у вас есть вопросы,
обратитесь за помощью к торговому представителю Hat.
Замечание
Д ля разрешения блокирования в пределах кластера при работе с CLVM необходимо немного изменить /etc/lvm/lvm.conf.
22
Глава 1. Обзор Red Hat Cluster Suite

Рисунок 1.14 . CLVM Overview
You can configure CLVM using the same commands as LVM2, using the LVM graphical user interface
(refer to Рисунок 1.15, «LVM Graphical User Interface»
), or using the storage configuration function of the Conga cluster configuration graphical user interface (refer to Рисунок 1.16, «Conga LVM Graphical
User Interface»
) . Рисунок 1.17, «Creating Logical Volumes»
shows the basic concept of creating logical volumes from Linux partitions and shows the commands used to create logical volumes.
Рисунок 1.15. LVM Graphical User Interface
Red Hat Enterprise Linux 5 Обзор Cluster Suite
23

Рисунок 1.16. Conga LVM Graphical User Interface
Рисунок 1.17. Creating Logical Volumes
1.7. Устройство GNBD
Глобальное блочное устройство сети (GNBD, Global Network Block Device) обеспечивает доступ блочных устройств к Red Hat GFS по TCP/IP. Концепция GNBD аналогична NBD затем Глава 1. Обзор Red Hat Cluster Suite
исключением, что GNBD является более специализированным, а его настройки подразумевают работу исключительно с GFS. GNBD применяется, когда нет необходимости прибегать к помощи мощных технологий, таких как Fibre Channel или SCSI с одним инициатором consists of two major components: a GNBD client and a GNBD server. A GNBD client runs in a node with GFS and imports a block device exported by a GNBD server. A GNBD server runs in another node and exports block-level storage from its local storage (either directly attached storage or SAN
storage). Refer to Рисунок 1.18, Обзор GNBD»
. Multiple GNBD clients can access a device exported by a GNBD server, thus making a GNBD suitable for use by a group of nodes running GFS.
Рисунок 1.18. Обзор GNBD
1.8. Виртуальный сервер Linux
Виртуальный сервер Linux (LVS, Linux Virtual Server) представляет собой комплект программных компонентов, целью которых является обеспечение баланса загрузки IP между набором настоящих серверов. LVS выполняется на паре аналогично настроенных компьютеров, один из которых исполняет функции активного маршрутизатора LVS, а второй -- резервного маршрутизатора. Назначение активного маршрутизатора Обеспечивать баланс загрузки между настоящими серверами.
Выполнять проверку целостности служб на каждом реальном сервере.
Резервный маршрутизатор LVS следит за работой активного маршрутизатора, в случае сбоя которого управление будет передано резервному.
Рисунок 1.19, «Components of a Running LVS Cluster»
provides an overview of the LVS components and their interrelationship.
Red Hat Enterprise Linux 5 Обзор Cluster Suite
25

Рисунок 1.19. Components of a Running LVS Cluster
На обоих компьютерах выполняется демон. На резервном маршрутизаторе LVS pulse
отправляет тактовый импульс общему интерфейсу активного маршрутизатора, чтобы проверить корректность его работы. На активном маршрутизаторе pulse запустит демон и ответит на полученные от резервного маршрутизатора LVS запросы тактового импульса.
Сначала демон вызывает утилиту ipvsadm для выполнения конфигурации и обеспечения поддержки работы таблицы маршрутизации сервера IPVS (IP Virtual Server) в ядре, а также на каждом реальном сервере запускает процесс nanny для каждого настроенного виртуального сервера. Процесс nanny проверяет состояние одной службы для каждого настоящего сервера и сообщает демону о неполадках. Если обнаружены проблемы, lvs укажет ipvsadm удалить соответствующий настоящий сервер из таблицы маршрутизации Если резервный маршрутизатор LVS не получил ответ от активного маршрутизатора,
активируется send_arp, что позволит переназначить все виртуальные адреса аппаратным адресам) резервного маршрутизатора LVS. Затем активному маршрутизатору будет направлена команда завершения работы демона и через общий, и через частный сетевые интерфейсы, а на резервном маршрутизаторе будет запущен демон, для того чтобы получать запросы от настроенных виртуальных серверов.
Пользователь, пытающийся получить доступ к службе (например, к сайту или приложению) извне,
вид ит LVS как один сервер, хотя на самом деле обращение осуществляется к настоящим серверам, скрытым за маршрутизаторами Поскольку LVS не обладает встроенными компонентами для разделения данных между реальными серверами, можно выбрать один из следующих вариантов:
Синхронизировать данные между серверами.
Д обавить третий слой топологии для доступа к разделяемым д анным.
Первый вариант предпочтителен для серверов, которые нед опускают закачку или изменение данных на реальных серверах большим числом пользователей. Если же сервер разрешает большому числу пользователей изменять данные (актуально для сайтов электронной
26
Глава 1. Обзор Red Hat Cluster Suite
коммерции, например, то рекомендуется добавить дополнительный слой.
Существует множество методов синхронизации данных между серверами. Например, с помощью сценариев оболочки можно одновременно публиковать обновленные веб-страницы на настоящих серверах. Также можно использовать такие программы как rsync для периодической синхронизации измененных данных на всех серверах. Нов окружениях, где пользователи часто закачивают файлы на сервер или обращаются к базе данных, вместо rsync или сценариев оболочки для синхронизации данных больше подходит применение трехуровневой топологии.
1.8.1. Two-Tier LVS Topology
Рисунок 1.20, «Two-Tier LVS Topology»
shows a simple LVS configuration consisting of two tiers: LVS
routers and real servers. The LVS-router tier consists of one active LVS router and one backup LVS
router. The real-server tier consists of real servers connected to the private network. Each LVS router has two network interfaces: one connected to a public network (Internet) and one connected to a private network. A network interface connected to each network allows the LVS routers to regulate traffic between clients on the public network and the real servers on the private network. In Рисунок 1.20,
«Two-Tier LVS Topology»
, the active LVS router uses Network Address Translation (NAT) to direct traffic from the public network to real servers on the private network, which in turn provide services as requested. The real servers pass all public traffic through the active LVS router. From the perspective of clients on the public network, the LVS router appears as one entity.
Рисунок 1.20. Two-Tier LVS Topology
Запросы служб, поступающие на маршрутизатор LVS, предназначаются виртуальному IP-адресу,
который представляет собой общедоступный адрес, назначенный администратором полностью квалифицированному имени домена (в формате www.example.com). Этот адрес также соответствует одному или нескольким виртуальным серверам
[ ]
Обратите внимание, что виртуальный адрес мигрирует с одного маршрутизатора LVS над ругой в случае восстановления после отказа, тем самым обеспечивая доступность этого адреса (его также называют «плавающий IP-адрес»).
Виртуальные адреса могут быть обозначены в соответствии с именем устройства,
соед иняющего маршрутизатор LVS c общей сетью. Например, если к Интернету подключается Обзор Cluster Suite
27
eth0, то виртуальные серверы можно обозначить как eth0:1. Или же каждый виртуальный сервер может быть сопоставлен отдельному устройству для каждой службы. К примеру, обработка
HTTP-трафика будет осуществляться на eth0:1, а трафика -- на eth0:2.
В определенный момент времени может быть активен только один маршрутизатор LVS. Роль активного маршрутизатора -- перенаправление запросов службы с виртуальных адресов настоящим серверам, в основу которого положен один из восьми алгоритмов распределения загрузки:
Послед овательный (RR, Round-Robin): распределяет каждый запрос последовательно между серверами в предопределенном наборе. В этом случае предпочтение не отдается никаким серверам, независимо от их емкости или загрузки.
Послед овательный с коэффициентом (WRR, Weighted Round-Robin): распределяет каждый запрос последовательно между серверами в предопределенном наборе, но назначает серверам с большей емкостью больше задач. Емкость определяется заданным пользователем коэффициентом, который изменяется в зависимости от информации о загрузке. Такой метод является предпочтительным, если емкости серверов значительно отличаются. Но если загрузка запросов сильно изменяется, сервер с бóльшим коэффициентом может обработать большее число запросов.
Минимальное число соединений распределяет больше запросов между серверами с меньшим числом активных соединений. Такой алгоритм динамического распределения предпочтителен в случаях, когда загрузка запросов значительно изменяется, и лучше всего подходит для набора реальных серверов, в котором все сервера обладают приблизительно одинаковой емкостью. Если же их емкость отличается, можно использовать следующий алгоритм.
Минимальное число соединений с коэффициентом (используется по умолчанию):
распред еляет больше запросов между серверами с меньшим числом активных соед инений,
которые зависят от емкости, которой соответствует определенный пользователем коэффициент. Коэффициент изменяется в зависимости от информации загрузки. Добавление коэффициента делает этот алгоритм идеальным выбором, если набор настоящих серверов содержит оборудование с различной емкостью.
Минимальное число соединений в зависимости от расположения распределяет больше запросов между серверами с меньшим числом активных соединений, которые зависят от целевого адреса. Такой алгоритм используется для кластеров сервера прокси-кэша. При этом пакеты, предназначенные адресу на сервере, направляются этому серверу, если только емкость сервера не превышена, а загрузка сервера нед остигла половины, в случае чего адрес будет присвоен наименее загруженному настоящему серверу.
Минимальное число соединений в зависимости от расположения с д ублированием:
распред еляет больше запросов между серверами с меньшим числом активных соед инений,
которые зависят от целевого адреса. Такой алгоритм используется для кластеров сервера прокси-кэша. Он отличается от предыдущего алгоритма тем, что целевой адрес сопоставляется набору настоящих серверов. Затем запросы направляются тому серверу,
которому соответствует наименьшее число соединений. Если же емкость всех узлов для заданного адреса превышена, будет выполнено дублирование нового сервера путем добавления настоящего сервера с минимальным числом подключений из общего набора в подмножество серверов для целевого адреса. Максимально загруженный узел будет исключен из набора, что позволит избежать излишнего д ублирования.
Хеш источника распределяет запросы между реальными серверами в наборе, определяя- адрес источника из статической таблицы хеша. Этот алгоритм обычно применяется для маршрутизаторов LVS c несколькими межсетевыми экранами.
Активный маршрутизатор LVS динамически наблюдает за общим состоянием определенных устройств настоящих серверов с помощью сценариев send/expect. Также можно использовать внешние исполняемые компоненты для отслеживания состояния служб, работающих с динамическими данными. Если функциональность службы на сервере нарушена,
28
Глава 1. Обзор Red Hat Cluster Suite
активный маршрутизатор LVS прекратит отправку заданий до тех пор, пока сервер не начнет функционировать нормально.
Резервный маршрутизатор LVS исполняет роль системы, находящейся в режиме ожид ания.
Период ически маршрутизаторы обмениваются тактовыми импульсами через общий интерфейс или, в случае сбоя, через частный. Если по какой-то причине резервный маршрутизатор LVS не получил сообщение тактового импульса в течение ожидаемого времени, он начнет исполнять роль активного маршрутизатора. При этом виртуальные адреса будут обслуживаться посредством ARP-спуфинга. В этом случае резервный маршрутизатор LVS объявляет себя целевым назначением для всех пакетов, предназначенных неисправному узлу. При восстановлении нормальной работы проблемного узла резервный маршрутизатор возвращается в исходное состояние simple, two-tier configuration in Рисунок 1.20, «Two-Tier LVS Topology»
is suited best for clusters serving data that does not change very frequently — such as static web pages — because the individual real servers do not automatically synchronize data among themselves.
1.8.2. Three-Tier LVS Topology
Рисунок 1.21, «Three-Tier LVS Topology»
shows a typical three-tier LVS configuration. In the example,
the active LVS router routes the requests from the public network (Internet) to the second tier — real servers. Each real server then accesses a shared data source of a Red Hat cluster in the third tier over the private network.
Рисунок 1.21. Three-Tier LVS Topology
Red Hat Enterprise Linux 5 Обзор Cluster Suite
29

Трехуровневая топология подходит для серверов с интенсивной нагрузкой, когда данные централизованно хранятся на высокод оступном сервере. При этом доступ к данным осуществляется с помощью экспортируемого по NFS каталога или разделяемого ресурса Использование такой топологии рекомендуется для веб-сайтов, которые активно взаимодействуют с базой данных. Также можно настроить один высокод оступный кластер Red
Hat с помощью конфигурации активно - активно, так чтобы кластер исполнял обе перечисленные функции.
1.8.3. Методы маршрутизации
След ующие секции вкратце описывают маршрутизацию NAT (Network Address Translation) и прямую маршрутизацию с LVS.
1.8.3.1. Маршрутизация NAT
Рисунок 1.22, «LVS Implemented with NAT Routing»
, illustrates LVS using NAT routing to move requests between the Internet and a private network.
Рисунок 1.22. LVS Implemented with NAT Routing
В приведенном примере активному маршрутизатору LVS соответствуют две карты NIC. Карте для выхода в Интернет назначен настоящий IP-адрес на eth0 и плавающий адрес на Карте NIC частной сети назначен настоящий адрес на eth1 и плавающий адрес на eth1:1. В
случае сбоя работа виртуального интерфейса, используемого для выхода в Интернет, и другого виртуального интерфейса для связи с частной сетью будет перенесена на резервный маршрутизатор LVS. Все настоящие серверы в частной сети будут использовать «плавающий»
IP-ад рес для маршрутизатора NAT в качестве стандартного маршрута для связи с активным маршрутизатором LVS с целью сохранения возможности ответа на поступающие из Интернета запросы the example, the LVS router's public LVS floating IP address and private NAT floating IP address are aliased to two physical NICs. While it is possible to associate each floating IP address to its physical
30
Глава 1. Обзор Red Hat Cluster Suite
device on the LVS router nodes, having more than two NICs is not a При использовании такой топологии активный маршрутизатор LVS получает запроси направляет его соответствующему серверу. Тем временем, настоящий сервер обрабатывает запроси возвращает пакеты маршрутизатору LVS, который использует преобразование сетевых адресов для замены настоящего адреса сервера общим виртуальным адресом маршрутизатора Этот процесс носит имя IP-маскарада, поскольку действительные адреса серверов невидимы клиентам, отправляющим запросы.
Так, при использовании маршрутизации NAT сервера могут представлять собой любые компьютеры с различными операционными системами. Основным недостатком маршрутизации является то, что в масштабных инфраструктурах маршрутизатор может не справиться со всеми исходящими и поступающими запросами.
1.8.3.2. Прямая маршрутизация
Прямая маршрутизация позволяет достичь более высокой производительности по сравнению с маршрутизацией NAT. При этом серверы обрабатывают пакеты и перенаправляют их запрашивающему пользователю напрямую, а не пропускают их через маршрутизатор LVS. Это способствует снижению вероятности проблем производительности сети за счет ограничения работы маршрутизатора лишь обработкой входящих пакетов.
Рисунок 1.23. LVS Implemented with Direct Routing
При типичной конфигурации маршрутизатор LVS получает запросы с сервера через виртуальный
IP-ад рес и с помощью алгоритма планирования направляет запрос соответствующим серверам.
Кажд ый сервер обрабатывает запросы и направляет их клиентам напрямую, в обход маршрутизаторов LVS. Прямая маршрутизация способствует масштабируемости, так как добавление серверов не приведет к дополнительной нагрузке на маршрутизатор LVS при Hat Enterprise Linux 5 Обзор Cluster Suite
31
передаче исходящих пакетов от сервера к клиенту.
Основные ограничения на прямое масштабирование и LVS накладывает протокол ARP (Address
Resolution Protocol).
In typical situations, a client on the Internet sends a request to an IP address. Network routers typically send requests to their destination by relating IP addresses to a machine's MAC address with ARP. ARP
requests are broadcast to all connected machines on a network, and the machine with the correct
IP/MAC address combination receives the packet. The IP/MAC associations are stored in an ARP cache,
which is cleared periodically (usually every 15 minutes) and refilled with IP/MAC Проблемой при конфигурации прямой маршрутизации LVS с учетом обработки запросов является то, что виртуальный адрес маршрутизатора LVS должен соответствовать MAC- адресу, так как запрос, предназначенный адресу, должен быть сопоставлен адресу. Но поскольку и маршрутизатор LVS, и действительные серверы имеют тот же виртуальный ад рес,
запрос ARP передается ВСЕМ узлам с этим адресом. Это может привести к проблемам,
например, если виртуальный адрес напрямую назначен серверу, в случае чего обработка запросов будет осуществляться напрямую, в обход маршрутизатора LVS, тем самым сводя весь смысл конфигурации LVS к нулю. Использование маршрутизатора с мощным процессором не решит проблему. Если загрузка маршрутизатора LVS существенна, он будет отвечать на запросы все же медленнее по сравнению с незанятым сервером, которому соответствует виртуальный IP- адрес в кэше ARP клиента, отправляющего запрос.
Чтобы решить эту проблему, необходимо, чтобы входящие запросы предназначались только
виртуальному адресу маршрутизатора LVS, который будет их обрабатывать и направлять реальным серверам. Для этого понадобится утилита фильтрования пакетов arptables.
1.8.4 . Постоянство и метки межсетевого экрана
В некоторых случаях клиенту может понадобиться повторно подключиться к серверу вместо передачи запроса алгоритмом распределения нагрузки LVS первому доступному серверу.
Примерами таких ситуаций могут служить многочисленные веб-формы, cookie-файлы,
соед инения SSL и FTP. При этом клиент не будет функционировать корректно, если все передачи не обрабатываются одним сервером. Эти требования можно удовлетворить с помощью сохранения постоянства и меток межсетевого экрана.
1.8.4 .1. Persistence
Когд а клиент подключается к службе, LVS сохраняет информацию о последнем подключении на протяжении определенного периода времени. Если же осуществляется повторное подключение с того же адреса, запросы будут направлены тому же серверу (в обход механизмов распределения нагрузки. Если же соединение произошло после истечения установленного периода времени, оно будет обработано в соответствии со стандартными правилами.
Сохранение постоянства позволяет задать маску под сети для адреса клиента, чтобы проверить, какие адреса обладают более высоким уровнем постоянства, на основе чего их можно сгруппировать для заданной под сети.
Группировка соединений, предназначенных разным портам, имеет большое значение для протоколов, использующих несколько портов (например, FTP). Однако сохранение постоянства не является наиболее эффективным методом решения проблемы объединения соед инений,
направляемых разным портам. Для этого лучше использовать метки межсетевого экрана.
1.8.4 .2. Метки межсетевого экрана
Использование меток межсетевого экрана представляет собой эффективный метод объединения портов для использования протоколом или группой протоколов. Представим, что
32
Глава 1. Обзор Red Hat Cluster Suite

LVS положен в основу сайта электронных продаж. В таком случае метки могут использоваться для привязки соединений к порту 80, а безопасных соединений- к порту 443. При присвоении одной метки всем протоколам сохраняется информация о состоянии транзакции,
тем самым обеспечивая перенаправление всех запросов одному серверу после установки соед инения.
Вслед ствие легкости и эффективности использования рекомендуется использовать метки межсетевого экрана. Сохранение постоянства может использоваться в качестве д ополнения,
чтобы убедиться в том, что клиенты повторно подключаются к тому же серверу в пределах заданного интервала времени.
1.9. Средства администрирования кластера
Red Hat Cluster Suite предоставляет множество утилит, с помощью которых можно настроить кластер Red Hat. Данный раздел содержит обзор управляющих утилит Red Hat Cluster Раздел, Раздел, Интерфейс утилиты администрирования кластера»
Разд ел 1.9.3, Текстовые утилиты администрирования представляет собой комплект программных компонентов для централизованной конфигурации и управления кластерами и хранилищами Red Hat. Основные возможности Conga:
Управление кластером и хранилищем осуществляется с помощью одного интерфейса.
Автоматическое развертывание данных кластера и пакетов под д ержки.
Легкость интеграции с существующими кластерами.
Отсутствие необходимости в повторной аутентификации.
Объед инение информации состояния кластера и журналов.
Контроль за разрешениями пользователей.
Основные компоненты Conga, luci и ricci, устанавливаются отдельно представляет собой сервер, который работает на одном компьютере и с помощью ricci связывается с различными кластерами. Агент ricci выполняется на каждом компьютере (отдельном или входящем в состав кластера) под управлением Conga.
Д оступ к luci можно получить с помощью веб-браузера. Следующие вкладки предоставляют доступ к основным возможностям luci:
homebase: добавление иуд аление компьютеров, пользователей и настройка пользовательских привилегий. Доступ к данной вкладке разрешен только системному администратору создание и конфигурация кластеров. Каждая версия luci отображает настроенные с ее помощью кластеры. На этой вкладке системный администратор может управлять кластерами другие пользователи могут управлять только теми кластерами, разрешения на управление которыми им предоставлены администратором удаленное управление хранилищем на компьютерах независимо оттого, входят ли они в состав кластера или нет.
Чтобы обеспечить возможность администрирования кластера или хранилища, сначала администратор добавляет (регистрирует) кластер или компьютер на сервере luci. После регистрации полностью квалифицированное имя или адрес сохраняется в базе данных Обзор Cluster Suite
33
Базу данных одного варианта luci можно заполнить, скопировав данные изд ругого варианта.
Такая возможность позволяет дублировать копии серверов luci и выполнять обновления более эффективно. При изначальной установке копии luci ее база данных пуста. Если же планируется развертывание нового сервера luci, можно частично скопировать базу данных с уже существующего сервера luci.
Д ля каждого варианта luci после установки будет создан всего один пользователь -- который может добавлять системы к серверу luci, создавать учетные записи пользователей и управлять их правами доступа к кластерами компьютерам, зарегистрированным в базе данных. Несколько пользователей можно импортировать также, как можно импортировать кластеры или компьютеры.
При добавлении компьютера к серверу luci аутентификация осуществляется лишь один раз.
После этого необходимости в ней нет, если только используемый сертификат не был аннулирован. Затем можно выполнять удаленную конфигурацию, а также управление кластерами и хранилищами с помощью интерфейса luci. Взаимодействие с ricci происходит через Следующие рисунки иллюстрируют описанные вкладки, storage.
За дальнейшей информацией о Conga обратитесь к странице помощи сервера luci и разделу Конфигурация и администрирование кластера Red Hat
.
Рисунок 1.24 . luci : Вкладка homebase
Рисунок 1.25. luci : Вкладка Глава 1. Обзор Red Hat Cluster Suite

Рисунок 1.26. luci : Вкладка. Интерфейс утилиты администрирования кластера
This section provides an overview of the system-config-cluster cluster administration graphical user interface (GUI) available with Red Hat Cluster Suite. The GUI is for use with the cluster infrastructure and the high-availability service management components (refer to Раздел Раздел, Управление службами высокой доступности to create, edit, and propagate the cluster configuration file
(/etc/cluster/cluster.conf). The Cluster Status Tool provides the capability to manage high- availability services. The following sections summarize those Раздел Tool
»
Разд ел 1.9.2.2, «Cluster Status Tool»
1.9.2.1. Cluster Configuration Tool
You can access the Cluster Configuration Tool (Рисунок 1.27, «Cluster Configuration Tool»
) through the Cluster Configuration tab in the Cluster Administration GUI.
Red Hat Enterprise Linux 5 Обзор Cluster Suite
35

Рисунок 1.27. Cluster Configuration Tool
С левой стороны экрана отображена иерархия компонентов файла конфигурации кластера
(/etc/cluster/cluster.conf). Треугольник слева от имени компонента обозначает, что данному компоненту соответствует несколько подчиненных компонентов. Нажав на этот значок,
можно развернуть или свернуть поддерево. Отображаемые компоненты сгруппированы следующим образом:
Cluster Nodes: Узлы кластера, каждый из которых представлен именем. С помощью кнопок настройки, расположенных внизу экрана, можно добавлять, удалять узлы, изменять их свойства и настраивать методы ограничения для каждого узла.
Fence Devices: Отображает изолирующие устройства. С помощью кнопок настройки,
расположенных внизу экрана, можно добавлять, удалять устройства и изменять их свойства.
Изолирующие устройства должны быть определены заранее для каждого узла (нажмите кнопку Manage Fencing For This Node), прежде чем вы сможете настроить ограничения.
Managed Resources: Отображает домены восстановления, ресурсы и службы.
Failover Dom ains: Используется для конфигурации доменов, на которые будут переноситься службы высокого доступа в случае сбоя узлов, на которых они выполняются.
С помощью кнопок настройки, расположенных внизу экрана, можно создавать домены восстановления (строка Failover Domains при этом должна быть выделена) или изменять их свойства (предварительно выбрав домен для модификации Настройка разделяемых ресурсов служб высокой доступности. Разделяемые ресурсы включают файловые системы, адреса, монтируемые и экспортируемые по ресурсы, пользовательские сценарии, доступные всем службам высокой доступности кластера. С помощью кнопок настройки, расположенных внизу экрана, можно создавать ресурсы (строка Resources при этом должна быть выделена) или изменять их свойства
(пред варительно выбрав ресурс для модификации Глава 1. Обзор Red Hat Cluster Suite
предварительно выбрав ресурс для мод ификации).
Замечание
Утилита конфигурации также позволяет выполнить настройку частных ресурсов,
которые могут использоваться лишь одной службой. Настройка таких ресурсов осуществляется с помощью компонента Services.
Services: Создание и конфигурация служб высокой доступности. Настройка служб включает назначение ресурсов (общих или частных, назначение домена восстановления,
опред еление политики восстановления. С помощью кнопок настройки, расположенных внизу экрана, можно создавать службы (строка Services при этом должна быть выделена) или изменять их свойства (предварительно выбрав службу для модификации (Рисунок 1.28, «Cluster Status Tool»
) through the Cluster
Management tab in Cluster Administration GUI.
Рисунок 1.28. Cluster Status Tool
Утилита статуса отобразит те узлы и службы, которые определены файлом конфигурации кластера (/etc/cluster/cluster.conf), и позволяет включить, отключить, перезапустить или переместить службы высокой доступности. Текстовые утилиты администрирования Обзор Cluster Suite
37
tools are available for administering the cluster infrastructure and the high-availability service management components. The command line tools are used by the Cluster Administration GUI and init scripts supplied by Red Hat. Таблица 1.1, Утилиты командной строки summarizes the command line tools.
Таблица 1.1. Утилиты командной строки
Утилита
команд ной строки
Используется в
комплекте
Назначение
ccs_tool:
системная утилита конфигурации кластера
Cluster
Infrastructure
ccs_tool: программа онлайн-обновления файла конфигурации кластера. Обеспечивает возможность создания и изменения компонентов инфраструктуры кластера (к примеру, создание, добавление иуд аление узла. Подробная информация может быть найдена на странице помощи ccs_tool(8).
cm an_tool:
утилита администрирования кластера
Cluster
Infrastructure
cm an_tool: программа администрирования менеджера кластера CMAN. Обеспечивает возможность включения в кластер, исключения из него, немедленного удаления узла и пр. Подробная информация может быть найдена на странице помощи ccs_tool(8).
fence_tool:
утилита изолирования
Cluster
Infrastructure
fence_tool: программа, отвечающая за включение узла взад анный изолирующий домен и за его исключение. Иначе говоря, эта программа запускает демон (при подключении узла к домену) или останавливает fenced (kill) (при исключении изд омена). Более подробная информация может быть найдена на странице помощи fence_tool(8).
clustat: утилита статуса кластера
Компоненты управления службами высокой доступности отображает статус кластера, что включает информацию об участниках, кворуме и состоянии настроенных пользовательских служб. Подробная информация может быть найдена на странице помощи clustat(8).
clusvcadm :
утилита администрирования пользовательских служб кластера
Компоненты управления службами высокой доступности позволяет включить, выключить,
переместить и перезапустить службы высокой доступности на кластере. Подробная информация может быть найдена на странице помощи clusvcadm(8).
1.10. Графический интерфейс администрирования виртуального
сервера Linux
В данной секции будет рассмотрена утилита Piranha, которая служит для конфигурации LVS.
Piranha предоставляет графический интерфейс, обеспечивающий организованный подход к созданию файла конфигурации /etc/sysconfig/ha/lvs.cf.
Piranha доступна, если на активном маршрутизаторе LVS выполняется служба piranha-gui.
Эту утилиту можно открыть локально или удаленно в веб-браузере. Для локального доступа используйте адрес. Для удаленного доступа используйте действительный адрес с последующим указанием :3636, плюс вам понадобится установить соединение к активному маршрутизатору LVS в качестве пользователя root.
38
Глава 1. Обзор Red Hat Cluster Suite

Starting the Piranha Configuration Tool causes the Piranha Configuration Tool welcome page to be displayed (refer to Рисунок 1.29, «The Welcome Panel»
). Logging in to the welcome page provides access to the four main screens or panels: CONTROL/MONITORING, GLOBAL SETTINGS,
REDUNDANCY, and VIRT UAL SERVERS. In addition, the VIRT UAL SERVERS panel contains four
subsections. The CONTROL/MONITORING panel is the first panel displayed after you log in at the welcome screen.
Рисунок 1.29. The Welcome Panel
Д алее будут вкратце рассмотрены страницы конфигурации Piranha.
1.10.1. CONTROL/MONITORING
Панель CONTROL/MONITORING отображает состояние демона, таблицы маршрутизации и процессов nanny.
Рисунок 1.30. The CONTROL/MONITORING Panel
Red Hat Enterprise Linux 5 Обзор Cluster Suite
39

Auto update
Активирует автоматическое обновление экрана состояния каждые секунд (по умолчанию. Интервал времени может быть изменен в поле Update frequency in
seconds.
Не рекомендуется задавать интервал менее 10 секунд , так как при этом будет сложнее модифицировать интервал Auto update вследствие частого обновления страницы.
Если вы столкнулись с такой проблемой, щелкните на любой другой панели, затем вернитесь на панель CONTROL/MONITORING.
Update inform ation now
Ручное обновление статуса.
CHANGE PASSWORD
При нажатии этой кнопки будет отображен экран помощи с информацией о том, как изменить административный пароль Piranha.
1.10.2. GLOBAL SETTINGS
The GLOBAL SETTINGS panel is where the LVS administrator defines the networking details for the primary LVS router's public and private network interfaces.
Рисунок 1.31. The GLOBAL SETTINGS Panel
The top half of this panel sets up the primary LVS router's public and private network interfaces.
Prim ary server public IP
4 0
Глава 1. Обзор Red Hat Cluster Suite
Действительный адрес основного узла LVS, доступный извне.
Prim ary server private IP
Д ействительный адрес альтернативного сетевого интерфейса основного узла Этот адрес используется лишь как дополнительный канал обмена тактовыми импульсами с резервным маршрутизатором.
Use network type
Тип маршрутизации. По умолчанию используется NAT.
The next three fields are specifically for the NAT router's virtual network interface connected the private network with the real servers.
NAT Router IP
Частный плавающий адрес, который используется в качестве шлюза для настоящих серверов.
NAT Router netm ask
If the NAT router's floating IP needs a particular netmask, select it from drop-down list.
NAT Router device
Имя устройства сетевого интерфейса для плавающего адреса (например, eth1:1).
1.10.3. REDUNDANCY
На панели REDUNDANCY можно настроить резервный узел маршрутизатора LVS и определить параметры наблюдения за обменом тактовыми импульсами Hat Enterprise Linux 5 Обзор Cluster Suite
4 1

Рисунок 1.32. The REDUNDANCY Panel
Redundant server public IP
Открытый, действительный адрес резервного маршрутизатора LVS.
Redundant server private IP
The backup router's private real IP Остальные параметры помогают настроить канал обмена тактовыми импульсами, который используется резервным узлом для слежения за основным узлом на случай его сбоя.
Heartbeat Interval (seconds)
Зад ает интервал (в секундах) между тактовыми импульсами, целью которых является проверка работы основного узла LVS.
Assum e dead after (seconds)
Если главный узел LVS не отвечает в течение заданного интервала (в секундах, то резервный узел LVS инициирует процесс восстановления.
Heartbeat runs on port
Опред еляет порт, используемый для взаимодействия с главным узлом LVS. Если поле оставлено пустым, используется порт 539.
1.10.4 . VIRTUAL SERVERS
4 2
Глава 1. Обзор Red Hat Cluster Suite
На панели VIRTUAL SERVERS отображается информация обо всех определенных в данный момент виртуальных серверах. Каждая запись в таблице содержит данные состояния виртуального сервера, его имя, назначенный ему виртуальный адрес, номер порта, к которому обращается служба, используемый протокол и интерфейс.
Рисунок 1.33. The VIRTUAL SERVERS Panel
Все отображаемые на панели VIRTUAL SERVERS серверы могут быть настроены на последующих экранах (подсекциях).
Чтобы добавить службу, нажмите кнопку ADD. Чтобы удалить службу, выберите ее и нажмите кнопку DELETE.
Д ля активации д еактивации виртуального сервера выберите его и нажмите (DE)ACTIVATE.
Д обавив виртуальный сервер, можно выполнить его настройку для этого выберите его и нажмите кнопку EDIT для отображения подсекции. Подсекция Рисунок 1.34, «The VIRTUAL SERVERS
Subsection»
allows you to configure an individual virtual server. Links to subsections related specifically to this virtual server are located along the top of the page. But before configuring any of the subsections related to this virtual server, complete this page and click on the ACCEPT button.
Red Hat Enterprise Linux 5 Обзор Cluster Suite
4 3

Рисунок 1.34 . The VIRTUAL SERVERS Subsection
Nam e
Имя, идентифицирующее виртуальный сервер. Это имя НЕ является именем узла машины, поэтому рекомендуется сделать его как можно более наглядным. Даже можно включить имя протокола (например, HTTP), используемого виртуальным сервером.
Application port
Номер прослушиваемого службой порта.
Protocol
Позволяет выбрать протокол (UDP или TCP) из выпадающего списка.
Virtual IP Address
The virtual server's floating IP address.
Virtual IP Network Mask
Выпад ающее меню для выбора маски сети виртуального сервера.
Firewall Mark
Целое значение метки межсетевого экрана при объединении протоколов с несколькими портами или при создании виртуального сервера с различными, но связанными каналами.
Device
4 4
Глава 1. Обзор Red Hat Cluster Suite
Имя сетевого устройства, к которому будет привязан плавающий адрес, заданный в поле Virtual IP Address.
След ует связать открытый плавающий адрес с интерфейсом Ethernet, подключенным к открытой сети.
Re-entry T im e
Целое значение, которое определяет интервал времени (в секундах, до того как активный маршрутизатор LVS попытается использовать реальный сервер после сбоя сервера.
Service T im eout
Целое значение, которое определяет интервал времени (в секундах, по истечению которого реальный сервер будет считаться недоступным server

При выборе опции Quiesce server, если реальный сервер переходит в онлайн,
сод ержимое таблицы least-connections будет сброшено в ноль, при этом активный маршрутизатор LVS обрабатывает запросы, как будто все действительные серверы были заново добавлены в кластер. Эта опция позволяет избежать перегрузки нового сервера большим количеством соединений при его включении в кластер.
Load m onitoring tool
Маршрутизатор LVS может наблюдать за нагрузкой на различных серверах с помощью
rup или ruptim e. При выборе rup каждый реальный сервер будет выполнять службу
rstatd. Если же вы выберете ruptim e, то будет выполняться служба rwhod.
Scheduling
Выберите предпочитаемый алгоритм из выпадающего меню. По умолчанию используется метод Weighted least-connection.
Persistence
Используется, если необходимо сохранять постоянство подключений к виртуальному серверу при его взаимодействии с клиентом. Введите интервал времени (в секундах, по истечению которого соединение будет остановлено.
Persistence Network Mask
Из выпадающего меню выберите маску сети, чтобы ограничить сохранение постоянства подключений пределами конкретной под сети.
1.10.4 .2. Подсекция SERVER
Нажав на ссылку REAL SERVER, вы перейдете к подсекции, где Обзор Cluster Suite
4 5
отображается статус узлов физического сервера для заданной виртуальной службы.
Рисунок 1.35. The REAL SERVER Subsection
Click the ADD button to add a new server. To delete an existing server, select the radio button beside it and click the DELETE button. Click the EDIT button to load the EDIT REAL SERVER panel, as seen Рисунок 1.36, «The REAL SERVER Configuration Panel»
Рисунок 1.36. The REAL SERVER Configuration Panel
4 6
Глава 1. Обзор Red Hat Cluster Suite
Панель содержит три поля:
Nam e
Описательное имя реального сервера.
Замечание
Это имя НЕ является именем узла машины, поэтому рекомендуется сделать его как можно более наглядным integer value indicating this host's capacity relative to that of other hosts in the pool. The value can be arbitrary, but treat it as a ratio in relation to other real servers.
1.10.4 .3. EDIT MONITORING SCRIPTS Subsection
Нажмите ссылку MONITORING SCRIPTS в верхней части страницы. Вы перейдете к подсекции, где администратор может определить последовательность отправки и ожидания строк для проверки функциональности служб виртуального сервера на каждом реальном сервере. Здесь также можно указать отдельные сценарии для тестирования служб, работающих с динамически изменяемыми д анными.
Рисунок 1.37. The EDIT MONITORING SCRIPTS Subsection
Red Hat Enterprise Linux 5 Обзор Cluster Suite
4 7

Sending Program
Введ ите путь к сценарию проверки службы, чтобы обеспечить возможность более детальной проверки. Эта функция особенно важна для служб, работающих с динамически изменяемыми данными (например, HTTPS, Чтобы иметь возможность использования этой функции, необходимо написать сценарий,
который в результате исполнения вернет текст, и ввести путь к нему в поле Sending
Program .
Замечание
Если поле содержит указание внешней программы, тополе будет проигнорировано.
Send
Строка, которую демон будет отправлять каждому реальному серверу. По умолчанию его содержимое настроено для. Если вы оставите поле пустым, nanny
попытается открыть порти решит, что служба выполняется, если порт открыт успешно.
Поле может содержать только одну отправляемую последовательность, которая, в свою очередь, может содержать последовательности и ASCII:
\n — новая строка — возврат каретки — символ табуляции — конвертирует последующий символ в послед овательность.
Expect
Текст ответа, которые ожидается получить от сервера. Если вы написали собственную программу для отправки, введите соответствующий вариант ответа, который она отправит в случае успеха.
Вир туальный сервер- служба, настроенная напр о слушивание заданного виртуального Глава 1. Обзор Red Hat Cluster Suite



Поделитесь с Вашими друзьями:
1   2   3


База данных защищена авторским правом ©nethash.ru 2017
обратиться к администрации

войти | регистрация
    Главная страница


загрузить материал