Руководство администратора



Скачать 13.73 Mb.
Pdf просмотр
страница5/13
Дата20.11.2016
Размер13.73 Mb.
Просмотров2720
Скачиваний0
ТипРуководство
1   2   3   4   5   6   7   8   9   ...   13
Рис. 46 – Блок «insert»
«Изменение данных» аналогично вставке, но с некоторыми изменениями (на примере cm_accepted_ objectives) (Рис. 47).

74

Рис. 47 – Блок «Изменение данных»
Шаг блокировки необходим, чтобы сначала все данные были обработаны, а только потом обновились в БД (отвечает выставленный флажок «Pass all rows») (Рис. 48).
Рис. 48 – Шаг блокировки
После чего происходит обновление данных (Рис. 49).

75

Рис. 49 – Обновление данных
3.4.6.3.5.
Разработка ETL перегрузки из ЦХД в Витрину
Витрины реализуются в виде наборов таблиц удобных для расчета показателей, т.е. они могут содержать избыточную информацию. Перегрузка в витрину осуществляется на основе анализа данных на этапе 3.4.5».
Схематичный пример по перегрузке проводок в витрину, представлен ниже – трансформация «Load_facts» (Рис. 50).

76

Рис. 50 – Пример перегрузки проводок в витрину
3.4.7.

Автоматическая проверка схемы трансформации
Все созданные трансформации можно проверить на предмет ошибок в модели перегрузки, для этого необходимо будет открыть контекстное меню Action-> Verify.
Пример ошибочной трансформации (Рис. 51):

77

Рис. 51 - Пример ошибочной трансформации
После нажатия на «ОК» представляется более подробная информация (Рис. 52).
Рис. 52 – Подробная информация об ошибке
3.4.8.

Запуск ETL перегрузки в различных вариантах
3.4.8.1.
С использованием графической оболочки Spoon (на
примере Windows)
При открытом Задании/Трансформации необходимо нажать F9, либо выбрать из контекстного меню Action -> Run, либо нажать зеленый треугольник – после чего будет выведен диалог с атрибутами запуска, которые можно отредактировать в случае необходимости (Рис. 53).

78

Рис. 53 – Атрибуты запуска
3.4.8.2.
С использованием командной строки (на примере
Astra Linux)
Скопировать исходники ETL в рабочую директорию (например, /home/sued/etl) (Рис.
54)
Рис. 54 – Пример рабочей директории
Создать файл запуска run_kitchen.sh (где kettle_bin указывает на kitchen.sh) work_dir=`pwd` echo work_dir=$work_dir

79 curr_date=`date +"%Y%m%d"` echo curr_date=$curr_date curr_time=`date +"%H%M%S"` echo curr_time=$curr_time kettle_bin="/home/sued/pdi-ce-4.4.0.0-a3jars-eclant/kitchen.sh" echo kettle_bin=$kettle_bin log_dir=$work_dir/logs_${curr_date}_${curr_time} echo log_dir=$log_dir log_file=$log_dir/run____.log echo $log_file mkdir -p $log_dir
# export REPOSITORY_DIR=/home/sued/etl - прописано в трансформации Start_Step в параметрах echo ETL STARTED AT:$curr_date $curr_time > $log_file
$kettle_bin -rep=1 -dir="/Start" -job="Start_step" -level=Error >> $log_file curr_date=`date +"%Y%m%d"` curr_time=`date +"%H%M%S"` echo ETL FINISHED AT:$curr_date $curr_time >> $log_file
Запуск перегрузки
./run_kitchen.sh
После запуска перегрузки в рабочей директории будет создан каталог с лог файлом, в котором будет отображено:

дата, время начала перегрузки;

описание ошибок, если возникают;

80

дата, время окончания перегрузки.
3.4.9.

Отслеживание состояний ETL перегрузок
3.4.9.1.
Запуск в Spoon (графика)
После запуска «Задания» появится область состояния перегрузки «Execution results», где подробно в реальном времени представляется информация по текущей работе (Рис. 55).
Рис. 55 - Область состояния перегрузки «Execution results»
Из выбранного Задания во время выполнения можно спуститься до Трансформации, где будет похожая область, но дополнительно будет указан процесс перегрузки данных в части их количества и принадлежности шагам Трансформации.
3.4.9.2.
На основе файлов (замедляет перегрузку)
В интересуемые трансформации можно добавить шаг «Text File output», куда можно записать любую интересующую информацию в части ошибок и состава данных (Рис. 56).

81

Рис. 56 - Добавление шага «Text File output»
3.4.9.3.
На основе записи логов в БД (замедляет перегрузку)
Логирование в БД можно организовать для Заданий и Трансформаций
Для этого необходимо:
Для Заданий необходимо на листе нажать правую кнопку мыши, выбрать «Job settings
CTRL-J», перейти на вкладку «Log», настроить интересуемые для логирования поля Задания, выбрать соединение с БД и т.д. (Рис. 57)
Нажать кнопку «SQL» - выполнить скрипт по созданию таблицы, куда будут записываться данные.

82

Рис. 57 – Настройка логирования для Задания
Для Трансформаций настройка производится аналогично Заданию
3.4.10.

Установка и настройка клиентских приложений
3.4.10.1.
Установка АРМ Создания отчетов
Для установки АРМ «Создание отчетов» достаточно скопировать на локальную машину архив prd-ce-5.0.1-stable.zip (номер версии может отличаться от представленного) и распаковать его в отдельную папку на локальном диске.
3.4.10.2.
Установка АРМ Создания Метаданных
Для установки АРМ «Создание метаданных» достаточно скопировать на локальную машину архив pme-ce-5.0.1-stable.zip (номер версии может отличаться от представленного) и распаковать его в отдельную папку на локальном диске.


83 3.4.10.3.
Установка АРМ Редактор OLAP
Для установки АРМ «Создание метаданных» достаточно скопировать на локальную машину архив psw-ce-3.6.1.zip (номер версии может отличаться от представленного) и распаковать его в отдельную папку на локальном диске.
3.5.

Настройка и работа с метаданными
3.5.1.

Запуск АРМ «Создание метаданных» Metadata Editor
Запуск программы осуществляется путем запуска из директории, в которую был распакован архив программы последовательно файлов set-pentaho-env.bat и metadata- editor.bat, находящихся в поддиректории \metadata-editor.
3.5.2.

Создание новой модели
После запуска программы, будет отображено начальное рабочее окно (Рис. 58).
Для начала создания новой модели при необходимости следует создать новый файл домена метаданных. Для этого требуется выбрать п.м «File» – «New» – «Domain File», однако в случае, если настроенные метамодели отсутствуют, то этот шаг можно пропустить и начать с создания нового подключения к базе данных витрины, но основе которой будет строиться метамодель.
3.5.3.

Создание нового подключения
Для создания нового подключения к БД следуют выбрать элемент Connections в левом блоке окна АРМ и щелкнуть на нем правой кнопкой мыши (ПКМ) для открытия контекстного меню (Рис. 59) и выбрать пункт New Connection.

84

Рис. 58 – Начальное окно АРМ «Создание метаданных»

Рис. 59 – Контекстное меню Подключения


85
В открывшемся окне (Рис. 60) следуют выполнить необходимые настройки:
Connection Name – вводится любое понятное для оператора имя;
Connection Type – выбирается тип подключения к БД (в нашем случае это
PostgreSQL);
Host Name – вводится имя хоста с базой данных витрины или его IP адрес;
DataBase Name – вводится имя существующей базы данных;
Port Number – это поле автоматически заполняется при выборе типа подключения к
БД, но если используется не стандартный порт подключения, то следует указать верный номер;
User Name – требуется указать имя пользователя для подключения к БД;
Password – пароль для подключения к БД (для указанного в User Name пользователя).
Кроме вышеуказанных настроек следует указать используемую схему данных во вкладке Advanced (Рис. 61), если планируется использовать схему данных, отличную от public (dw в примере)
1



1
Здесь и далее предполагается, что оператор, производящий данные настройки, снабжен необходимой информацией о структуре базы данных и витрин; составе полей и используемых таблицах, а также связях между ними.
В противном случае указанную информацию требуется получить у Администраторов системы согласно действующему регламенту.

86

Рис. 60 – Настройка подключения к БД. Основные настройки

Рис. 61 – Настройка подключения к БД. Настройка схемы данных.
После выполнения необходимых настроек рекомендуется нажать кнопку «Test» для проверки возможности подключения к БД с указанными настройками.

87
В случае успешного подключения отобразится сообщение вида (Рис. 62), иначе будет отображено сообщение вида (Рис. 63), содержащее краткое описание возникшей проблемы.
Рис. 62 – Сообщение об успешном подключении к БД

Рис. 63 – Ошибка настроек подключения к БД
Если настройки произведены правильно, следует нажать кнопку «ОК» для сохранения нового подключения. В результате выполненных действий в списке подключений слева появится новое подключение с названием, которое было введено при настройке (Рис. 64).

88

Рис. 64 – Контекстное меню подключений
При необходимости вызвать снова окно настройки подключения, достаточно щелкнуть ПКМ по подключению в списке и выбрать п.м. «Edit».
3.5.4.

Настройка таблиц
Следующим этапом создания метамодели является загрузка информации о структуре данных в таблицах витрины.
Для начала загрузки следует выбрать п.м. «Import Tables» из контекстного меню подключения (Рис. 64). В результате будет отображено окно со списком всех таблиц в базе данных, в котором следует выбрать таблицы для импорта в модель и нажать кнопку «ОК»
(Рис. 65). К примеру, выбраны таблицы: ef_account, ef_posting_facts_2, cm_currency, cmn_organisation.

89

Рис. 65 – список таблиц для импорта
Выбранные для импорта таблицы добавлены в структуру объектов левого блока окна

90
АРМ (Рис. 66).
Рис. 66 – Структура объектов модели с импортированными таблицами
3.5.5.

Добавление локализации
Следующим этапом требуется добавить локализацию для отображения названий таблиц и полей загружаемой модели на русском языке.
Для добавления русской локализации следует в правой части окна АРМ выбрать вкладку Locales (Рис. 67), затем добавить в список локализаций строку: «ru_RU Русский».
После этого следует установить флаг в последней колонке «Active» в состояние Yes и изменить порядок локализаций в колонке «Order» таким образом, чтобы русская локализация была первой (Рис. 68). После этого следует нажать в этом же окне кнопку «Apply Changes» внизу формы для сохранения внесенных изменений.

91

Рис. 67 – Просмотр локализаций

Рис. 68 – Добавление русской локализации в список
Следует также периодически сохранять внесенные изменения в файл модели нажатием кнопки с изображением дискеты или выбирая п.м. «File» – «Save» в главном меню
АРМ (Рис. 69).

92

Рис. 69 – Сохранение файла модели
Созданная локализация потребуется в дальнейшем для проведения локализации объектов метамодели.
3.5.6.

Редактирование состава полей
При разработке метамодели следует учитывать, что не все поля физических таблиц могут быть необходимы для построения бизнес модели, поэтому следует определить состав полей, которые будут в дальнейшем использованы.
Для просмотра состава выбранных полей следует нажать на черную стрелку в левом блоке структуры объектов рядом с названием интересующей нас таблицы. В результате будет раскрыт еще один уровень структуры таблиц – перечень полей (Рис. 70).
Для проведения настройки полей следует выбрать п.м. «Edit» в контекстном меню таблиц, вызываемом щелчком ПКМ по настраиваемой таблице (Рис. 71).

93

Рис. 70 – Просмотр используемых полей

Рис. 71 – Контекстное меню таблиц
В результате будет отображено окно редактирования связей с физическими таблицами (Рис. 72).

94

Рис. 72 – Окно редактирования таблицы
В левом блоке окна отображается состав полей, импортированный из описания физической таблицы.
В данном примере в списке полей из таблицы ef_account содержатся поля, которые не планируется использовать при построении бизнес модели. Пусть в нашем случае «лишними» полями являются Db_id, Source_id, Hash, Load date, Is balance, Activity code, Plan id, Parent account. Для удаления указанных полей из модели следует поочередно выделить каждое из них и нажать кнопку удаления колонки (Рис. 73)
Рис. 73 – Кнопка удаления поля таблицы
Если какое либо из полей физической таблицы отсутствует в структуре или было удалено по ошибке, имеется возможность добавления поля с помощью кнопки добавления колонки (Рис. 74)

95

Рис. 74 - Кнопка добавления поля таблицы
Пусть в нашем примере мы случайно удалили поле «Account number». Для того чтобы его вновь добавить в список полей следует нажать на кнопку добавления колонки, затем в открывшемся окне (Рис. 75) прописать название нового поля и нажать кнопку «ОК».
Рис. 75 - Окно добавления нового поля
Затем для указания связи с полем физической таблицы следует выбрать добавленное поле в списке слева, и в блоке Formula справа, в поле Value ввести наименования поля таблицы витрины (Рис. 76) и нажать кнопку «ОК».
Рис. 76 - Указание поля физической таблицы для новой колонки

96

После проведения необходимых действий по настройке состава полей таблиц, следует нажать кнопку «ОК» в нижней правой части формы для сохранения внесенных изменений.
Указанные выше действия выполняются для всех импортированных таблиц, после редактирования каждой таблицы рекомендуется сохранять файл модели. В результате после произведения вышеуказанных действий в левом блоке отображается структура таблиц и используемых полей (Рис. 77).
Рис. 77 – Структура используемых полей
3.5.7.

Создание Бизнес – модели
Следующим шагом создания модели метаданных является создание бизнес модели на основе импортированных в предыдущих шагах таблиц.

97
Для создания модели следует щелкнуть ПКМ по группе «Business Models» в левом блоке АРМ. В открывшемся контекстном меню следует выбрать пункт «New Business model»
(Рис. 78)
В отображаемом окне создания бизнес модели следует выбрать в поле «Connection» созданное в вышестоящих шагах подключение и нажать кнопку «ОК» (Рис. 79).
Рис. 78 – Контекстное меню блока «Бизнес-модели»
Рис. 79 – Окно создания бизнес-модели
В результате, в левом блоке АРМ в структуре объектов модели будет отображена новая бизнес модель. Для просмотра детальной структуры достаточно нажать на черные стрелки слева от наименования модели (Рис. 80).

98

Рис. 80 - Структура объектов метамодели. Бизнес-модель
3.5.8.

Добавление бизнес-таблиц
Для добавления в метамодель бизнес-таблиц следует вызвать контекстное меню щелчком ПКМ по блоку «Business Tables» и выбрать пункт «New Business Table» (Рис. 81).
Рис. 81 - Контекстное меню Бизнес-таблиц
В открывшемся окне следует выбрать таблицу для добавления в бизнес модель (Рис.
82) и нажать кнопку «ОК». В следующем окне настроек следует убедиться в наличии всех необходимых полей таблицы (в блоке слева) и подтвердить добавление таблицы в модель нажатием на кнопку «ОК» (Рис. 83).

99

Рис. 82 - Выбор таблицы для добавления в БМ

Рис. 83 - Настройки добавления таблицы в БМ
В примере были добавлены в модель таблицы ef_posting_facts2, cmn_organisation, cm_currency, а также ef_account добавлена 4 раза – это сделано для последующего разделения связей между таблицами: поскольку в таблице ef_posting_facts имеются связи с элементами таблицы ef_account по четырем полям, и ссылки на эти записи между собой не связаны.
Добавленные таблицы будут отображены в правом блоке АРМ на вкладке «Graphical
View» (Рис. 84).

100

Рис. 84 - Просмотр таблиц бизнес-модели
На этом шаге добавление таблиц завершено.
3.5.9.

Добавление связей
Следующим этапом настройки модели метаданных является настройка связей между бизнес-таблицами.
Для добавления связи следует в левом блоке АРМ выделить обе связываемые таблицы и щелкнуть ПКМ по одной из них для вызова контекстного меню (Рис. 85). Затем следует выбрать в отображенном контекстном меню пункт «Add Relationship».

101

Рис. 85 - Контекстное меню бизнес-таблиц
В открывшемся окне настройки связей между таблицами (Рис. 86) следует установить связи таким образом, чтобы направление связей было указано от дополнительных таблиц к центральной (согласно методике построения схем данных типа «Звезда»).
Рис. 86 - Окно добавления связи между таблицами
В приведенном примере центральной таблицей является EF_posting_facts_2 и ее бизнес аналог «BT_EF_POSTING_FACTS_2…», с которой связаны остальные таблицы бизнес модели.
Для настройки связи центральной таблицы с CM_CURRENCY следует указать дополнительную таблицу в поле «From Table», а центральную таблицу в поле «To Table». В некоторых случаях доступна возможность автоматической подстановки связываемых полей в таблицах – для этого следует нажать на кнопку «Guess Matching Fields» в окне добавления

102 связей, однако, если в таблице содержатся поля с похожими названиями, то автоопределение связей может отработать некорректно (используется лингвистический анализ названий полей для сопоставления). В таких случаях выбрать связываемые поля таблиц следует вручную из раскрывающихся списков в полях «Field» формы для таблиц From Table и To Table соответственно.
Следует также указать тип связи между таблицами в поле «Relationship» окна настроек связи исходя из фактического типа связи между таблицами (в приведенном примере связь один ко многим с допустимым существованием родителей без потомков).
Таким образом, после ввода всех необходимых для описания модели связей между таблицами, в левом блоке АРМ будет отображена схема связей между бизнес-таблцами (Рис.
87).
Рис. 87 - Схема бизнес-модели
3.5.10.

Настройка локализации объектов метамодели
После создания объектов метамодели требуется провести локализацию для отображения названий объектов, полей таблиц, названий бизнес моделей и измерений на

103 русском языке.
Первым этапом проводится локализация сущностей физических таблиц. Для начала работ требуется выделить в левом блоке АРМ таблицу, подлежащую локализации и щелкнуть ПКМ на ней для вызова контекстного меню (Рис. 88). В контекстном меню нажать кнопку «Edit»
Рис. 88- Контекстное меню таблиц
В открывшемся окне (Рис. 89) в блоке «Settings» в подблоке «General» найти в таблице локализаций строку ru_RU и в колонке «String» вписать русскоязычный аналог названия объекта.
Ввод строки локализации повторяется для каждого поля таблицы, для всех таблиц модели.

104

Рис. 89 - Ввод русскоязычного аналога объекта
После ввода русскоязычных аналогов для всех объектов модели следует сохранить модель. После перезапуска АРМ модель будет отображена с использованием соответствующей локализации (Рис. 90).
Рис. 90 - Просмотр локализации модели
3.5.11.

Настройка типов измерения в таблицах метамодели

105
Для начала работ требуется выделить в левом блоке АРМ таблицу для редактирования и щелкнуть ПКМ на ней для вызова контекстного меню (Рис. 88). В контекстном меню нажать кнопку «Edit». В открывшемся окне в блоке «Model Descriptors» указать в разделе
«Table Type» в поле «Table Type» из раскрывающегося списка фактически используемый тип таблицы в модели (Рис. 91):
Dimension – таблица, содержащая значения одного из измерений;
Fact – таблица содержащая факты;
Other – таблицы другого типа.
Рис. 91 - Настройка типов таблиц
Также производится настройка типа поля в каждой таблице (для центральной таблицы настройка является обязательной).
Для настройки типов полей требуется вызвать окно редактирования таблицы через контекстное меню (Рис. 88). Затем в левой части окна выбрать поле таблицы для настройки
(Рис. 91), после чего в правой части окна в блоке «Model Descriptors» в поле «Field Type» из раскрывающегося списка:
Other,

106
Dimension,
Key,
Fact,
Attribute следует выбрать тип поля, соответствующий роли поля в витрине (Рис. 92).
Рис. 92 - Выбор типа поля
В приводимом примере для таблицы фактов EF_posting_facts_2 указано: тип таблицы – Fact, тип полей «Сумма руб» и «Сумма вал» - Fact, тип полей «Код счета», «Код субсчета», «Код корсчета», «Код корсубсчета» -
Dimension, тип полей «МВЗ», «Код вал», «Дата проводки» – Dimension.
3.5.12.

Настройка типа агрегации для полей таблицы
Для настройки типов полей требуется вызвать окно редактирования таблицы через контекстное меню (Рис. 88). Затем в левой части окна выбрать поле таблицы для настройки

107
(Рис. 93), после чего в правой части окна в блоке «Model Descriptors» в поле «Agregation
Type» из раскрывающегося списка:
Sum,
Average,
Count,
Distinct count,
Minimum,
Maximum.
Также можно указать набор доступных агрегаций для поля выделив допустимые варианты агрегации в блоке «Agregation list».
Рис. 93 - Настройка агрегации для поля таблицы
3.5.13.

Настройка экспортных таблиц
Следующим шагом создания метамодели является добавление в «Бизнес вид» таблиц из созданной метамодели.
Для вызова окна настройки следует щелкнуть в левой части окна АРМ ПКМ по блоку

108
«Business View» для вызова контекстного меню (Рис. 94) и выбрать пункт «Manage
Categories».
Рис. 94 - Контекстное меню Бизнес вида
В открывшемся окне (Рис. 95) следует выбрать в левом блоке таблицы для экспорта и нажать кнопку с одинарной стрелкой в центре формы либо на кнопку с двумя стрелками для экспорта всех таблиц (Рис. 96), после чего нажать кнопку «Close».

Каталог: documents
documents -> Учёное звание
documents -> Публичный доклад. 2013 год Общая характеристика образовательного учреждения. Место расположения
documents -> «Значение использования икт в процессе развития дошкольников.»
documents -> Информации и коммуникации на подрастающее поколение. Научно исследовательская
documents -> 1 общая информация наименование дошкольного образовательного учреждения: мадоу «Детский сад комбинированного вида №49»
documents -> Образовательная программа «Гражданское население в противодействии распространению идеологии терроризма»


Поделитесь с Вашими друзьями:
1   2   3   4   5   6   7   8   9   ...   13


База данных защищена авторским правом ©nethash.ru 2019
обратиться к администрации

войти | регистрация
    Главная страница


загрузить материал