АННОТАЦИЯ

В данном курсе изучаются базовые концепции хранения данных, включающие планирование, проектирование, создание, заполнение и сопровождение успешных хранилищ данных. Также в курсе рассматриваются основы архитектуры секционирования баз данных Oracle, преимущества параллельных операций и процессы извлечения, преобразования и загрузки данных (ETL) в хранилище баз данных Oracle. Помимо этого, слушатели узнают о преимуществах использования материализованных представлений Oracle для повышения производительности хранилища данных, познакомятся с опциями OLAP и Data Mining и получат основные рекомендации по реализации хранилищ данных. В ходе обучения слушатели кратко ознакомятся с функциональностью и будут использовать на практике такие инструменты организации хранилищ данных, как Oracle Warehouse Builder, Analytic Workspace Manager и Oracle Application Express.

ТЕМЫ КУРСА

• Терминология и базовые концепции хранилищ данных
• Технологии и инструменты Oracle для реализации хранилищ данных
• Методы и инструменты для извлечения, преобразования и загрузки данных
• Инструменты для доступа и анализа данных хранилища
• Преимущества секционирования, параллельных операций, материализованный представлений и перезаписи запросов
• Вопросы, связанные с проектированием хранилищ данных
• Повышение производительности и управляемости хранилища данных с использованием различных функций базы данных Oracle

ЦЕЛЕВАЯ АУДИТОРИЯ

• Разработчики
• Разработчики приложений
• Разработчики хранилищ данных
• Аналитики хранилищ данных
• Менеджеры проектов
• Администраторы хранилищ данных
• Инженеры службы поддержки

ПРОГРАММА КУРСА

 Урок 1. Введение

• Схемы sh и dm, ипользуемые в курсе
• Обзор среды SQLи инструментов хранилищ данных, используемых в курсе
• Обзор документации и примеров по Oracle 11g Data Warehousing и SQL

Урок 2. Хранилища данных, бизнес-анализ, OLAP и Data Mining

• Схемы sh и dm, ипользуемые в курс
• Определение и свойства хранилищ данных
• Типовые компоненты хранилищ данных
• Подходы к разработке хранилищ данных
• Извлечение, преобразование и загрузка (ETL)
• Многомерная модель и Oracle OLAP
• Хранилища данных, бизнес-анализ, витрины данных и OLTP
• Oracle Data Minig

 Урок 3. Концепции хранилищ данных и терминология

• Oracle Data Minig
• Определение хранилища данных и его свойства
• Подходы к разработке хранилищ данных
• Типовые компоненты хранилищ данных
• Сравнение хранилищ и витрин данных
• Сравнение хранилищ данных с OLTP
• Анализ учебного примера: Roy Independent School District (RISD)

Урок 4. Бизнес, логическое, многомерное и физическое моделирование

• Вопросы моделирования хранилищ данных
• Создание бизнес-модели
• Создание логической модели
• Создание многомерной модели
• Создание физической модели: «звезда», «снежинка» и третья нормальная форма
• Характеристики таблиц фактов и измерений
• Преобразование бизнес-измерений в таблицы измерений
• Преобразование многомерной модели в физическую модель

Урок 5. Вопросы, связанные с размером, хранением, производительностью и безопасностью баз данных

• Архитектурные преимущества базы данных Oracle
• Размер базы данных, оценка и обоснование выбора размера базы данных
• Индексирование
• Оптимизация запросов в схеме «звезда»: настройка производительности
• Параллелизм
• Секционирование данных
• Безопасность в хранилищах данных
• Стратегия Oracle по обеспечению безопасности хранилищ данных

Урок 6. Процесс ETL: извлечение данных

• Процесс извлечения, преобразования и загрузки (ETL)
• ETL – задачи, их важность и стоимость
• Методы извлечения метаданных
• Методы логического и физического извлечения
• Извлечение данных и исследование источников данных
• Маппинг данных
• Инструменты Oracle для ETL: Oracle Warehouse Builder, SQL*Loader и Data Pump
• Возможные ошибки ETL и обеспечение качества ETL

Урок 7. Процесс ETL: преобразование данных

• Преобразование метаданных
• Преобразование данных: проблемы и их решение
• Методы преобразования и инструменты
• Процедуры преобразования
• Качество данных: важность и преимущества
• Аномалии в данных
• Удаленные и локальные модели хранения промежуточной области

Урок 8. Процесс ETL: загрузка данных

• Загрузка данных в хранилище
• Методы загрузки, предоставляемые Oracle
• Построение процесса загрузки
• Степень детализации данных
• Постобработка загруженных данных
• Индексация, сортировка и проверка целостности данных
• Модели обновления данных: среда процесса извлечения
• Перенос данных с помощью плоских файлов, распределенных систем и переносимых табличных пространств

Урок 9. Обновление хранилища данных

• Захват изменений данных для обновления
• Применение изменений к данным
• Требования к окну загрузки
• Планирование и постановка в расписание окна загрузки
• Требования пользователей и сопровождение
• Разработка стратегии обновления для захвата измененных данных
• Отметка времени и даты, триггеры базы данных и логи базы данных
• Заключительные задачи

Урок 10. Материализованные представления

• Типы материализованных представлений
• Режимы построения и обновления
• Работа с измерениями и иерархиями
• Использование итогов для улучшения производительности
• Использование материализованных представлений для управления итогами
• Перезапись запросов: обзор
• Процесс перезаписи запроса с оптимизацией по стоимости

Урок 11. Материализованные представления

• Типы материализованных представлений
• Режимы построения и обновления

Урок 12. Ведение метаданных

• Определение метаданных хранилища
• Задачи метаданных и предполагаемое использование
• Пользователи метаданных и типы метаданных
• Определение целевых пользователей метаданных, выбор инструментов и методов метаданных
• Управление изменениями в метаданных
• Извлечение, преобразование и загрузка метаданных
• Изучение метаданных: метаданные ETL
• Интеграция нескольких наборов метаданных

Урок 13. Рекомендации по реализации хранилищ данных

• Архитектура хранилища данных
• Логическая, пространственная и физическая модели данных
• Управление проектом
• Спецификация или определение требований
• Управление метаданными
• ETL, отчетность и вопросы безопасности
• Тестирование внедрения и управление внесением изменений во внедренную систему
• Некоторые полезные ресурсы и технические документы