CLICH: Построение DWH на ClickHouse

О событии

1. Основы ClickHouse

Назначение и архитектура ClickHouse

Логическая структура базы данных

Уровни логирования

Преимущества и ограничения колоночных СУБД

Сценарии использования ClickHouse

Сценарии развертывания кластера ClickHouse и планирование установки: облако, on premises, docker.

Лабораторная работа: Создание кластера ClickHouse с использованием Managed Service for ClickHouse или установка в Docker, настройка подключений и написание запросов к системным таблицам.

2. Структура БД в ClickHouse

Движки баз данных и таблиц (MergeTree, CollapsingMergeTree, Log, Memory, Buffer)

Констрейнты, индексы, проекции

Простые и материализованные представления

Внешние и внутренние словари и работа с ними

Лабораторная работа: Создание баз данных, таблиц, индексов, представлений и проекций в ClickHouse.

3. Основы ClickHouse SQL

Типы данных

Команды DDL и DML

Эффективное написание SQL-запросов

Пользовательские функции

Функции работы с датой и временем

Лабораторная работа: Пишем быстрые SQL-запросы и оптимизируем их.

4. Оптимизация и производительность

Профилирование и EXPLAIN

Использование system.query_log

Партиционирование и кластеризация

Предварительное агрегирование и кэширование данных

Лабораторная работа: Находим и ускоряем “тяжёлые” запросы. Профилирование и оптимизация запросов.

5. Распределённые системы

Шардирование и репликация

Настройка отказоустойчивого кластера

Балансировка нагрузки

Лабораторная работа: Настраиваем отказоустойчивый кластер

6. Интеграция и расширенные возможности

Работа с JSON, массивами, вложенными структурами

Работа с географическими данными

Потоковая обработка данных. Паттерны применения ClickPipes

Интеграция с Kafka, PostgreSQL

Инструменты для визуализации данных: Datalens, SuperSet, Grafana, Metabase

Обработка событий в режиме реального времени

Лабораторная работа: Создаём потоковую обработку данных на ClickHouse

7. Администрирование и безопасность ClickHouse

Управление пользователями и ролями

Методы аутентификации

Резервное копирование и восстановление

Мониторинг и кастомные метрики

Алертинг (Prometheus, Grafana)

Лабораторная работа: Настройка резервного копирования в ClickHouse. Реализация кастомных метрик, построение дашбордов, (Monitoring service – Prometheus, Visualization Tool – Grafana).

8. Итоговое тестирование

Тестирование (на английском языке) обязательно в случае дальнейшего участия в курсе подготовки к сертификации «ClickHouse Certified Developer»

Похожие события

• Встреча Центра компетенций «Как аналитики помогают создавать AI-продукты?» — 12 окт, 13:30
• Презентация курса "Аренда 2.0. Исполнение договоров аренды" — 12 окт, 13:00
• Вебинар: «Какое образование подходит моему профилю?» — 12 окт, 15:00
• Разговорный английский клуб : Getting through a break-up / Как мы переживаем расставание — 12 окт – 28 окт
• Онлайн-встреча резидентов: Релокация - обмен опытом — 12 окт, 18:00
• Вебинар «HR-аналитика без перегруза: как принимать управленческие решения на основе данных» — 12 окт, 19:00