Проектирование схемы хранилища
Таблицы и связи, структурированные для отчётности, организованные вокруг бизнес-вопросов, которые реально задаются, а не скопированные напрямую из системы-источника.
Данные
Проектирование и создание хранилища, из которого читают инструменты отчётности, в формате выделенного разработчика, проекта с фиксированным объёмом, поддержки в подборе персонала или консалтинга.
Компании нанимают разработчика хранилища данных в Дубае, когда отчётность перерастает прямые запросы к действующей базе данных приложения: отчёты работают медленно, конкурируют с системами, на которых бизнес реально держится, или цифры из разных систем-источников невозможно аккуратно объединить, потому что ничто заранее не сводит их в одну структурированную площадку. Разработчик хранилища данных проектирует и создаёт эту площадку, центральное хранилище, устроенное специально так, чтобы отчётность и анализ работали быстро и надёжно, отдельно от базы данных любого отдельного приложения.
Собственное объяснение AWS описывает хранилище данных как центральный репозиторий, к которому бизнес-аналитики и инструменты отчётности обращаются напрямую, с данными, организованными в таблицы внутри схем, чтобы по ним можно было эффективно делать SQL-запросы, в отличие от слабо структурированных данных, которые может хранить озеро данных. Правильно спроектировать эту схему так, чтобы она отражала реальные вопросы бизнеса к своим данным, и есть основная часть работы.
Прежде чем нанять разработчика хранилища данных в Дубае, перечислите системы, которые сейчас хранят данные, нуждающиеся в отчётности, и примерно то, как эти системы связаны между собой. Именно этот список формирует схему сильнее, чем что-либо ещё в брифе.
Что создаёт разработчик хранилища данных
Структура, построенная для анализа, а не для транзакций одного отдельного приложения.
Таблицы и связи, структурированные для отчётности, организованные вокруг бизнес-вопросов, которые реально задаются, а не скопированные напрямую из системы-источника.
Ключевые измеримые события, например продажи или бронирования, вместе с описательными деталями, например клиентом или товаром, по которым отчёты разбивают эти события.
Структура, которая сохраняет, как запись выглядела в прошлом, например прежний регион клиента, чтобы исторические отчёты оставались точными по мере изменения деталей.
Решения по устройству таблиц, партиционированию и индексации, нацеленные именно на крупные агрегирующие запросы, которые отправляет инструмент отчётности, а не на поиск отдельных записей.
Подготовка и настройка выбранной платформы хранилища, включая контроль доступа и то, как управляются расходы на вычисления по мере роста использования.
Письменное описание того, что означает каждая таблица и колонка, чтобы BI-разработчику, создающему дашборд поверх схемы, не приходилось гадать.
Важные навыки
Умение проектировать схему важнее знания инструментов, когда вы нанимаете разработчика хранилища данных в Дубае.
| Навык или инструмент | Как выглядит хороший уровень | Почему это важно |
|---|---|---|
| Многомерное моделирование | Может объяснить и реально применял дизайн таблиц фактов и измерений для отчётной нагрузки | Хранилище, смоделированное как транзакционное приложение, медленно и неудобно для отчётности |
| Облачные платформы хранилищ | Уверенно работает как минимум с одной крупной платформой, понимая её конкретную архитектуру, например разделение хранения и вычислений | Производительность и стоимость зависят от использования платформы так, как она реально спроектирована |
| SQL для анализа | Уверенно пишет эффективные, крупномасштабные агрегирующие запросы, а не только простые выборки | Отчётные запросы ведут себя совсем иначе, чем небольшие, точечные запросы приложения |
| Понимание систем-источников | Достаточно хорошо понимает системы, питающие хранилище, чтобы осмысленно моделировать их данные | Схема хранилища, игнорирующая реальное поведение данных-источников, ломается в первый же раз, когда реальность не совпадает с допущениями |
| Привычка документировать | Документирует таблицы и колонки по мере создания схемы, а не после того, как кто-то спросит, что значит поле | Недокументированное хранилище превращается в чёрный ящик в тот момент, когда его создатель уходит |
Собственная документация Snowflake по ключевым концепциям и архитектуре описывает, как данные организованы в таблицы и автоматически управляемые единицы хранения, и это хороший пример того, как внутреннее устройство современной облачной платформы хранилища формирует решения по схеме, которые разработчик хранилища данных принимает поверх неё.
Форматы работы с нами
Создание первого хранилища из определённого набора систем-источников, завершённое документацией и переданное заказчику после запуска, хорошо подходит для проекта с фиксированным объёмом. Бизнесу, чьи системы-источники и потребности в отчётности постоянно растут, лучше подойдёт выделенный разработчик, который расширяет схему по мере появления новых вопросов. Поддержка в подборе персонала подходит организации, строящей эту компетенцию внутри компании на постоянной основе, где мы берём на себя поиск и техническую оценку. Внешний обзор существующего хранилища, которое стало медленным или сложным в поддержке, лучше всего подходит для консультационных часов, прежде чем принимать решение о переделке.
Оценка кандидата
Проверки, нацеленные на умение проектировать схему, а не только на знакомство с платформой.
Дайте короткое описание бизнеса и его потребностей в отчётности и попросите набросать таблицы фактов и измерений, прежде чем открывать какой-либо инструмент.
Кандидат с реальным опытом может описать медленное хранилище, которое он унаследовал или создал, и что именно он изменил.
Спросите, как он отслеживал бы изменение региона клиента со временем, не теряя точности прошлых отчётов.
Спросите, почему он выбрал бы одну облачную платформу хранилища вместо другой для конкретного сценария, а не просто какая ему лично нравится больше.
Попросите показать словарь данных или документацию схемы, которую он писал, и насколько актуальной он её поддерживал по мере изменения схемы.
Сертификации
Сертификации здесь привязаны к конкретной облачной платформе хранилища.
Каждая крупная облачная платформа хранилища ведёт собственную программу сертификации, которую стоит проверять на странице сертификации соответствующего поставщика, как только организация определилась с конкретной платформой; наши страницы по конкретным платформам, например Snowflake developer, раскрывают это глубже.
Реальная схема, которую кандидат может показать вам с объяснением решений по дизайну, говорит о нём больше, чем сертификат, когда вы нанимаете разработчика хранилища данных в Дубае. Спросите прямо, что бы он спроектировал иначе, если бы пересобирал схему сегодня.
Особенности ОАЭ
Стоит решить на этапе проектирования схемы, а не после того, как хранилище уже построено.
Хранилище, где содержатся данные уровня клиента или сотрудника, подпадает под Федеральный декрет-закон № 45 от 2021 года, который Официальный портал правительства ОАЭ называет федеральным законом страны о защите персональных данных. Заранее решите, какие таблицы содержат персональные поля и кто может делать по ним запросы, поскольку это формирует и схему, и модель доступа одновременно.
Если для вашего бизнеса важно физическое размещение данных внутри ОАЭ, уточните, какие регионы реально предлагает выбранная облачная платформа хранилища, прежде чем схема и конвейеры будут построены вокруг региона, который позже придётся менять.
Большинство компаний, нанимающих разработчика хранилища данных в Дубае, уже держат в голове несколько систем-источников, прежде чем попасть на эту страницу. Посмотрите остальные страницы нашей категории данные, одной из групп внутри раздела найма разработчиков в Дубае, чтобы увидеть смежные роли. Если работа заключается в создании задач, загружающих хранилище, а не самой схемы, наша страница ETL-разработчика охватывает этот слой, а более широкое решение о платформах данных и управлении ими в масштабах бизнеса относится к роли data architect. Как только ваша организация выбрала платформу, наша страница Snowflake-разработчика раскрывает эту конкретную сборку глубже.
Прямые ответы
Запуск отчётов напрямую по действующей базе данных приложения может замедлять само приложение, а данные в ней часто структурированы для транзакций, а не для анализа. Хранилище создаётся и структурируется специально для отчётности, отдельно от систем, на которых бизнес работает изо дня в день.
Database developer обычно проектирует схему, в которую приложение постоянно пишет и из которой постоянно читает. Разработчик хранилища данных проектирует схему для анализа, обычно ориентированную на чтение, с данными, поступающими по расписанию, а не обновляемыми транзакция за транзакцией.
Это зависит от вашего текущего облачного провайдера, объёма данных и бюджета, и стоит короткого разговора для определения объёма работ, прежде чем что-либо решать. Как только платформа выбрана, наши страницы по конкретным платформам, например Snowflake, раскрывают процесс создания глубже.
Разработчик хранилища данных проектирует место назначения: схему, таблицы и связи между ними. ETL-разработчик создаёт задачи, которые перемещают и загружают данные в это место назначения. Более крупному проекту часто нужны оба специалиста, а на небольшой сборке иногда достаточно одного человека.
Это зависит от того, сколько систем-источников его питают и насколько чистыми уже являются эти данные. Мы определяем объём работ по письменному брифу с описанием ваших источников данных и потребностей в отчётности и называем фиксированную цену под этот бриф.
Источники
Фиксированная цена в письменном виде
Получили. Мы уже готовим ваше предложение.
В рабочее время вы получите его в течение 45 минут. Проверьте почту, там письмо с подтверждением.