Запуск первого в России Data Lakehouse
VK Tech совершил прорыв в области облачных технологий, впервые в РФ запустив Data Lakehouse. Эта система совмещает достоинства Data Lake и традиционных Data Warehouse, предоставляя компаниям гибкий и экономически выгодный инструмент для хранения и обработки информации. Она работает на базе VK Cloud и использует новейшие технологии, включая Cloud Trino — мощный SQL-движок для анализа Big Data из разнородных источников.
Инструмент предоставляет организациям возможность легко управлять объемными и разнородными данными, снижая нагрузку на локальные вычислительные мощности и упрощая анализ информации. Такой подход упростит структурирование и оптимизацию информации для сфер, активно работающих с данными — финансовых учреждений, ритейла, телекоммуникаций и государственного сектора.
Рассмотрим основные преимущества данной системы:
- Сочетание облачных функций снижает нагрузку на системы хранения, что способствует сокращению затрат.
- Использование S3-совместимого объектного хранилища вместе с SQL-движком Cloud Trino обеспечивает высокую производительность.
- Постоянные обновления и непрерывный доступ к информации упрощает создание Self-Service аналитики.
Движок Cloud Trino, являясь ключевым компонентом представленного инструмента, обеспечивает одновременное подсоединение к нескольким источникам, сокращая время на выполнение ETL-процессов и ускоряет обработку сырых данных. Это значит, что аналитики и прочие специалисты могут оперативно получать необходимую информацию, формировать отчеты и выявлять бизнес-инсайты. Инструмент минимизирует задержки в принятии решений и способствует повышению эффективности работы компании.
Еще одна функция Data Lakehouse — это возможность гибкого масштабирования инфраструктуры. Облачный Kubernetes позволяет динамически изменять вычислительные ресурсы в зависимости от текущих потребностей бизнеса, избегая лишних затрат на избыточные мощности. Сервис незаменим в сфере электронной коммерции, где количество запросов может существенно варьироваться в зависимости от сезона.
Data Lakehouse доступен как в облачной платформе VK Cloud, так и в Private Cloud и VK Data Platform. Вся инфраструктура соответствует строгим требованиям законодательства, включая 152-ФЗ (УЗ-1).
