Arenadata DB (ADB) — аналитическая, распределённая СУБД, построенная на
MPP-системе
с открытым исходным кодом Greenplum. Она предназначена для хранения и обработки больших объёмов
информации — до десятков петабайт. С Arenadata DB вы построите надёжное, масштабируемое
корпоративное
хранилище данных, которое будет расти вместе с вашими потребностями.
На продукт Arenadata DB получено свидетельство о государственной регистрации программы для ЭВМ
Номер регистрации2019660895
Дата регистрации15.08.2019
Продукт Arenadata DB включён в единый реестр российских программ для электронных вычислительных машин и баз данных.
Номер реестровой записи6481
Дата формирования07.04.2020
Продукт Arenadata DB внесён в государственный реестр системы сертификации средств защиты информации по требованиям безопасности информации ФСТЭК РФ.
Номер регистрации4675
Дата регистрации02.06.2023
Распределённая СУБД для амбициозных задач
Arenadata DB реализована на кластере из множества (от двух до сотен) серверов и равномерно
распределяет
нагрузку и данные между ними. Пользователю даже не обязательно знать, сколько именно и каких
серверов
используется. Достаточно работать с ADB как с обычной не кластерной системой.
Архитектура ADB
Seg_N – сегмент, Mir_N – зеркальный сегмент
Стоимость решения
Стоимость временной/постоянной лицензии и технической поддержки на продукт зависит от количества физических ядер, типа кластера (prod, test) и требуемого SLA (24х7, 8х5) и рассчитывается индивидуально.
ADB прекрасно справляется с задачами построения корпоративного хранилища
данных
(КХД), аналитики с помощью BI-инструментов, AD-HOC запросов и data science уровня предприятия. По
мере роста
объёма данных вы просто добавляете новые сервера в кластер — обо всём остальном ADB позаботится
сама.
Работа систем маркетинговых кампаний и систем лояльности;
Различный скоринг;
Предсказательная аналитика (спрос, остатки).
Решаемые задачи с Arenadata DB
Корпоративные хранилища больших данных
Разгрузка инженерных систем
Аналитика от BI до AI
Корпоративные хранилища больших данных
Классические КХД и хранилища больших данных с обновлением в реальном и околореальном
времени.
Виртуализация и федерация данных, доступ ко всем данным через единое окно с помощью
SQL-запросов.
Разгрузка инженерных систем
Импортозамещающие ПАК на базе Arenadata DB и Arenadata QuickMarts.
Возможно добиться снижения сложности эксплуатации озера данных путем миграции с Hadoop
на Arenadata
DB.
Прозрачная методика перехода, минимум рисков и сохранение всех преимуществ.
Аналитика от BI до AI
Интеграция с любыми BI-системами, cовместимыми с JDBC/ODBC.
Возможность быстрого развёртывания и сворачивания зон «песочниц» для пилотных проектов и
проверки
статистических гипотез.
Работа со всеми аналитическими инструментами
Arenadata — второй в мире контрибьютор Greenplum
Database
Arenadata — один из крупнейших коммитеров, развивающих международный проект аналитической
СУБД
Greenplum. В 2019 году по числу коммитов в него мы стали вторыми в мире, опередив китайского
гиганта
Alibaba Group.
ADB на 100% совместима со всем ПО, которое работает с PostgreSQL. Ваш
любимый BI,
средства разработки, ETL — всё это уже поддерживает ADB прямо из коробки. А стандарт SQL ANSI
2008 хорошо
знаком огромному числу разработчиков по всему миру.
Консистентность
Полное соответствие принципам строгой изоляции транзакции (принципы ACID).
Одни и те
же таблицы могут быть использованы для записи и чтения, без страха потерять данные.
Data Science уровня предприятие
Для того чтобы использовать возможности Data Science при решении задач вашей
компании,
мало просто писать хороший код и строить правильные модели. Их необходимо прозрачно и безопасно
встроить в
процессы загрузки и преобразования данных. ADB даёт вам все необходимые для этого инструменты —
библиотека
MADLIB позволяет включить расчёт и выполнение моделей прямо в существующий ETL/ELT процесс.
Простота управления
Эксплуатация ADB для администраторов не намного сложнее, чем работа с
обычной
PostgreSQL, а продвинутая консоль управления поможет выполнять текущие задачи быстрей и
предсказуемей, а
значит, безопасней.
Мониторинг
Мы знаем, насколько важно полагаться на доступность своих данных 24/7,
поэтому
включили в пакет с нашей СУБД ПО мониторинга — Graphite и Grafana. В любой момент вы сможете
узнать, что
происходит с кластером. А благодаря развитой системе алертов получите возможность избежать
большинства
инцидентов.
Интеграция
Для системы обработки данных критична возможность масштабирования не только
вычислительных ресурсов, но и каналов загрузки и выгрузки данных. ADB предоставляет набор
коннекторов для
параллельной загрузки и выгрузки данных из сторонних систем (Kafka, ClickHouse, Hadoop), что
существенно
упрощает процесс интеграции с источниками данных и аналитическими системами.
Инфраструктура
Может быть размещена в вашем ЦОДе, на виртуальных машинах, в частных и
публичных
облаках. Никакого vendor lock-in: нет привязки к вендору или специфическому оборудованию.
Интеграция с внешними источниками данных
Одно из важнейших качеств аналитической СУБД — гибкость и
производительность при обмене данными с внешними системами. В ADB реализован протокол параллельного
обмена
данными со сторонними системами — PXF (Platform eXtension Framework), который обеспечивает
взаимодействие с
внешней системой одновременно всех сегментов кластера. Если система-источник также представляет собой
кластер,
то можно использовать кластерное взаимодействие с обеих сторон, что позволяет повысить
производительность,
причём скорость взаимодействия будет расти по мере расширения кластеров. Поддерживается интеграция с
Oracle,
Postgres, MS SQL, My SQL, MongoDB, SAP HANA и другими СУБД, а также с решениями другого класса: Hadoop
(HDFS,
Hive, Hbase), S3.
Данные под надёжной защитой с Arenadata DB
Безопасность данных
Резервирование
Безопасность в ADB достигается путём шифрования данных и соединений сервер-клиент по
протоколу SSL на
всех этапах их жизненного цикла. Кроме этого, все внутренние взаимодействия
компонентов СУБД ADB
(сегменты, зеркала и мастера) также могут быть зашифрованы с помощью протокола SSL,
а данные,
хранящиеся на дисках кластера, — зашифрованы с помощью ключей PGP (на уровне таблиц,
либо колонок в
таблицах). Всё это позволяет исключить ситуации нахождения данных в незашифрованном
виде.
Разграничения зон видимости данных и прав доступа обеспечивается благодаря ролевой
модели доступа
(Role Based Access Control, RBAC), позволяющей реализовать гибкие, изменяющиеся
динамически в процессе
функционирования платформы хранения и обработки данных, правила разграничения
доступа. Так, например,
можно создать схемы ограничения доступа к таблицам и другим объектам СУБД, а также к
строкам и
столбцам отдельных таблиц.
Гибкая система резервирования позволяет установить и настроить кластер с заранее
заданным уровнем
отказоустойчивости, позволяя СУБД работать даже при выходе из строя половины
серверов из кластера. А
большой выбор стратегий хранения данных в ADB обеспечивает необходимую
производительность на всех
этапах жизненного цикла данных — от получения новых онлайн-данных, хранения основных
данных с разным
уровнем компрессии до экспорта архивных данных в кластер Hadoop.
Центры разработки в РФ – Москва,
Санкт-Петербург, Хабаровск
Поддержка, документация и учебные курсы на
русском языке
ADB as a Service
Мы не ограничиваем наших клиентов в выборе типа инфраструктуры: ADB одинаково
эффективно будет работать как на bare-metal, так и в облаке. Вы можете воспользоваться востребованным
сегодня
сценарием — гибридной ИТ-инфраструктурой или Multi-clouds, а также PaaS-версией Arenadata DB у наших
партнёров.
Нет времени думать, где разместить продукт и кто
будет его администрировать?
Предоставьте это нам. С технической поддержкой от Arenadata вы просто используете продукт для
решения
бизнес-задач, а о необходимом оборудовании, задачах эксплуатации, бекапирования и
администрирования
позаботятся наши высококвалифицированные специалисты.
Чем Arenadata DB отличается от ванильного Greenplum?
В сommunity-редакции есть дополнительные инструменты мониторинга кластера, средства управления
развёртыванием, средства расширения кластера. В enterprise-редакцию включены проприетарные
коннекторы, предустановленные расширения, а также система мониторинга запросов Arenadata Command
Center.
Какие отличия в редакциях Community и Enterprise?
Смотрите сравнительную таблицу:
Функционал
Greenplum Open Source
ADB Community Edition
ADB Enterprise Edition
Core-функционал Greenplum DB
+
+
+
PXF
+
+
+
gpbackup/gprestore
+
+
+
Коннектор Greenplum <-> Kafka
–
–
+
Коннектор Greenplum -> ClickHouse
–
–
+
Коннектор Greenplum <-> Hadoop
+
+
+
Коннектор Greenplum <-> JDBC
+
+
+
Command Center (мониторинг на уровне запросов)
–
–
+
Управление расширением кластера
–
+
+
Офлайн-установка
–
–
+
Cluster/Server Мониторинг & alerting
–
+
+
Управление деплоем и апгрейдом
–
+
+
Client/Loader-утилиты
–
–
Redhat 8
Документация
+/-*
+
+
Поддержка
–
–
+
Обучение по продуктам
–
–
+
Доп.консалтинговые услуги (DBAaS, Smart Start, ТАМ, Аудит)
–
–
+
Операционная система
Ubuntu 18.04
RHEL 6 – 9
CentOS 7
CentOS/RHEL 7
Альт 8 СП Сервер
Astra Linux SE 1.7 в базовом режиме работы СЗИ («Орёл»)
Архитектура процессора
x86
x86
x86
ppc64le
В случае приобретения enterprise-редакции ПО у заказчиков Arenadata есть возможность
воспользоваться дополнительными консалтинговыми услугами «DBA как услуга», «Технический
аккаунт-менеджмент», «Аудит цифрового ландшафта» и Smart Start. Нашим клиентам не
обязательно разворачивать и настраивать все компоненты платформы самостоятельно — инженеры
Arenadata могут выполнить эти работы в полном объёме.
Кроме того, заказчикам enterprise-редакции наших продуктов мы обеспечиваем корпоративную
техническую поддержку в режиме 24/7 или 8/5 в соответствии с согласованными стандартами SLA.
В рамках договора фиксируется время первого ответа на обращение, гарантии по оперативной
диагностике и устранению сбоев, развёрнутые консультации и помощь в установке обновлений.
Как шардируются данные по серверам?
Таблицы по серверам распределяются случайным образом. Это происходит по умолчанию, а в работе
каждого
запроса используются все сегменты. Создавая таблицу, у вас есть возможность указать ключ её
распределения по
серверам — это может быть одно или несколько полей. Тогда все соединения с таблицей по указанным
полям будут
происходить быстрее. С более подробной информацией можно ознакомиться здесь.
Поддерживается ли колоночное хранение?
Осуществляется строковое и колоночное хранение данных в таблицах. Последнее актуально для
аналитической
нагрузки. Также пользователи могут создавать полиморфные таблицы — это гибридный формат, при
котором данные
(партиции) хранятся и строково, и колоночно. Вот ссылка на информацию об этом.
Поддерживается ли сжатие?
Да. Arenadata рекомендует алгоритм сжатия ZSTD уровня 1, но также поддерживаются ZLIB, RLE.
Применить сжатие
можно на таблицу, партицию и отдельный столбец.
Какие стандарты поддерживает СУБД?
Arenadata DB является ANSI SQL-совместимой системой. Подробнее об этом здесь.
Совместим ли синтаксис и протокол с PostgreSQL?
Совместим примерно на 95%. Поскольку с ADB работает всё ПО, работающее с PostgreSQL, вы можете
использовать
стандартные PostgreSQL драйвера (JDBC, ODBC). Почитать о совместимости с PostgreSQL можно здесь.
Есть ли транзакции?
Есть, это ACID-система, а уровень изоляции транзакций — Serializable.
Есть ли проекции и индексы?
Мы используем три типа индексов и материализованные представления.
Какие процедурные языки поддерживаются?
SQL (PLpg/SQL), Python, R, Java, Perl.
Как правильно загружать данные в СУБД?
Через стандартный PostgreSQL-интерфейс (например, JDBC или ODBC) можно загрузить небольшие
объёмы данных.
Если речь идёт о больших объёмах, то тут лучше использовать загрузчик GPFDIST, отправляющий
данные в СУБД
параллельно. Подробности здесь.
Какой максимальный объём данных можно хранить в СУБД?
Ограничений по объёму данных в СУБД практически нет. Информацию по лимиту объёма данных в
таблицах,
строках и полях можно получить из таблицы:
Dimension
Limit
Maximum size for a database?/td>
unlimited
Maximum size of a table?
unlimited, 128 TB per partition per segment
Maximum size for a row?
>1 GB (approximate)
Maximum size of a field?
1 GB
Maximum BLOB size
1 GB (Use BYTEA datatype, we don’t have BLOB)
Maximum number of rows in a table?
2^48
Maximum number of columns in a table?
1600
Maximum number of indexes on a table?
unlimited
Maximum number of databases/users
unlimited
Maximum number of tables per database
4200 million
Maximum number of columns per View
1664
Maximum length of column/table/database name
63
Maximum number of columns per index
unlimited
Maximum number of table level constraints per table
unlimited
Maximum active concurrent transactions
unlimited
Maximum data format descriptor size
63 characters
Maximum database, user, base table, view, index, trigger, stored procedure,
UDF, UDT, constraint
or
column name size.
63 characters
Maximum sessions per parsing engine
No concept of parsing engine other than masterDB node. No fixed limit, up to
a few hundred.
Maximum columns per primary and secondary index
32
Какие технические характеристики у Arenadata DB?
Смотрите таблицу ниже:
Технические характеристики
Объёмы хранения данных
от 300 ГБ до 25 ПБ
Минимальное количество машин в кластере
4
Максимальное количество машин в кластере
Не менее 200
Стандарт SQL
ANSI SQL 2008
Диалект SQL
PostgreSQL
Ориентация таблиц
Колоночная и строковая
Максимальный размер таблицы
Неограничен
Максимальный размер строки
Не менее 1 ГБ
Максимальный размер одного значения
1 ГБ
Максимальное количество строк в одной таблице
248
Максимальное количество столбцов в таблице
1600
Встроенные языки для PL-функций
Python, R, Java
Библиотека Data Science MADLIB
Присутствует
Расширение для работы с ГЕО-данными POSTGIS
Присутствует
Фактор репликации данных
2
Какие наиболее значимые функциональные особенности есть у Arenadata DB?
Транзакционность (ACID).
Возможность организации хранения данных таблиц как по строкам, так и по столбцам.
Механизм резервного копирования и восстановления с параллельным выполнением на всех
узлах кластера.
Возможность партиционирования таблиц с указанием различной ориентации
(колоночная/строковая) и различных типов и параметров компрессии для каждой из партиций.
Возможность параллельной записи данных в сегменты кластера.
Возможность управления ресурсными квотами и очередями, наличие механизма ресурсных групп
для квотирования ресурса CPU и RAM.
Поддержка стандарта ANSI SQL версии 2008 или выше.
Наличие эффективных алгоритмов сжатия данных (например, Z_Standart), возможность выбора
типа и уровня компрессии.
Наличие встроенного инструмента моделирования и анализа данных, позволяющего строить
линейную регрессию и нейронную сеть.
Поддержка различных аппаратных архитектур x86/64 и IBM Power.
Какой тип масштабирования возможен в Arenadata DB и благодаря чему
это достигается?
Массивно-параллельная архитектура без разделения ресурсов (shared nothing MPP).
Наличие нескольких сегмент-серверов.
Шардирование данных с обеспечением локальности исполнения запросов.
Благодаря чему обеспечивается отказоустойчивость Arenadata DB?
В архитектуре продукта есть резервный управляющий сервер.
Нативная отказоустойчивость без доработок ПО.
Какие интеграционные возможности есть у Arenadata DB?
Единая точка входа для SQL-запросов к компонентам сред, обеспечивающих хранение данных.
Инструменты для формирования федерации данных без увеличения времени доступа к данным.
Должна обеспечиваться возможность подключения в федерацию любых источников данных,
поддерживающих ODBC/JDBC-стандарты взаимодействия.
Наличие коннекторов к распространённому ПО: ClickHouse, Spark, Kafka.
Какие средства управления и мониторинга есть в Arenadata DB?
Система развёртывания и управления кластером (ADCM).
Встроенная система визуального мониторинга ключевых метрик СУБД (ADCM).
Встроенный журнал событий (ADCM) с указанием даты, пользователя, выполненной операции и
длительности операции, в т. ч. журнала ошибок.
Инструмент мониторинга (ADCC) прогресса выполнения текущих запросов в реальном времени с
возможностью просматривать исторические данные, план и этапы выполнения запросов.
Какие ОС поддерживаются?
Arenadata DB поддерживает Astra Linux SE 1.7 в базовом режиме работы СЗИ («Орёл»), Альт 8 СП Сервер, CentOS 7.7 – 7.9 / RHEL 7.7 – 7.9.
Спасибо, что написали нам
Мы обработаем вашу заявку как можно быстрее. Ждите ответа в ближайшее время.
Получите консультацию от Arenadata
Хотите узнать больше о возможностях Arenadata DB или протестировать продукт? Заполните форму обратной связи. Вам ответят наши специалисты, готовые предоставить полноценную консультацию о том, чем наш продукт может быть полезен вашему бизнесу.
ошибка! проверьте правильно ли вы заполнили поля
Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.
Находясь на нашем сайте, вы соглашаетесь с тем, что мы используем куки-файлы
Наша платформа вобрала в себя лучшие data-сервисы с открытым исходным кодом.
понятно
Спасибо, что написали нам
Мы обработаем вашу заявку как можно быстрее. Ждите ответа в ближайшее время.