Tele2 при помощи RT.DataLake увеличила емкость платформы big data на 40%

По инф. ИА Телеинформ   
12.07.2022 23:38

Tele2, российский оператор мобильной связи, успешно завершил расширение существующего кластера хранения и обработки больших данных за счет решения RT.DataLake.

Общая емкость нового внедренного кластера Hadoop RT.DataLake составила 2,4 Пб. Это позволило на 40% нарастить полезную емкость платформы big data Tele2 и увеличить производительность для расчетов задач machine learning. Благодаря расширению компания сократила зависимость от иностранного ПО, получила возможность увеличивать вычислительные мощности и масштабировать текущее решение без ограничений.

Tele2 использует кластер Hadoop для хранения и аналитики данных с 2018 года. За это время в кластер интегрировано более 100 источников данных, а ежедневный объем интегрируемых данных достигает 100 Тб. Платформой big data ежедневно пользуются десятки бизнес- и технических команд, при этом основным внутренним клиентом является команда аналитики и монетизации данных. Нагрузка на кластер непрерывно росла, а свободное место уменьшалось. Сложные процессы интеграции данных затрудняли работу команды data scientists. В связи с этим компания решила разделить архитектуру платформы big data на сегмент обработки данных и сегмент data science.

Для расширения платформы big data Tele2 выбрала продукт RT.DataLake от «Ростелекома» на базе технологии Hadoop. Данное решение показало лучшие показатели по экономии бюджета и совокупной стоимости владения: расчет в рублях за лицензии исключает валютные и санкционные риски, а суммарная экономия за 5 лет составит более $3 млн.

Сборка RT.DataLake является одним из самых современных коммерческих дистрибутивом Hadoop в мире – она состоит из самых «свежих» стабильных версий фреймворков и компонент. Это позволяет решить потребности инженеров данных и data scientists Tele2, которые крайне требовательно относятся к регулярному обновлению версий компонент в кластере. «Ростелеком» как вендор ПО показал готовность выполнить кастомизацию дистрибутива под нужды Tele2. Это дало возможность обеспечить необходимый набор используемых версий компонента Hadoop, реализовать добавление функционала в исходный код проекта и предоставить набор средств автоматизации развертывания и управления на базе технологии Ansible.

Tele2 надежно обеспечивает информационную безопасность и сохранность данных, постоянно проводя аудиты и совершенствуя методы их защиты. RT.DataLake не исключение. В решении реализовано разграничение доступа на базе технологии Ranger, внедрен протокол аутентификации Kerberos и выполнена интеграция с корпоративной службой Active Directory. Команда «Ростелекома» регулярно выпускает патчи обновления компонент и устранения угроз информационной безопасности.

Алексей Мартынов, директор по информационным технологиям Tele2:

– IT-cотрудники Tele2 расширяли кластер без привлечения подрядчиков. Большую помощь в этом процессе оказывала команда «Ростелекома», которая устраняла любые недостатки в дистрибутиве в считанные дни. Наша компания сократила зависимость от иностранного ПО, получила возможность масштабировать платформу big data Tele2 без ограничений и увеличивать вычислительные мощности.

Антон Мерзляков, директор по аналитике больших данных Tele2:

– После расширения платформа big data Tele2 позволяет хранить 6,6 Пб данных, состоит из 126 вычислительных узлов суммарной мощностью 9000 ядер и 86 Тб оперативной памяти. Мощность расширенного кластера позволяет комфортно работать команде data scientists и решать самые высоконагруженные задачи. Мы уверенно смотрим в будущее и рассчитываем на полную реализацию наших планов по запуску продуктов на базе аналитики больших данных как для задач Tele2, так и обширного круга внешних клиентов и партнеров.

ИА Телеинформ

новости электронных устройств и связи

Новости связи и IT-технологий

Более 100 000 сибиряков выбрали видеонаблюдение от «Ростелекома»

В Сибири стабильно растет спрос на домашнее видеонаблюдение от «Ростелекома». По данным компании, среднегодовой прирост абонентской базы услуги составляет 10% — сегодня она насчитывает более 103 тыс. пользователей.

 
Политолог о «штрафах за поиск»: к какому интернету и к какому будущему нас готовят?

Рассмотрение законопроекта о штрафах за поиск экстремистского контента — событие куда более масштабное, чем кажется на первый взгляд. Таким мнением поделился Рамиль Харисов, политтехнолог

 
«Ростелеком» организовал техническую инфраструктуру ралли «Шелковый путь»

Открытие XV Международного ралли «Шелковый путь» состоялось 12 июля на Площади графа Сперанского в Иркутске. «Ростелеком» предоставил канал связи для организаторов и участников гонки в Приангарье и в Бурятии.

 
Всё под контролем: нейросеть «Ростелекома» более чем в три раза повысила эффективность выявления нарушений на ЕГЭ

«Ростелеком» подвел итоги работы системы видеонаблюдения и искусственного интеллекта (ИИ) на Едином государственном экзамене (ЕГЭ), основной период которого прошел с 23 мая по 4 июля 2025 года.

 
Состоялась встреча мэра Ангарска Сергея Петрова с директором Иркутского филиала ПАО «Ростелеком» Романом Егоровым

«Ростелеком» готов развивать цифровую инфраструктуру в Ангарске, обеспечив предприятия и жителей услугами связи. Об этом шла речь на рабочей встрече мэра города Сергея Петрова и директора Иркутского филиала ПАО «Ростелеком» Романа Егорова.

Метки:
 

Владислав Толстов - книжный рецензент

Видеосюжеты
Сергей Шмидт: Срок