История сервиса началась в 2013 году, в команде Яндекс.Почты. Мы тогда решили перевезти базы с Oracle на Postgres, история об этом написана в статье. После успешного переезда у нас начала концентрироваться экспертиза по Postgres, и другие сервисы Яндекса стали приходить и просить тоже поднять им кластер базы данных. Так появился Postgresql as a service. Подробную историю можно посмотреть здесь.
Потом мы начали добавлять другие базы данных и расти в объёмах, на нашу инфраструктуру перехало большинство сервисов Яндекса.
После этого появилось Яндекс.Облако, и мы стали его частью. Мы первые кто запустил Управляемые БД (Аналог Amazon RDS) в России.
Поскольку у нас очень большие объёмы, то по закону больших чисел, любой редко стреляющий плавающий баг скорее всего у нас выстрелит. На нашем масштабе всё, что может случиться физически, регулярно случается. Поэтому можно сказать, что мы видели всё. Мы иногда отлавливаем очень редкие баги в движках баз, воспроизводим их, исправляем и коммитим в опенсорс.
В этой статье вы можете почитать про то как работает сервис изнутри. В основном пишем на go, python, С. Используем salt stack, terraform, kubernetes.
ClickHouse
Мы делаем не только сервис вокруг ClickHouse, но так же вносим вклад в движок.
Владимир Бородин, руководитель платформы данных
“Наша команда существует даже дольше, чем само облако — с 2016 года, и предоставляет так называемую внутреннюю инсталляцию для разработчиков Яндекса, то есть работает не только для внешних, но и для внутренних клиентов — всех сервисов. Получается, что каждый разработчик в той или иной мере влияет на развитие продукта, которым пользуются и внутри компании, и в целом на рынке.”
Видео, где Владимир описывает внутреннее устройство MDB.
Дмитрий Сарафанников, руководитель MDB
”Я пришел в команду в 2016г, когда мы были еще частью Яндекс.Почты, на позицию администратора баз данных PostgreSQL. Тогда как раз активно шел переезд Почты с Oracle на PostgreSQL. Меня привлек масштаб: десятки больших баз суммарным объемом в сотни терабайт и большой нагрузкой. Я подумал, что тут точно не буду скучать, и не ошибся.”
“Базы данных, на мой взгляд, одна из самых интересных областей в IT: задачи здесь всегда сложные, ведь, в отличие от stateless-сервисов, у тебя всегда есть много данных, с которыми надо обращаться максимально аккуратно, их нельзя потерять или испортить.”
Рассказ от Дмитрия про интересный инцидент с Почтой при мажорном обновлении PostgreSQL.
Андрей Бородин, руководитель open source разработки
Кандидат технических наук, доцент Уральского федерального университета, контрибьютер PostgreSQL, широкоизвестный в узких кругах. Занимается исследованиями в области индексирования данных с 2008 года. Ведёт курс «Алгоритмы и структуры данных» в ШАД Яндекса.
“Экстремальная сложность решаемых задач и полезность почти всем разработчикам в мире — вот что делает нашу работу перспективной.”
Доклад от Андрея про наш вклад в open source.
Александр Бурмак, руководитель разработки Managed Clickhouse
Евгений Ефимкин, руководитель разработки Managed PostgreSQL
Виктор Ягудаев, руководитель разработки команды Core для сервисов управляемых баз данных
Наша команда разрабатывает и поддерживает слой control plane для управляемых баз данных. От стабильной работы наших сервисов зависят базы данных как клиентов Yandex Cloud, так и всех сервисов Яндекса. Мы решаем сложные инженерные задачи, которых хватит на всех.
Владимир Гошев, руководитель подразделения "Нереляционные СУБД"
Чем отличается работа у нас
- Высокая нагрузка и требование к SLAБаза данных лежит в основе практически любого сервиса. Она должна быть надёжной, безопасной, справляться с высокой нагрузкой и отвечать 24/7. Наши продукты обеспечивают доступность и безопасность данных не только в штатном режиме, но и при обновлении, миграции или изменении кластера.
- Уникальная экспертизаСуществует не так много мест, где есть возможность работать с сервисом на миллионы PRS и десятки тысяч хостов. У нас именно такое место. На нашем масштабе постоянно всплывают очень редкие баги, сбои, повреждения данных и другие интересные кейсы, с которыми вероятность столкнуться низкая. Но не у нас, потому что если что-то может случиться, то у нас скорее всего это случится. Raft, Paxos, Jepsen и другие алгоритмы, фреймворки и понятия, связанные с кворумом и отказоустойчивостью, для разработчика в нашей команде — повседневное дело.
- Инженерная культура и сильная командаПлатформа данных — одно из самых технологичных, востребованных и интересных направлений. Мы не только пишем код, но и занимаемся эксплуатацией большого продакшена. У нас низкая текучка, многие ребята работают ещё со времён Яндекс.Почты, когда Облака ещё не было. У нас сильная команда, мы активно контрибьютим в опенсорс и видимы в сообществе.