Дата-инженер в Яндекс Банк
Ищем экспертов в больших данных для разработки DWH
01
Что нужно делать
- Создавать безопасную и удобную аналитическую платформу
- Продумывать отказоустойчивость системы: хранилище должно пережить всё, включая падение дата-центра и вторжение инопланетян
- Вместе с лидом команды проектировать архитектуру хранилища
- Работать с базами данных SQL и NoSQL, масштабировать и шардировать их
- Обрабатывать массивы данных с учётом eventual consistency и других аспектов ACID
- Проектировать модели данных
02
Ждём, что вы
- Писали на Python
- Работали с инструментами Hadoop
- Знакомы с брокерами сообщений (Kafka, RabbitMQ или что-то подобное)
- А если ещё владеете Spark или Spark SQL, Greenplum и можете разрабатывать DAG для Airflow — цены вам нет
03
От нас
- Классная команда, у которой есть чему поучиться
- Большие амбиции и простор для их реализации
- Работа над сервисами с миллионной аудиторией
- Зарплата на уровне рынка и выше
- Премии каждые полгода за эффективную работу
- Обед за наш счёт, массаж и тренажёрка, если вы в офисе
- Расширенный ДМС: оплата 80% стоимости ДМС для супругов и детей
- Возможность работать откуда угодно
Задачка!
Не будем мучить вас сложными тестовыми заданиями и составлением резюме. Одна простая задачка: хотим убедиться, что вы — действительно дата-инженер.
Сколько партиций будет на выходе у DataFrame в результате выполнения left.join(broadcast(right), leftCol != rightCol, inner)? (Синтаксис pyspark)
→
Что-то пошло не так. Попробуйте ещё раз или напишите нам, если уверены, что всё сделали правильно
Еще вакансии