Задачи, которые предстоит решать:
- Активный сбор данных из различных источников (датчики, камеры, сотовые операторы, государственные и коммерческие базы данных), включая взаимодействия с профильными органами и компаниями.
- Организация и обслуживание баз данных, обеспечение качества баз данных.
- Сотрудничество с экспертами по транспортным системам для уточнения требований и доступных данных.
- Построение ETL/ELT-пайплайнов для сбора, обработки и загрузки данных из различных источников.
- Организация хранилища данных для структурированного и неструктурированного хранения.
- Оптимизация процессов обработки данных для работы в реальном времени (например, мониторинг загруженности дорог).
- Настройка API-коннекторов к городским системам (например, данные общественного транспорта, дорожных датчиков).
- Решение проблем – быстрое реагирование на сбои в данных.
- Анализ входных/выходных данных системы, работа с вероятностными моделями (анализ транспортных потоков).
- Разработка и настройка математических моделей машинного обучения.
- Решения/предложения по оптимизации транспорта на основе полученных данных
Мы ждем от вас:
- Наличие опыта 2-3 года в роли Data Engineer или аналогичной должности.
- Опыт разработки и оптимизации алгоритмов.
- Умение работать с реляционными SQL-базами данных (например, PostgreSQL, MySQL), а также знание SQL (оптимизация запросов, оконные функции, работа с большими таблицами).
- Опыт работы с IoT-устройствами (камеры, дорожные сенсоры) или желание разобраться
- Опыт работы с ETL-процессами (Airflow, Luigi, Dagster).
- Владение базовыми инструментами визуализации данных.
- Навыки работы с API.
Soft Skills:
- Коммуникация – взаимодействие с командой проекта.
- Решение проблем – быстрое реагирование на сбои в данных.
Мы предлагаем:
- Работу в команде экспертов
- ДМС согласно политике компании
- Скидки от компаний партнеров, скидки на топливо
- Достойный уровень оплаты труда
- Формат работы: офис в Екатеринбурге, Октябрьская площадь, д. 7, возможен гибридный график после прохождения испыт. срока