🎯 ТВОЯ ЗАДАЧА
Проектировать и поддерживать высоконагруженные системы для распределенного сбора, обработки и структуризации крупномасштабных датасэтов. Реальная ответственность за результат.
🧠 КОГО ИЩЕМ
3+ года коммерческой разработки. Python/Go, распределённые системы, высокие нагрузки и Kubernetes. Миддл/сеньор, который не боится бросить вызов корпорациям и топ AI-лабам
📌 МЫ ПРЕДЛАГАЕМ
- Конкурентная зарплата в USD + опционы
- Очень много compute
- Cильнейшая ML-команда в СНГ
- Задачи, которые решают в лучших лабах мира
Подробнее: задачи · требования · будет плюсом · условия · о компании
О КОМПАНИИ
Higgsfield AI - самая быстрорастущая AI-компания в истории: $1B годовой выручки (ARR), 35M+ пользователей по всему миру за 18 месяцев после запуска.
Наша цель не просто быть успешными, а расти быстрее всех, первыми создавать и перенимать лучшие решения и плэйбуки.
В нашей команде удобно только победителям и самостоятельным специалистам. Если ты хочешь получать много ответственности и доводить задачу от начала до конца - тебе к нам.
📍 Алматы · Работа из офиса · Релокация(если нужно)
3+ года коммерческой разработки. Удалённый формат не предусмотрен.
О КОМАНДЕ
Команда Data Engineering в Higgsfield AI занимается сбором, обработкой и структуризацией крупномасштабных датасетов для создания новых уникальных для мира продуктов. Мы работаем с контентом из множества внешних источников и обрабатываем сотни миллионов медиаобъектов и петабайты видео, изображений и аудио, тесно взаимодействуя с командами Infrastructure и ML.
ЗАДАЧИ
- Лидить проекты по сбору и обработке данных: интеграция источников, трансформация медиа, пайплайны данных и крупномасштабная распределённая обработка.
- Проектировать и поддерживать высоконагруженные системы загрузки медиа и метаданных с надёжным планированием, приоритизацией и отказоустойчивостью при работе с множеством независимых внешних источников.
- Разрабатывать гибкие интеграции с источниками, извлекать структурированные метаданные из разнородного и слабоструктурированного контента, а также быстро обнаруживать изменения форматов на стороне источников и восстанавливаться после них.
- Расширять покрытие источников: подключать новые и оценивать их объём, качество и актуальность.
- Деплоить распределённые системы на скейле для обработки петабайтов данных.
- Проектировать и создавать production-сервисы на Python для конкурентной высоконагруженной обработки с разделением CPU-bound, I/O-bound и GPU-bound этапов пайплайна.
- Строить отказоустойчивые пайплайны с ретраями и backoff, чекпоинтами и корректным восстановлением после сбоев или деградации отдельных этапов.
- Обеспечивать возобновляемость и идемпотентность пайплайнов за счёт чекпоинтов, дедупликации по содержимому и восстановления без полной переобработки.