Проект реализован на основе технологий компьютерного зрения и нейронных сетей. В основе лежит сверточная нейросетевая модель, которая обнаруживает в кадре разметку, знаки, светофоры, пешеходные переходы и транспортные средства. Затем алгоритм отслеживает их движение и плотность потока, после чего языковая модель преобразует полученные данные в читаемый текст.
В отличие от простых детекторов, которые лишь перечисляют объекты, программа формирует именно описание всей сцены. Например, система может сообщить, что за 30 секунд по дороге проехало 12 легковых и два грузовых автомобиля, пешеходный переход не использовался, светофор работал штатно, а загруженность дорожного трафика средняя.
Такой формат удобен для автоматической обработки больших массивов данных: текст легко индексировать, искать по ключевым словам и анализировать алгоритмами без необходимости просматривать часы видео. Существующие аналоги либо требуют значительных вычислительных ресурсов, либо не адаптированы под российские условия, либо выдают лишь сырой перечень объектов без анализа общей ситуации.
Инструмент может быть востребован дорожными службами, аналитическими центрами и страховыми компаниями. В перспективе систему планируется адаптировать для мониторинга загруженности дорог в реальном времени и интегрировать с существующими сетями видеонаблюдения.
