ТЕСТ: Тестирование детекторов движения

Так уж сложилось, что тестирование детекторов движения у специалистов нашей тестовой лаборатории заняло значительно больше времени, чем кто-либо мог предположить. Результаты тестирования детекторов движения в цифровых системах видеонаблюдения были опубликованы в предыдущем номере нашего журнала и, как уже упоминалось, являются промежуточными. Для того чтобы обсудить результаты тестирования, а также общую методику дальнейшего тестирования детекторов движения наша редакция собрала очередной "круглый стол". По удачному стечению обстоятельств эта дискуссия состоялась спустя год после первого "круглого стола". А годовщина этой рубрики показывает, что она не только имеет право на существование, но и становится все более и более популярной. Год назад в обсуждении принимали участие только три представителя от компаний-разработчиков цифровых систем видеонаблюдения (DSSL, ITV, Vocord). Теперь состав участников расширен. Представляем их.

Алексей Кадейшвили (компания Vocord Telecom)
Антон Зайцев (НПК СОЮЗСПЕЦАВТОМАТИКА)
Игорь Олейник (компания DSSL)
Михаил Руцков (компания MegaPixel)
Мурат Алтуев (компания ITV)

          "CCTV Фокус": От имени всей нашей редакции позвольте поприветствовать всех участников "круглого стола" и поблагодарить за то, что вы нашли время, несмотря на летнюю пору отпусков, принять участие в нашей дискуссии.
          Сейчас в ходе нашей дискуссии нам необходимо акцентировать внимание на двух темах. Во-первых, результаты тестирования детекторов движения в цифровых системах видеонаблюдения вызвали повышенный интерес и нуждаются в комментариях со стороны разработчиков, а также, возможно в некоторых дополнениях. Во-вторых, поскольку эти результаты являются промежуточными, то необходимо выработать основы методики завершающего этапа тестирования детекторов движения, то есть тестирования с использованием записей реальных сцен, а не синтезированных клипов, как это было на начальном этапе.

           Предлагаю начать с обсуждения результатов тестирования. Какие будут комментарии, пожелания, дополнения?

           Антон Зайцев (SSA): Со своей стороны мне хотелось бы высказать несколько пожеланий. На мой взгляд, оптимально было бы иметь сводную таблицу по результатам тестирования, а ее нет. Также не очень удобно для оценки то, что результаты тестирования представлены в таблице не совсем понятными числами, а иногда - плюсами. Ну и хотелось бы иметь выводы по результатам тестирования каждой системы видеонаблюдения.

           "CCTV Фокус": Как я понимаю, все пожелания относятся лишь к форме подачи материала. В том, что касается сводной таблицы я, вероятно, с вами соглашусь. Впрочем, это всего лишь незначительное неудобство, и связано оно всего лишь с необходимостью перелистывания страниц. Если печатать одну сводную таблицу с результатами тестирования в конце статьи, то после прочтения страницы о тестировании какой-либо системы читателю также придется перелистывать в конец статьи и искать там результаты. Можно было бы печатать сводную таблицу в конце статьи и отдельные таблицы после каждого тестирования, но это уже повторение материалов.
            Те числа, которые указаны в таблице - это количество записанных кадров из фрагмента тестового клипа длительностью в 200 кадров. Это, кстати упомянуто во вводной части, но, возможно, следовало бы сделать такой же комментарий к каждой таблице.
            В том, что касается указания в таблице плюсов или числа записанных кадров, то это связано исключительно с особенностями записи по детектору движения в различных цифровых системах видеонаблюдения, и здесь уже ничего не сделать, так как неотключаемые буферы записи не позволяют нам подсчитать точное количество кадров, записанных по детектору движения. В этом случае мы ставим в таблице плюс и даем оценку глубины буферов предзаписи и дозаписи. Следует отметить, что в большинстве случаев буферы записи отключить не удавалось.
             И, наконец, в том, что касается выводов. Наша редакция принципиально отказалась от публикации каких-либо выводов в данном тестировании по следующим причинам. Во-первых, все выводы в той или иной степени будут субъективны, и мы даем только небольшие комментарии, всегда указывая то, что это именно наша оценка. Во-вторых, таблицы с результатами говорят сами за себя, и наши читатели могут самостоятельно их интерпретировать.

            Игорь Олейник (DSSL): В связи с проведенным тестированием мне бы хотелось отметить то, что данное мероприятие еще раз наглядно показало, что не существует идеальных детекторов движения, поэтому необходима предзапись и дозапись. Совершенно очевидно, что схема с записью кадров, где обнаружено движение себя не оправдывает. Получается, что все системы видеонаблюдения, которые записывают только по детектору движения, будут пропускать кадры, где есть движение. Так что приходится сделать следующий вывод - вести запись только по детектору движения и без предзаписи нельзя. Полученные результаты тестирования по нашей продукции нам, честно говоря, ничего нового не сказали. Само же тестирование лишний раз убедительно показало, что детекторы движения надо совершенствовать. У нас в компании уже достаточно давно ведется работа в этом направлении, и в ближайшее время мы надеемся порадовать ваших читателей результатами этой работы.

            Антон Зайцев (SSA): Еще хотелось бы добавить, что мы поддерживаем только что высказанную точку зрения и тоже придерживаемся идеологии, которая подразумевает дозапись после срабатывания  детектора движения. В целом же примененная методика тестирования детекторов движения нас вполне устраивает.

           Алексей Кадейшвили (Vocord): Еще в рамках прошлого "круглого стола" я высказывался по поводу того, что предложенные для тестирования детекторов движения синтезированные клипы дают нам несколько упрощенную картину. Но, поскольку в ходе предыдущей дискуссии мы договорились о том, что у нас будет продолжение тестирования с записями реальных сцен, то мы в целом согласны с проведенным тестированием.
           У меня есть единственный вопрос. Поскольку все участники тестирования получили возможность ознакомиться с тестовыми клипами заранее мы воспользовались такой возможностью и получили несколько отличные от ваших результаты. В частности, наша система позволяла записывать по детектору движения даже при отношении сигнал шум 2:1. Понятно, что в этом случае записывались далеко не все кадры, но тем не менее.

          "CCTV Фокус": Суть вашего вопроса ясна, но чтобы ответить на него необходимо немного углубиться в методику нашего тестирования. Дело в том, что, на самом деле, условия нашего тестирования отличались от вашего сразу по нескольким параметрам. Во-первых, в качестве источника видеосигнала мы использовали обычную бытовую видеокамеру, а не ТВ-выход видеокарты, как это сделали при тестировании в компании Vocord Telecom. Во-вторых, мы предварительно проводили калибровку яркости и контрастности для того, чтобы все тестируемые системы оказались в одинаковых условиях. Тем более что шумовую компоненту в нашем тестовом клипе можно практически полностью "срезать" поэкспериментировав с настройками яркости и контрастности. В-третьих, а, возможно, это самое главное, поскольку в системе видеонаблюдения Phobos используются платы видеоввода с аппаратной компрессией, мы постарались исключить влияние этого фактора, выбрав минимально возможный уровень компрессии, так как за счет высокого уровня компрессии можно не только уменьшить амплитуду шума, но и "потерять" тестовый объект с минимальными размерами 4х4 пиксела. А это крайне нежелательно, так как при тестировании мы делаем основной акцент на определении пространственной чувствительности детектора движения в тестируемой системе. Еще один момент, который надо учитывать - это конфигурация компьютера на котором проводится тестирование, вплоть до блока питания, установленного в системном блоке.

            Алексей Кадейшвили (Vocord): Есть еще одно замечание по поводу тестов. На наш взгляд было бы очень полезно также оценить производительность детекторов движения, то есть, определить, сколько каналов способны обрабатывать одновременно детекторы движения. Сделать это можно следующим образом. Видеосигнал мы подаем только на 1 канал, но включаем детекторы движения еще по 4 каналам.

            Антон Зайцев (SSA): Такой подход может оказаться некорректным, так как все зависит от алгоритма.

            Игорь Олейник (компания DSSL): Кроме того, некоторые системы используют аппаратное сжатие, другие - программное. Каким образом их сравнивать? Очевидно, что в выигрыше окажутся системы с аппаратным сжатием, так как ресурсы центрального процессора не тратятся на сжатие. Как здесь измерить, сколько детекторов движения может работать одновременно?

            Михаил Руцков (MegaPixel): Здесь складывается такая ситуация, которая сложнее, чем она кажется на первый взгляд. Либо нужно создавать какие-то аналитические инструменты, то есть каждый напишет программу, которая будет отслеживать вход в точку начала алгоритма детектора движения и выход и подсчитывать затраченное время. Но это слишком сложное решение, и ни от кого его требовать нельзя.

            Алексей Кадейшвили (Vocord): Мне кажется, что это как раз никому и не нужно. Пользователю требуются очень простые вещи. Ему нужно включить детекторы движения на всех каналах и посмотреть, что из этого получится. Потому что типичная проблема с детекторами движения заключается в том, что на 1 канале он все прекрасно отрабатывает, на 2 каналах детекторы работают кое-как, а одновременно с 3 каналами перестают работать вообще. Производительность - это же важный параметр детектора движения.

             Антон Зайцев (SSA): Можно взять компьютер послабее и на нем уже оценивать работу детектора движения даже с 1 каналом.

            "CCTV Фокус": Сейчас мы уже переходим к обсуждению следующего этапа тестирования, а хотелось бы, чтобы все успели высказать свои замечания и комментарии относительно проведенного тестирования.

             Алексей Кадейшвили (Vocord): По проведенным тестам хотелось бы более внятного комментария. А сводную таблицу не имеет большого смысла делать, потому что такое собрать в одну таблицу - это целая эпопея.

            Михаил Руцков (MegaPixel): От себя добавлю, что имело бы смысл просить разработчиков цифровых систем видеонаблюдения, чтобы они давали возможность отключать все буферы дозаписи и предзаписи.

            Алексей Кадейшвили (Vocord): Это маловероятно, так как пришлось бы заново компилировать код, а ради тестирования этим никто заниматься не будет.

            Михаил Руцков (MegaPixel): Тогда это объясняется только одним. Если разработчик задает какой-то буфер, но ограничивает его временем не менее секунды, то можно предположить, что разработчик боится, что детектор движения что-нибудь пропустит.

            Игорь Олейник (DSSL): В данном случае не надо даже делать предположений. Действительно, я этого опасаюсь, поэтому и существует буфер записи.

           Михаил Руцков (MegaPixel): Поскольку существует два основных назначения детектора движения, а их мы обсуждали еще в рамках прошлого "круглого стола": выработка тревог для привлечения внимания оператора и сокращение размера архива за счет записи исключительно по детектору движения. Я считаю, что обязательно надо сделать и такой тестовый клип, в котором предварительно посекундно будет размечено, какие важные события происходили, то есть важные для архивирования вещи. Потом можно будет посмотреть размер архива, то есть количество записанных кадров, сколько было записано лишних кадров, и не были ли пропущены кадры с движением. Но мы сейчас опять переходим к обсуждению второго этапа тестирования.
            Комментируя результаты тестирования, отмечу следующее. При тестировании использовался наш алгоритм шумоподавления со значением 1, который, кроме шума, мог отсеять и часть кадров. Но без этого алгоритма можно было обойтись, и результаты тестирования были бы еще лучше, если бы не одна ошибка в самом алгоритме нашего программного продукта. Впрочем, ошибка уже исправлена. Но самое важное - даже не в этом.
            Особое внимание следует обратить на последнюю строчку (отношение сигнал/шум 2:1) с результатами тестирования нашей системы. Это малое число кадров, записанное по детектору движения, связано в первую очередь с шумоподавлением. Теперь если внимательно ознакомиться с результатами именно в последней строчке, то выясняется очень любопытная странность. Для самого крупного объекта размером 64х64 пиксела записано всего 33 кадра, а для менее крупного объекта размером 48х48 пикселов - уже 38 кадров, далее в сторону уменьшения объектов записывается мало кадров, но при размере объекта 20х20, 16х16 и 12х12 пикселов стабильно записывается более 50 кадров. Возникает вопрос: "С чем это связано?" Дело в том, что у нас используются полосовые фильтры, которые настроены на определенный размер объектов. А в нашей системе MegaSense могут одновременно работать три детектора движения (точный детектор, средний и грубый), каждый из которых рассчитан на свою полосу частот. Поскольку в нашем тестовом клипе перемещаются не только самые мелкие объекты, но и достаточно крупные, то для получения более корректных результатов, кроме точного алгоритма детектора движения, нужно было включить еще средний и грубый алгоритмы.

             "CCTV Фокус": Точку зрения компании MegaPixel мы обязательно учтем при дальнейшем тестировании детекторов движения, а сейчас хотелось бы выслушать и точку зрения компании ITV, а также задать один вопрос, на который в процессе тестирования мы так и не сумели получить ответ. Чем же обусловлено наличие двух детекторов движения, которые мы условно разделили на "старый" и "новый"?

              Мурат Алтуев (ITV): На самом деле это вполне корректное наименование, так как наш старый детектор движения был разработан очень давно. Примерно 8 лет назад. Новый детектор движения разработан относительно недавно. Их сосуществование объясняется просто. Замена какой-либо технологии в устоявшейся системе на другую или радикальное усовершенствование всегда несет в себе определенный риск. Особенно в случае с детекторами движения, когда очень тяжело доказать, что новая технология имеет преимущества перед старой. Тем более к старому детектору движения все наши клиенты привыкли и знают все его особенности, а новый детектор движения им придется фактически изучать заново. Вдруг окажется, что на новом детекторе движения будет больше ложных срабатываний, чем на старом при той же ситуации в кадре, или, наоборот, новый детектор движения окажется менее чувствительным и будет пропускать какие-то важные кадры.
             Для нас это тестирование оказалось еще очень удачным в том смысле, что оно позволило сравнить старый и новый детекторы движения. А по рекомендации редакции журнала "CCTV Фокус" мы решим, включать или не включать новый детектор движения в наше программное обеспечение.
             Что касается других комментариев и замечаний по поводу первого этапа тестирования, то каких-либо особых, кроме тех, которые были высказаны моими коллегами, у меня не имеется.

            "CCTV Фокус": Все мы согласились, что тесты были упрощенными и позволили нам только приблизительно определить пространственную чувствительность детекторов движения. Но теперь нам нужно уже переходить в реальный мир. Вопрос в том, как это сделать. Очевидно, что нам нужно записывать новые тестовые клипы, в которых уже не будет синтезированных объектов, а только реальные сцены. Сейчас предлагаю перейти ко второй части, где каждый сможет высказаться по поводу того, какие реальные сцены нам нужны, и как это сделать.

             Антон Зайцев (SSA): В первую очередь надо определиться со списком параметров, по которым мы сравниваем детекторы движения и со списком ситуаций, с которыми сталкиваются потребители. А именно эти ситуации и должны быть записаны на наших тестовых клипах.

             Игорь Олейник (DSSL): Со своей стороны могу предложить прекрасную и очень иллюстративную ситуацию. Имеется дешевая телекамера "день-ночь" (по цене около $100), 380 ТВЛ в цвете. Направлена телекамера во двор, где стоят машины, ходят люди. В дневное время суток все прекрасно видно. Ночью все значительно сложнее: мигающие и периодически отключающиеся фонари, освещение очень неравномерное, изображение от телекамеры получается сильно зашумленным. Я думаю, эта ситуация прекрасно впишется в библиотеку тестовых клипов.

            Михаил Руцков (MegaPixel): Это у нас получится клип скорее общего назначения.

            Антон Зайцев (SSA): Необходимо, чтобы в списке клипов фигурировали записи в офисе, на улице, на улице в сложных условиях, как описывал Игорь Олейник.

           Михаил Руцков (MegaPixel): Поскольку мы изначально уже решили двигаться от простого к сложному, то и нужно продолжать эту тенденцию. Сейчас каждый может предложить какую-то ситуацию, с которой он сталкивался, и так мы можем сформировать библиотеку из 100 и более клипов. Вопрос только в том, сможем ли мы воспользоваться для тестирования столь обширной библиотекой.
            Мое предложение следующее. Нам потребуется все же один синтетический клип. Его идея была предложена еще Н.Е. Уваровым (компания "Безопасность"). В качестве фона будет использоваться некоторая реальная сцена, допустим такая, о которой говорил Игорь Олейник. В этой сцене будут шумы различной природы. Самое главное, чтобы в этой сцене не было никакого движения. Таким образом, мы получаем сложную компоненту фона. Если по этому фону перемещается объект, то он излучает все время в отраженном свете. То есть его яркость примерно постоянна и не должна суммироваться с фоном. Можно считать, что источник освещения у нас стационарный. Источником может быть луна, фонарь - это неважно. Главное, что движущийся объект видно. Этот объект мы снова можем добавить в тестовый клип.

          "CCTV Фокус": Общая идея этого тестового клипа ясна. Осталось определиться с тем, каким образом мы будем делать тестовые клипы и список параметров, по которым сравнивать детекторы движения.

            Антон Зайцев (SSA): И хотелось бы определиться с конечной целью такого тестирования.

           Михаил Руцков (MegaPixel): Конечная цель - определения пространственной и контрастной чувствительности детекторов движения. Соответственно в списке параметров у нас будут фигурировать размер объекта и его контраст. Это два основные параметра. Детектор движения должен определять движение не только мелких объектов, но и слабокотрастных.

             Антон Зайцев (SSA): Но каким должен быть результат тестирования? Например, движение зафиксировано или не зафиксировано?

            Михаил Руцков (MegaPixel): Естественно. На сложном фоне предложенного тестового клипа объект с постоянной яркостью (мы уже говорили, что он светит отраженным светом) попадает в разные участки. Например, достаточно светлый объект в темных участках фона будет более контрастным, чем в светлых участках. По траектории движения объекта можно построить гистограмму распределения контраста объекта и фона. При этом на фоне будут совершенно реальные и естественные шумы, что выгодно отличает предложенный клип, от тех синтетических клипов, которые использовались на предыдущем этапе тестирования.
            Второй параметр, пространственная чувствительность детектора движения тоже очень важен, так как от него зависит эффективность системы видеонаблюдения. Зачастую мы ведем наблюдение за большой территорией, периметром и т.д. В данном случае речь идет о наблюдении за улицей, так как при наблюдении в помещении серьезных проблем не возникает. Есть определенные тонкости, но мы на них сейчас не будем заострять внимание.

          "CCTV Фокус": С пространственной чувствительностью все ясно и достаточно просто, так как мы сами задаем размер объекта. Сложнее будет измерить контрастную чувствительность детектора движения.

            Михаил Руцков (MegaPixel): Когда наш синтезированный объект будет перемещаться по этому сложному фону, мы заранее определяем его траекторию. После этого в каждой точке можно будет измерить контраст объекта и фона. Что, конечно, трудоемко, но от этого никуда не деться.

           Алексей Кадейшвили (Vocord): Мне кажется, что мы излишне усложняем задачу. На мой взгляд, более правильным будет следующий подход. Делаем определенное количество тестовых клипов. Один клип для проверки на малоконтрастные объекты, другой - на сильные шумы, третий - для проверки на работу в условиях фоновой засветки, еще один с различными помехами (снег, дождь) и т.д. И смотрим, как на этих клипах работают тестируемые детекторы движения. Возникает вопрос. Во всех ли системах видеонаблюдения есть визуальное подтверждение работы детектора движения?

          "CCTV Фокус": К сожалению, примерно в половине случаев эта возможность отсутствует или работает не так как нам нужно.

            Алексей Кадейшвили (Vocord): Если бы эта возможность присутствовала во всех системах, то ситуация бы значительно упростилась. Достаточно было бы посмотреть на работу детектора движения и прокомментировать. В этом случае даже не обязательно все записывать в архив. Другой вопрос. Откуда мы будем брать эти тестовые клипы? Как мы будем их записывать?

           "CCTV Фокус": Тестовые клипы можно записывать и обычной бытовой видеокамерой стандарта DV, как мы это уже делали на первом этапе тестирования. Некоторую погрешность, конечно, будет вносить компрессия.

           Алексей Кадейшвили (Vocord): Знаете, чем плоха такая камера для нашего тестирования? Она дает слишком хорошее изображение, по сравнению с телекамерами, которые устанавливают на объектах. У бытовой видеокамеры существенно шире динамический диапазон. Она просто лучше любой телекамеры, используемой в охранном телевидении. Что касается компрессии, то погрешность будет незначительна.
            Кстати, когда у нас разрабатывался детектор движения, то мы записывали целый набор ситуаций с помощью нашей системы Phobos. А затем уже по получившейся библиотеке клипов мы совершенствовали детектор движения.

           "CCTV Фокус": А почему бы нам не использовать часть записей из вашей библиотеки?

           Алексей Кадейшвили (Vocord): Для вашего тестирования они не подойдут, так как уровень сжатия будет значительно выше, чем в формате DV.

           Мурат Алтуев (ITV): Действительно, такие клипы не подойдут для тестирования именно из-за вейвлет-компрессии, которая отрезает высокочастотную компоненту, что в чем-то упрощает задачу для детектора движения.

           Михаил Руцков (MegaPixel): Кстати, проблема с видеокамерой решается достаточно просто. Можно взять обычную телекамеру, используемую в охранном телевидении, и записывать с нее в формате DV при пом ощи любой платы нелинейного монтажа, например, от Pinnacle.

            "CCTV Фокус": Вероятно, это будет оптимальным решением. С форматом записи и средствами записи мы, таким образом,  определились.

            Алексей Кадейшвили (Vocord): Возникает еще один вопрос. Поскольку у нас будут различные сюжеты в тестовых клипах, то каким образом мы будем подстраивать детектор движения? Нужно ли использовать одинаковую конфигурацию детектора движения для всех тестовых клипов или производить индивидуальную подстройку под каждый тестовый клип?

             Антон Зайцев (SSA): Необходимо дать возможность подстроиться под ситуацию.

            Алексей Кадейшвили (Vocord): Я предлагаю сделать два варианта теста. Один вариант будет предусматривать тестирование с одинаковыми настройками детектора движения. А второй вариант - тестирование с индивидуальными настройками для каждого клипа.

             Антон Зайцев (SSA): Тем не менее, в реальных условиях настройку детектора движения проводят по той сцене, которая есть.

            Алексей Кадейшвили (Vocord): Если мы хотим, чтобы наше тестирование представляло реальную практическую ценность, то не следует ограничивать детектор движения только одной конфигурацией для всех тестовых клипов. В некоторых системах предусмотрена автоматическая смена настроек по расписанию для работы в разное время суток.

            Михаил Руцков (MegaPixel): Мне кажется, что два варианта тестирования - это уже избыточная информация. В реальных условиях для каждой телекамеры делаются индивидуальные настройки, так как приходится учитывать и размер объектов, которые могут появиться в поле зрения телекамеры. Делается предположение и об освещенности в определенное время суток.

            Алексей Кадейшвили (Vocord): Два варианта тестирования необходимы, так как некоторые изменения мы можем предусмотреть (день заканчивается ночью), а некоторые - нет (изменения в освещении из-за облачности).

            Михаил Руцков (MegaPixel): Все же для каждого тестового клипа необходимо выбирать индивидуальные настройки детектора движения. Поскольку каждый тестовый клип должен включать в себя серию фрагментов с разными по размерам объектами. Например, меняется размер движущегося объекта. Для каждого фрагмента одного тестового клипа настройки детектора движения менять нельзя. Главное то, что объект в одном тестовом клипе может иметь разные размеры, и настройки нельзя менять, после того как мы отстроили детектор движения от ложных срабатываний. Основной задачей является обнаружение самых малых объектов.

           "CCTV Фокус": Фактически вы предлагаете методику, аналогичную той, которую мы использовали на начальном этапе тестирования.

           Михаил Руцков (MegaPixel): Совершенно верно. А поскольку у нас достаточно сложный фон, то теперь нет необходимости изменять яркость объекта, что сильно сократит длительность тестового клипа. И повторюсь, что предварительно придется просчитать контраст объекта по всей его траектории движения.

           "CCTV Фокус": Так как не все детекторы движения имеют средства визуализации своей работы, то мы не всегда сможем определить, в каком именно месте, то есть при каком контрасте, сработал детектор движения. Кроме того, неотключаемые буферы записи тоже не позволят это сделать с необходимой точностью.

           Михаил Руцков (MegaPixel): Это все так, но я пока сейчас говорю о том, как было бы в идеальном случае при возможности отключить буферы записи, когда можно записывать только те кадры, на которых сработал детектор движения.
          Теперь второй вопрос, связанный с тем, что освещенность тоже может меняться на объекте. Здесь потребуется сделать другой тестовый клип, в котором уже будут перемещаться реальные объекты разной яркости. В качестве таких объектов можно использовать разноцветные шары одинакового размера. Если снимать их черно-белой камерой, то яркость шаров будет разная, то есть то, что нам нужно. Этот шар у нас будет перемещаться на каком-то однородном фоне, например, на фоне стены. Затем снимаем камерой все эти шары по очереди, потом отодвигаем камеру подальше и снова снимаем эти же шары, размер которых в кадре соответственно уменьшается. Таким образом, у нас в тестовом клипе изменяется не только яркость объектов, но и их размер.    При этом дополнительной сложностью для детектора движения будет наличие люминесцентного освещения.

            Алексей Кадейшвили (Vocord): Если удастся сделать и такой тестовый клип, то это будет замечательно. Только не следует забывать и про реальную жизнь. Нужны тестовые клипы, в которых будут такие помехи, как дождь, снег…

           Михаил Руцков (MegaPixel): Это, конечно, все тоже необходимо. Но сначала нам нужно проверить детекторы движения на устойчивость к шумам. А дождь, снег, птицы и прочие помехи мы рассмотрим позже.
          Теперь хотелось бы поговорить о тесте на обнаружение медленных движений. А эта проблема актуальна для многих детекторов движения. Приходилось сталкиваться и с такими детекторами, которые совершенно не реагируют на медленные движения. В этом случае можно медленно и плавно зайти в кадр и также из него выйти, при этом никакой тревоги не будет.
У нас в распоряжении уже есть небольшой электромотор с редуктором. Этот мотор может делать за минуту 1 полный оборот. Скорость мотора можно регулировать.
            К мотору присоединяем шарик, например, один из тех, о которых мы только что говорили. Здесь нам уже контраст неважен. Пусть это будет даже контрастный объект, так как этот тест предназначен исключительно для проверки способности детекторов фиксировать медленное движение. Записываем несколько фрагментов с различной скоростью движения и получаем еще один тестовый клип.

             Антон Зайцев (SSA): Я думаю, такой тест можно сделать и полностью синтетическим. Несложно нарисовать несколько объектов, которые будут двигаться с разной скоростью.

            "CCTV Фокус": Сложность как раз заключается в том, что на "рисованных" синтетических клипах очень тяжело имитировать равномерность перемещения объекта. Для равномерного перемещения минимальная скорость смещения будет составлять 1 пиксел за кадр, что уже достаточно много. Проще снять такой клип с реальными объектами.
            Сейчас мы вкратце обрисовали три тестовых клипа: один - с синтезированными объектами на сложном фоне, второй - с реальными объектами разного размера и контраста при люминесцентном освещении, третий - с объектами, движущимися с разной скоростью. Какие будут еще предложения?

              Алексей Кадейшвили (Vocord): Все же, возвращаясь к ранее сказанному, хотелось бы увидеть в списке тестовых клипов и записи с такими помехами как дождь и снег. Вопрос только в том, как сделать эти записи. Сложность заключается в том, что результат работы детектора движения по таким клипам подлежит только экспертной оценке, кроме того, потребуется развернутый комментарий.

             Михаил Руцков (MegaPixel): А другого ничего и не остается, так как у многих систем видеонаблюдения неотключаемый буфер записи и отсутствует визуализация работы детектора движения. В таком случае на этих тестовых клипах вообще невозможно понять, сработал ли детектор движения на нужный объект или на помеху.

            "CCTV Фокус": Впрочем, нам ничего не мешает включить на факультативной основе эти клипы с дождем и снегом в наше тестирование. С помощью этих клипов мы можем протестировать только те системы видеонаблюдения, которые имеют средства визуализации работы детектора движения, те, у которых их нет, просто не будут допущены к этой части тестирования.

             Алексей Кадейшвили (Vocord): Да, это все так. К сожалению, для тестирования по таким клипам необходимо, чтобы детектор движения как-то подсвечивал движущиеся объекты, потому что если запись ведется из буфера, мы действительно не сможем определить, на что сработал детектор движения. Обычный подсчет кадров в архиве нам ничего не даст. Возьмем для примера такую ситуацию: едет автобус, идут люди, падает снег. По детектору движения мы записали сколько-то кадров. Вопрос в том, на что сработал детектор движения. На людей? На автобус? Или на снег?

              Мурат Алтуев (ITV): Да, существует такая сложность, но и ее можно преодолеть. Предлагаю рассмотреть следующую структуру тестового клипа. Сначала идет только снег, больше в кадре нет никакого движения. Эту часть клипа мы используем для того, чтобы отстроить детектор движения от ложных срабатываний на снежинки. Затем идет человек. Здесь мы уже проверяем работу самого детектора движения. У кого-то сработал детектор движения, у кого-то - нет. В той же ситуации после снега может поехать автобус. Здесь уже более крупный объект, и на него сработают практически все детекторы движения.

              Михаил Руцков (MegaPixel): Это уже оценить можно только визуально. Впрочем, экспертные оценки тоже имеют право на существование.

             Алексей Кадейшвили (Vocord): Предлагаю тогда временно отложить тестовые клипы с дождем и снегом, поскольку ничего, кроме экспертной оценки, нам пока в голову не приходит. Остановимся на тех 3 предложенных клипах, где мы можем провести более менее объективные измерения.

             Мурат Алтуев (ITV): На самом деле мы можем получить объективные измерения и на тестовых клипах со снегом. Рассмотрим такую ситуацию. Вдали появляется человек. Его размер в кадре сопоставим с размером снежинок. Далее этот человек приближается к телекамере, его размер в кадре увеличивается. Нам осталось только зафиксировать тот момент, когда детектор движения "увидит" фигуру человека. Можно использовать уже как запись по детектору движения, так и средства визуализации его работы.

             "CCTV Фокус": Что касается средств визуализации работы детектора, то уже на первом этапе тестирования был отмечен как минимум один случай, когда эти средства работали некорректно, то есть учитывали не все настройки детектора движения. Поэтому мы на них особо не ориентировались и учитывали только кадры, записанные по детектору движения.
              Кстати, в системе видеонаблюдения "Интеллект" производства ITV есть достаточно интересный режим оконтуривания, которые обводит контурами движущиеся объекты, но нам так и не удалось выяснить, к какому из двух детекторов движения он относится?

             Мурат Алтуев (ITV): На самом деле этот режим оконтуривания относится исключительно к новому детектору движения, и этим режимом вполне можно пользоваться для проверки результатов тестирования так же, как и записью по детектору движения.

             Антон Зайцев (SSA): В целом, мы уже обсудили все тестовые клипы, которые будут на следующем этапе тестирования, а сейчас уже углубились в обсуждение проблем со "снежным" клипом. Я думаю, со мной согласятся все, что общую методику и набор тестовых клипов мы уже обсудили.

             "CCTV Фокус": Полностью поддерживаю. И, завершая дискуссию, хотелось бы высказать и нашу точку зрения, и, если угодно, пожелания нашей редакции разработчикам детекторов движения. В том, что касается наличия/отсутствия буферов записи, мы разделяем точку зрения Игоря Олейника и считаем, что они необходимы. Единственное пожелание - это возможность их отключения. Так как у пользователя всегда должен быть выбор, а отключение буферов записи позволит экономить архивное пространство. Как убедительно показал уже первый этап тестирования детекторов движения, средства визуализации работы детектора движения (подсвечивание движущихся объектов, оконтуривание и т.д.) должны обязательно присутствовать и не только в штатном режиме видеонаблюдения, но и на этапе настройки детектора движения.

              В заключение позвольте еще раз поблагодарить всех участников "круглого стола" за ценные советы и замечания и выразить надежду, что результаты как первого, так и второго этапа тестирования детекторов движения окажутся полезны не только широкому кругу наших читателей, но также и самим разработчикам детекторов движения.