Беспилотник медленно проходит над картофельными кустами на высоте нескольких метров. Его задача – не снять красивую панораму поля и не оценить будущий урожай в целом, а заметить небольших полосатых насекомых на листьях. В другом месте камера наблюдения фиксирует остановившийся в полосе автомобиль или задымление на охраняемой территории. Ещё одна камера считывает государственный регистрационный знак перед шлагбаумом – и система решает, открыть проезд, запросить проверку или сообщить о нестандартной ситуации.
Эти сценарии объединяет не только камера. В Центре искусственного интеллекта Новосибирского государственного университета создают программно-аппаратные комплексы, в которых искусственный интеллект должен взять на себя рутинное наблюдение за средой, быстро выделить из потока данных событие и передать человеку уже готовую информацию для решения. Три разработки центра – «Колорад‑детектор», комплекс «Детектирование событий в медиа контенте, транспорте и дорожном движении» и «Умный шлагбаум» – рассчитаны на разные сферы, однако используют общий принцип: анализировать данные как можно ближе к месту, где они появляются. Руководит этими проектами директор Института интеллектуальной робототехники Алексей Григорьевич Окунев.
Для сельского хозяйства такой подход может означать переход от обработки всего поля к работе с конкретными очагами вредителя. Центр искусственного интеллекта НГУ совместно с агрокомпанией «Дары Ордынска» проводит полевые испытания «Колорад‑детектора» – системы поиска колорадского жука на картофельных посадках с помощью беспилотника и нейросетей.
Обычно агрономы оценивают состояние поля, обходя его по выборочным маршрутам. Такой осмотр даёт представление о ситуации в целом, но может не показать ранние и локальные очаги распространения вредителя. В результате инсектицидами нередко обрабатывают всю площадь, хотя жук может находиться лишь на ограниченных участках.
«Если точно определить очаги заражения, можно локально обработать их и не заливать химией всё поле», – объяснил инженер Центра искусственного интеллекта НГУ Максим Магиров.
Система ищет не следы повреждения растений, а самих насекомых. Это принципиально: заметная дефолиация означает, что жук уже успел начать питаться, тогда как взрослые особи могут быть видны на верхней части растений раньше. Беспилотник несёт модуль из четырёх камер, установленных веерно: такая конфигурация позволяет за один проход охватывать более широкую полосу посадок. Одноплатный компьютер на борту получает изображения, обрабатывает их алгоритмами машинного зрения и передаёт на наземную станцию не весь поток кадров, а результат – координаты обнаружений.
На ноутбуке агронома открывается веб‑приложение с картой поля и отмеченными точками. Дальше решение остаётся за специалистом: он может проверить участок и определить необходимость обработки. Технология не обещает заменить агронома, но может дать ему более подробную картину и сократить время на поиск проблемных зон.
«Личинки с воздуха увидеть сложнее, поскольку они часто находятся под листьями, и текущая версия алгоритма на них не обучена. Зато взрослых жуков, сидящих на верхней части растений, можно обнаруживать поштучно», – уточняет Максим Магиров.
Сейчас команда подбирает оптимальную высоту полёта – беспилотник работает примерно в трёх-четырёх метрах над кустами, – испытывает аппаратуру в реальных условиях и расширяет набор данных для обучения модели. До сих пор в нём преобладали синтетические изображения колорадского жука. Для надёжной работы алгоритму нужны и реальные кадры: при разном освещении, на разных стадиях роста картофеля, с меняющимся фоном и углом съёмки.
«Полевые испытания нужны не только для настройки высоты полёта, но и для накопления реальных изображений, по которым мы сможем дообучить нейросеть», – отметил разработчик.
Похожая логика – отделять важное от информационного шума – лежит в основе проекта «Детектирование событий в медиа контенте, транспорте и дорожном движении». Но здесь нейросеть смотрит уже не на картофельное поле, а на дорожную ситуацию и охраняемые объекты. Программно-аппаратный комплекс видеоаналитики должен автоматически распознавать типы транспорта, собирать статистику движения, замечать ДТП, пробки и остановки автомобилей в полосе. В перечень возможных событий также входят огонь, дым, лежащий человек, оставленный без присмотра объект, курение и распитие напитков.
Для оператора, который следит за десятками камер, самая сложная задача – не увидеть нужное событие, а не пропустить его в непрерывном видеопотоке. Система может взять на себя первичный анализ: выделить кадр, указать время и тип происшествия, а затем передать сигнал человеку или интегрированной системе безопасности.
«Система должна не просто собирать картинку с камер, а в автоматическом режиме понимать, что происходит на дороге или на охраняемой территории, и быстро передавать сигнал оператору», – объяснил младший научный сотрудник Центра искусственного интеллекта НГУ Виталий Кудинов.
Особенность комплекса заключается в бортовой, или периферийной, обработке. Вместо отправки всего видеопотока на центральный сервер данные анализируются на устройстве рядом с камерой. Для этого разработчики портируют модели на доступные одноплатные компьютеры. В условиях, где связь ограничена или нестабильна – например, на трассах, удалённых объектах или в пригороде, – это помогает снизить нагрузку на сеть и сохранить работоспособность системы.
По данным разработчиков, такой подход позволяет сократить затраты более чем на 50% по сравнению с решениями, требующими более дорогостоящего оборудования, а время реакции комплекса составляет до трёх секунд с момента определения события до появления сигнала на терминале оператора. Подтверждённые метрики точности отдельных детекторов превышают 80%.
«На центральный сервер уходят уже только результаты обработки. Система становится надёжнее, быстрее реагирует и требует меньше трафика», – рассказал Виталий Кудинов.
Сам комплекс не предназначен для формирования видеоархивов. Эту функцию могут выполнять продукты индустриальных партнёров, в частности ITX компании Netris. Видеоаналитика передаёт в такую систему сведения о событии, а оператор при необходимости получает фрагмент до и после него. Сейчас разработка дорабатывается и расширяется под задачи индустриального партнёра; в дальнейшем полученные компетенции планируется использовать в решениях для более широкого внедрения.
Если «Колорад‑детектор» помогает заметить объект в поле, а видеоаналитика – событие на дороге или территории, то «Умный шлагбаум» должен не только распознать происходящее, но и выполнить физическое действие. Российский программно-аппаратный комплекс автоматизирует контур пропуска транспорта: распознаёт государственные регистрационные знаки, сверяет их с белым списком, управляет открытием и закрытием шлагбаума, фиксирует въезд и выезд.
Потенциальные площадки для внедрения – КПП, парковки, жилые комплексы, строительные площадки и другие охраняемые территории. На таких объектах у сотрудника охраны нередко остаётся много однотипной работы: проверить номер, выдать разрешение, отметить проезд, подготовить отчёт. Разработчики предлагают передать стандартные операции системе, сохранив за человеком настройку правил и контроль нестандартных ситуаций.
«Это автоматизация всего контура пропуска транспорта: контроль проезда, открытие и закрытие шлагбаума, документирование того, кто въехал и кто выехал», – отметил инженер Центра искусственного интеллекта НГУ Александр Шовкопляс.
Распознавание номеров построено на базе свёрточной сети. Но архитектура «Умного шлагбаума» включает не только модуль компьютерного зрения. В ней работают три ИИ-агента на базе большой языковой модели: ИИ-агент-вахтёр, ИИ-агент-техспециалист и ИИ-агент-начальник. Первый проверяет детекции, работает с белым списком и управляет шлагбаумом. Второй следит за состоянием комплекса и должен выявлять возможные неисправности. Третий служит интерфейсом для сотрудника: помогает оформлять пропуска, формировать отчёты, собирать статистику и отвечать на вопросы о проездах или отказах во въезде.
«ИИ-агент-начальник – это ассистент для человека: у него можно спросить, кто и в какой момент въезжал, кому было отказано, и получить нужную информацию в рабочем режиме», – объяснил Александр Шовкопляс.
Система учитывает и исключения, которые неизбежны в реальной жизни: например, необходимость пропустить спецтранспорт, даже если его номер не внесён в белый список. В состав комплекса входят камера, контроллер шлагбаума, серверная часть с агентами и программное обеспечение. Специального уникального оборудования для развёртывания не требуется, однако прототип предстоит проверить в более сложной конфигурации.
Сейчас «Умный шлагбаум» работает с одной камерой. Следующий этап – внедрение на кампусе Новосибирского государственного университета, где предполагается подключить несколько камер и шлагбаумов. Команда также планирует добавить уведомления на электронную почту или в мессенджеры, а в перспективе расширить функции контроля периметра и безопасности территории.
Все три проекта различаются масштабом наблюдаемого объекта: от отдельного жука на листе до автомобиля перед КПП и дорожной ситуации в целом. Но в каждом случае искусственный интеллект выступает не как абстрактный собеседник, а как инструмент, который помогает заметить событие, отфильтровать поток данных и ускорить практическое решение. На поле это может означать более точную химическую обработку, на трассе – более быстрый сигнал о нештатной ситуации, на въезде – освобождение человека от повторяющихся проверок.
Сергей Исаев
Фото и изображение предоставлены Центром искусственного интеллекта НГУ
- Войдите или зарегистрируйтесь, чтобы отправлять комментарии