Обучение и тестирование проводилось на бананах, апельсинах, клубнике и томатах. В НГТУ НЭТИ изучили различные подходы к распознаванию дефектов, провели их детальное сравнение.
"Это позволило понять, как каждый метод видит дефекты и почему одна модель лучше справляется с поиском гнилой продукции, а другая – с определением незрелости. Теперь мы можем предложить предприятиям не универсальное, а оптимальное решение именно для их задач: где-то важнее не пропустить ни одного испорченного плода, а где-то – случайно не забраковать качественный товар", – говорят разработчики.
Одной из сложных проблем оказалось научить нейросеть различать, где продукт подгнивший, а где недозревший. Ведь на многих фотографиях эти состояния довольно-таки схожи.
"Мы использовали особую архитектуру триплетной сети, которая учитывает не просто пары изображений, а сразу несколько примеров: эталонный, положительный и два отрицательных. Это позволило создать более гибкие границы между классами и значительно снизить число ошибок", – рассказывает ассистент кафедры автоматизированных систем управления НГТУ НЭТИ Егор Антонянц.
Нейросеть протестировали на изображениях из открытых источников, она показала высокую точность. Даже на тех продуктах, которые не "обкатывались" при обучении, точность достигает 89%. При этом работает она с обычными фотографиями, сделанными при разном освещении и под разными углами.
Проект находится на финальной стадии научно-исследовательского прототипа. Все три архитектуры нейросетей (CNN, SNN и TNN) уже обучены и протестированы.
В НГТУ НЭТИ хотят адаптировать систему для работы с видеопотоком, а также расширить базу для обнаружения новых дефектов.
"В дальнейшем мы хотим привлечь партнеров из агропромышленного сектора для организации совместных испытаний системы на реальных производственных линиях", – говорит Антонянц.
