Евгений Маханьков — разработчик с 19-летним опытом работы в программировании. В процессе обучения в Университете Искусственного Интеллекта создал и протестировал нейронную сеть, которая помогает в классификации документов.
Основные цели — организация доступа к документам и усовершенствование рабочего процесса в рассылках. Все документы, хранящиеся в делопроизводственной системе, необходимо сортировать по классам. И грамотно автоматизировать процесс рассылки документов тем специалистам, которые с ними работают.
Задача — создание нейронной сети, которая сможет выбирать из всех документов договоры на создание и закупку аудиовизуальных произведений.
Нейронную сеть обучили на базе из 9500 документов, протестировали и интегрировали в разработанный Евгением web-сервис на базе django фреймворка.
Тестовая выборка для оценки качества работы нейронной сети была получена просто взятием из системы 243 новых на момент проверки документов. Метрики точности полноты на проверочной выборке показали 99% значение — верно отклассифицировано 240 документов из 243.
Также были детально изучены полученные 3 ошибки классификации на тестовой выборке. В двух случаях из трех это была ошибка в разметке данных. И в 1 оставшемся случае — сложный договор, который трудно поддавался даже ручной классификации.