В России около 75% всего угля добывается открытым способом — на карьерах и в разрезах. Из карьера уголь транспортируется на дробилки, где он разбивается на относительно равные куски, а также сортируется по размерам. Одна установка обычно перерабатывает породу от множества карьерных экскаваторов. Поэтому выход из строя дробилки может парализовать работу производственного звена и остановить отгрузку продукции конечным потребителям. Одна из частых причин выхода из строя дробильных установок – отломившийся зуб ковша экскаватора. Для контроля подобных инцидентов нашей компанией Норд Клан совместно с партнером АО "Союзтехноком" для холдинга УЗТМ-КАРТЭКС была разработана "под ключ" система контроля целостности зубьев ковша экскаватора.
С чего все начиналось.
Как и любой крупный проект начинается с командировки на объект, где должна быть установлена система. Важно на месте оценить все факторы, которые могут влиять на работу готового решения. Совместно с представителями заказчика специалисты Норд Клана посетили Кедровский угольный разрез. Он расположен в 25 км севернее Кемерово. Масштабы производства и открывающиеся виды поражают своим размахом.
На производственной площадке нас ждало не менее впечатляющее зрелище – экскаватор ЭКГ-35 высотой с 6 этажный дом! Обычный автомобиль на его фоне кажется «букашкой». Этот трудяга работает практически безостановочно, изредка вставая на техническое обслуживание раз в несколько месяцев. Поэтому у нас было мало времени, чтобы его осмотреть и наметить план работ по проекту.
Рис. 2. Осматриваем экскаватор ЭКГ-35 высотой с 6 этажный дом.
Совместно с представителями Заказчика мы провели осмотр этого гиганта и условия его работы по добыче угля.
Выяснилось, что на практике контроль за состоянием зубьев ковша осуществлялся машинистами экскаватора. Визуальное наблюдение во время работы помимо больших размеров ЭКГ-35 усложняло множество факторов: освещенность в разное время суток, пыль, налипание на ковш глины, сильные вибрации стрелы.
После этого определились с задачами, которые должна решить система видеоконтроля.
Во-первых, необходимо обеспечить автономность ее работы и исключить «человеческий» фактор.
Во-вторых, необходимо предусмотреть механизмы защиты от ложных срабатываний при временном или частичном перекрытии зубьев породой, налипания глины.
В-третьих, система должна уметь прогнозировать износ зубьев и информировать машиниста о критическом износе.
Сбор данных для обучения нейронной сети распознавать износ зубьев ковша и прогнозировать их отлом.
Для решения подобных задач не обойтись без использования искусственного интеллекта, поэтому за неделю необходимо было собрать как можно больше видеоматериалов для его обучения.
В техническом задании было указано, что стрела экскаватора при добыче породы может сильно вибрировать. На тот момент мы до конца не осознавали, насколько было это замечание критично. ☹ ☹ ☹
Поставку камер в офис Nord Clan с виброзащитой на тот момент мы рассчитывали получить только через 2 месяца. Но нам требовалось не так много фактического времени съемок.Поэтому мы надеялись, что на пару дней для сбора первичных видеоматериалов хватит и обычной HD камеры видеонаблюдения.
Рис. 3. Монтируем проводку для установки камеры на стрелу экскаватора.
Представьте, каково было наше удивление в момент, когда экскаватор начал копать. ヽ(°° )ノ Потребовалось всего около 30 секунд, чтобы камера развалилась!
Интересный факт. Стальная пластина толщиной 8 мм (0,8 см) и длиной 40 см, закрепленная на стреле, от вибраций и низких температур покрывается трещинами и ломается за 1,5-2 месяца круглосуточной работы экскаватора.
Пришлось выкручиваться – устанавливать новую камеру и просто снимать, как экскаватор имитирует процесс копания. Если смотреть со стороны – выглядит забавно. Но зато, прочувствовав на себе суровые условия работы и всю мощь техники, мы смогли впоследствии подобрать нужный вариант камеры и вовремя скорректировать заказ на их поставку.
Итак, за неделю специалисты Норд Клана успели отснять холостую работу экскаватора, а также собрать видеоматериалы разных моделей ковшей и зубьев.
Рис. 4. Осматриваем ковши и зубья экскаватора.
В итоге все недостающие видеоматериалы на первом этапе разработки мы успешно заменили компьютерными моделями, а когда уже пришли нормальные камеры с виброзащитой – просто дообучили нейросеть.
По окончании командировки мы незамедлительно приступили к разработке прототипа. Ведь по плану нужно было уложиться в срок за 2 месяца, как раз до момента следующего планового техобслуживания ЭКГ-35 и соответственно его простоя.
Было 6 зубьев, стало – 5. Как мы учились их распознавать.
Самым важным этапом разработки было определиться с основой – выбрать нейронную сеть. Для проверки мы взяли несколько их видов и провели обучение. При тестировании мы, прежде всего, исходили из следующей гипотезы: если система не сможет изначально уверенно распознавать целые зубья, то она не сможет определять отломанные или износившиеся зубья.
Нейронная сеть Yolo v5 показала лучший результат, и мы взяли ее за основу. Она корректно определяла зубья во всех случаях, что позволило нам с уверенностью говорить о потенциальной успешности проекта.
Определившись с базой, мы постепенно начали доучивать модель видеть и другие детали – износился ли зуб, или он вообще отломан? Логику работы решения лучше всего описать через процесс калибровки. Эта настройка заложена в системе, является стартовой и позволяет адаптировать работу ПО под любые марки экскаваторов, а также под разные модели ковшей.
Чтобы откалибровать ковш необходимо при пуско-наладочных работах выполнить несложные манипуляции - экскаватор должен в течение 1 минуты отрабатывать в холостую, эмитируя процесс копания. Этого времени более чем достаточно, чтобы нейронная сеть смогла определить контуры зубьев, их количество и начать производить их подсчет в автоматическом режиме.
Рис. 5. Тестируем процесс калибровки зубьев
По-сути процесс определения отломан ли зуб у ковша сводится к задаче подсчета их количества и сравнению с первоначальным числом, определенным в процессе калибровки. При этом мы добились того, чтобы нейронная сеть правильно определяла контуры зубьев даже в тех случаях, когда порода налипает на сам зуб, или застревает между ними.
Единственный случай, когда нейронная сеть точно не сработает – если все пространство без просветов между зубьями забьет глина. Это можно сравнить с постройкой дома. Вначале вяжут арматуру, а затем все заливают бетоном. Получается прочный каркас. Нейронная сеть на основе видео с камер машинного зрения сможет определить, дефекты бетона, но саму арматуру увидеть, к сожалению не сможет.
Для решения подобной задачи используются специализированные датчики детектирующие, что находится внутри конструкции. На разрезе подобные события – редкость. В основном они связаны с разработкой новых месторождений, когда экскаватор при копке проходит глинистый слой, углубляясь в плодоносный. Чтобы в эти моменты система ложно не срабатывала, предусмотрен режим, который называется соответствующе – «Глина», и работает без изяществ – отключает нейронную сеть и дает ей отдохнуть.
Отдельно отметим, что разработанное решение мы с пристрастием тестировали в разных условиях работы. Во всех приведенных случаях система работала корректно. Список условий для испытаний достаточно внушительный:
- при разной степени освещенности: в ночное время (контуры ковша плохо видны), при ярком свете солнца (зубья блестят как золото);
- при разной погоде: в метель, при сильных порывах ветра (в воздух в этот момент поднимается много пыли);
- при копке разных слоев пласта и в случае перекрытия породой части зубьев. Минимальное достаточное условие, чтобы система смогла определить зубья - если остается хотя бы один небольшой, но видимый просвет между двумя зубьями.
А что делать, если зуб экскаватора цел, но в нем образовался «кариес»?
В производственной практике сложился опыт, который позволяет оценить степень износа по тому, насколько зуб сточился во время работы по своей длине:
10-20% - умеренный износ;
*20-40% - критический износ.
* При критическом износе фактически считается, что экскаватор работать не может, так как в любой момент зуб может отломиться.
Как мы уже говорили ранее, в процессе калибровки нейронная сеть определяет контуры зубьев и начинает считать их количество. Но это еще не все. Помимо этого система фиксирует у себя «в памяти» эталонную длину зубьев в разных положениях. Далее нейронная сеть сопоставляет разницу в их размерах в процессе работы экскаватора.
Выглядит легко и логично, но на практике реализация вызвала ряд затруднений. Отличие длины нового зуба от изношенного на видео картинке, получаемой с камеры, могло достигать всего 10-15 пикселей. Нужно было придумать механизм, как убрать ложные срабатывания в случае нечеткости кадра или естественных помех.
Для решения задачи мы разработали систему, когда оценка износа происходит не по одному замеру и одному кадру из видео, а берется последовательность кадров с небольшими смещениями относительно друг друга. Так накапливается статистическое и усредненное значение размеров зубьев.
Вот так все работает. От "лирики" постепенно переходим к железу.
Отнеслись с заботой к установке аппаратной части на экскаватор. Потребовалась ювелирная точность.
Пришло время поговорить об аппаратной части. При подборе оборудования для установки на экскаватор, учитывая наш предыдущий горький опыт с первый камерой, мы со всей серьезностью начали изучать предложения производителей.
Напомним о наших требованиях к оборудованию:
Во-первых, на Кедровском разрезе диапазон температур может колебаться от -60 до +40 на улице и от -30 до +40 в кабине машиниста.
Во-вторых, для камеры машинного зрения требовалась усиленная виброзащита.
После долгих и продолжительных поисков, мы остановились на варианте со следующими характеристиками:
- Рабочая температура: -60 °C…+85 °C (искали для сибирских морозов, но она подходит и для Африки!).
- Класс защиты: IP68 | IP69K.
- Ударопрочность: 50g;
- Вибропрочность: 5 g.
Кроме этого было подобрано специальное место установки, где наименьший шанс, что камера вступит в резонанс с колебаниями от стрелы. После установки мы каждый день молились, чтобы она не отлетела. И наши просьбы были услышаны. По итогам 7 месяцев работы на креплении пока нет даже намеков на поломку.
Сервер мы расположили непосредственно в кабине машиниста. Так как питание изначально предполагалось подавать от трансформатора экскаватора (2500 кВА), то предусмотрительно оснастили оборудование системой защитой от перенапряжения и скачков. Над шкафом разместился монитор, на котором машинист сможет видеть работу программы и получать информация о состоянии зубьев.
Отдельно стоит упомянуть про нашего героя во время тестирования, отладки и доработки системы, выполнявшего функцию связующего звена между разработчиками и работающим прототипом – 3G модем. Он работал круглосуточно, в отличие от людей.
Для понимания – чтобы скачать кусок видео весом 1-2 Гб требовалось ждать порой несколько суток. Скорость передачи данных ограничивалась не только возможностями сотовой вышки на месте, но и естественными преградами на пути следования сигнала. Если экскаватор работал на дне разреза, то боковые своды пройденного пласта могли достигать высоты 20-40 метров, а сама глубина карьера «на глазок» достигала более 100 метров. Из-за этого периодически в разных местах напрочь блокируется работа сотовой связи из отсутствия сигнала. Сейчас думаем, что голубиная почта в эти моменты работала бы намного быстрее. Возможно, внедрим такую функцию в будущем.
Работа системы в боевых условиях. Итоги и планы.
Как итог нашим стараниям – специалисты Nord Clan уложились за 2 месяца разработать работающий прототип, подобрать оборудование и установить его на экскаватор. В январе 2022 года во время планового технического обслуживания на ЭКГ-35 мы произвели его монтаж.
Ребята из АО "Союзтехноком" сильно нам помогли при проведении испытаний. Их стараниями на разрезе были протестированы все возможные варианты работы системы уже в боевых условиях. От работы экскаватора при свете луны, до прохода глинястого слоя. Один из подобных тестов представлен на рисунке ниже. Кому-то в голову пришел интересный вариант тестирования - накрыть часть зубьев пленкой и проверить сможет ли система определить, что зубья не отломаны, а "залеплены" породой. Тест выполнен на 5-ку!
При этом во время работы на мониторе выводится изображение с камеры, под которым наглядно показана схема состояния зубьев.
От 100% и до 80% - умеренный, допустимый износ.
от 79% до 60% - значительный износ.
ниже 60% - критический износ, пора обращаться к стоматологу!
Если система определяет, что одного и более зубьев нет, а эта ситуация повторяется на протяжении 30 секунд подряд (защита от ложного срабатывания), фиксируется событие поломки зуба. Машинист получает звуковой и визуальный сигналы.
По истечении полугода работы системы в боевых условиях можно с уверенностью сказать, что поставленные по проекту задачи успешно выполнены. За это время у Заказчика не возникло особых нареканий к работе системы, а доработки касались в основном вопросов удобства пользования программой самими машинистами. Так за это время была доработана точность калибровки, а также сам процесс. Теперь система сама способна выполнить калибровку во время работы при запуске системы за 15 секунд, при этом необходимость имитации работы экскаватора для настройки отпала.
В дальнейшем планируется постепенное внедрение разработанной системы контроля на все экскаваторы разреза. Для этого в программе предусмотрена возможность установки решения на разные модели техники. На данный момент уже успешно протестирована работа система на экскаваторах ЭКГ-20, ЭКГ-35, Komatsu WA900, Komatsu PC4000, Liebher PR9200 и Liebher PR9400. В дальнейшем этот список будет только расширяться.
Что делает, простите?
Статья огонь, плюсанул
Спасибо за оценку!
P.S. Имитирует.. Интересная опечатка получилась :)
Привет, а какое железо использовали для сервера в кабине? Там же тоже вибрации и перепады температур
Добрый день.
В самой кабине вибрации не такие значительные, как на стреле. Оборудование подбирали согласно ТЗ с виброзащитой от производителя. Система также имеет предстартовый подогрев.