Коротко
- Найбільше хибних карток прибрали зони, які намалював начальник ХАССП. Пороги моделі ми чіпали вже потім.
- Що вважати порушенням, вирішує завод. Ящик на палеті, візку, роклі чи підставці був для нас нормою, ящик безпосередньо на підлозі порушенням, а якщо опору не видно, система ставила «невизначено».
- Точність на малій вибірці обманює: на 45 фрагментах кадрів ми отримали 47 % хибних вироків, а на всіх 219 фрагментах (131 подія), перевірених наосліп, 23 %.
- Відхилена картка ще не означає, що порушення не було. Часто це просто дубль сцени, яку вже підтвердили.
- Нове правило спочатку працює в тіньовому режимі. Правило, яке вже довело себе в бою, на нові камери ставимо одразу.
Для кого: начальникам служби ХАССП, технологам і власникам мʼясопереробних та харчових підприємств
З чого ми починали
Перший завод, на якому ми запускали DuoVision, був мʼясопереробним. Нових камер ми там не ставили: працювали з тими, що вже висіли в цехах обвалки і на рампах. З них система брала відео і по черзі перевіряла правила: шапочка, маска, рукавички, ящик на підлозі, проїзд на рохлі.
Кожне спрацювання ставало карткою з кадром. Картку відкривав начальник служби ХАССП і тиснув «порушення» або «відхилити». Від його рішень ми й відштовхувались, коли рахували, наскільки правило корисне. Автоматики, яка карає людей, на заводі не було: камера знаходила ситуацію, а що з нею робити, вирішувала людина.
Нижче те, чого ми не знали на старті і що тепер робимо на кожному новому обʼєкті.
Зони дають більше, ніж налаштування моделі
У перші тижні ми намагались прибрати хибні картки «розумно»: підкручували пороги, додавали фільтри за розміром людини і відстанню до краю кадру. Начальник ХАССП подивився на це і сказав приблизно таке: на кадрі намальовані зони, де модель має дивитись, а людину без шапочки, яка стоїть далеко, побачить інша камера.
Він мав рацію з двох причин. По-перше, зони малює людина, яка знає цех: де стоять столи, де прохід, де людину видно лише по пояс. Таке знання точніше за будь-яку формулу про зріст у пікселях. По-друге, у цеху камери перекриваються, тож якщо викинути погане місце з однієї камери, людина все одно потрапить у кадр сусідньої.
Тепер на новому обʼєкті ми спочатку разом із вашим відповідальним малюємо зони на кожній камері, і тільки потім дивимось на пороги.
Що таке порушення, вирішує завод
Модель бачить предмети. Чи є в цьому порушення, залежить від правил конкретного підприємства, і ці правила треба проговорити до запуску. Ось випадки, які ми обговорювали довше, ніж налаштовували код.
| Ситуація | Як вирішили | Чому |
|---|---|---|
| Ящик із продукцією на палеті, візку, роклі чи підставці | Норма | Продукт не торкається підлоги |
| Ящик стоїть безпосередньо на підлозі | Порушення | Ризик забруднення продукту |
| Опору під ящиком закрила людина чи інший ящик | «Невизначено» | Система не вгадує, що там під ним |
| Людина стоїть на електричній рохлі з платформою | Порушення | Так вирішив начальник ХАССП після перегляду кадрів |
| Навантажувач з водієм у кабіні | Норма | Це штатна техніка |
Випадок з електричною рохлею добре показує, навіщо це обговорювати заздалегідь. Ми самі думали, що стояти на платформі дозволено, а на тому заводі це було заборонено. Якби ми вирішили за завод, правило мовчало б саме там, де воно потрібне.
Чому точність «на око» не можна брати за правду
Перше, що питають про будь-яке правило: «А яка точність?» Ми теж хотіли назвати одне число. Перша оцінка на 45 фрагментах кадрів показала, що майже половина вироків «рукавичка є», 47 %, не спирається на кадр, і ми мало не почали через це переробляти правило. Потім перевірили наосліп усі 219 фрагментів, це 131 незалежна подія: таких вироків виявилось 23 %. Правило те саме, а різниця вдвічі: 45 фрагментів виявилось замало для висновку. Коли ми самі переглянули 8 кадрів, усі розбіжності були на межі «рукавичка є» чи «не розібрати».
Другу пастку ми побачили, коли розпитали, як начальник ХАССП судить картки. Він тиснув «порушення», якщо порушення було будь-де на кадрі, навіть на сусідньому столі поза рамкою, яку обвела система. Для заводу це правильно, бо порушення зафіксоване. Але це означає, що частка підтверджених карток показує лише верхню межу точності правила. Справжня влучність рамки нижча.
Що ми робимо тепер:
- число завжди подаємо разом із кількістю кадрів, на яких його отримали;
- правила порівнюємо між собою на одному й тому самому наборі кадрів;
- для числа, яке йде в звіт, беремо записи журналу, а не враження з перегляду.
Якщо постачальник називає вам точність без розміру вибірки і без того, хто її рахував, попросіть обидві цифри.
Відхилено ще не означає, що порушення не було
Порушення рідко триває один кадр. Стос ящиків на підлозі може простояти годину, і правило створить кілька однакових карток. Начальник ХАССП підтверджує одну, а решту відхиляє як дублі.
Якщо рахувати кожну відхилену картку як помилку системи, вийде, що правило помиляється частіше, ніж насправді. Тому перед будь-яким заміром ми групуємо картки в події: та сама камера, те саме місце, близько години часу. Якщо в події є хоч одна підтверджена картка, решту дублів помилками не вважаємо.
Черга карток і фільтр перед панеллю
Коли правил стало майже три десятки, черга карток для начальника ХАССП почала швидко рости. Частина карток була очевидним сміттям: наприклад, модель приймала чорні отвори в столі за ножі.
Ми поставили між правилами і панеллю фільтр, який дивиться на кожну картку і ділить їх на три групи: «порушення є», «порушення немає», «важко визначити». Фільтр нічого не видаляє, він лише сортує. Сумнівні й «сміттєві» картки лишаються в журналі, їх можна відкрити, а людина перша бачить ті, де порушення найімовірніше.
Нам це здається чесним компромісом: відповідальний витрачає час на важливе, а якщо фільтр помилився, нічого не губиться.
Тіньовий режим і коли він не потрібен
Нове правило спочатку працює в тіньовому режимі: картки пишуться в журнал, але нікого не турбують. За цей час ми разом з відповідальним дивимось справжні й хибні спрацювання і вирішуємо, чи вмикати правило в бойовий режим.
Одного разу ми хотіли так само «в тіні» запустити правило, яке вже працювало в бою, на кількох нових камерах. Нам справедливо відповіли: навіщо, воно вже перевірене. Тепер тінь ми вмикаємо для нової логіки. Перевірене правило на новій камері одразу йде в бій.
Якщо ви плануєте те саме у себе
Короткий порядок, до якого ми прийшли:
- Подивіться, які камери вже є і що з них видно. Для шапочки й рукавичок людина в кадрі має бути досить великою.
- Випишіть від трьох до пʼяти порушень, які болять найбільше, і разом домовтесь, що в кожному з них норма, що порушення і що «невизначено».
- Намалюйте зони на кожній камері. Це зробить ваш технолог або начальник ХАССП краще за будь-якого інтегратора.
- Запустіть правила в тіні на тиждень-два, подивіться картки і тільки потім вмикайте бій.
- Домовтесь, хто судить картки і як рахувати точність, ще до першого звіту.
Якщо хочете побачити, як це виглядатиме у вас, ми можемо підключитися до наявних камер у тіньовому режимі або прогнати запис з однієї камери й показати картки, які вийшли.