To pytanie pada niemal w każdej pierwszej rozmowie: „ile zdjęć musimy zebrać?”. Odpowiedź „to zależy” brzmi jak unik, ale jest uczciwa — o wyniku decyduje nie liczba obrazów, tylko to, ile różnych sytuacji one obejmują. Poniżej konkretnie, co to oznacza w praktyce.
Dlaczego sama liczba niewiele mówi
Tysiąc zdjęć tego samego egzemplarza, w tej samej pozycji i przy tym samym oświetleniu, uczy model dokładnie jednej sytuacji. Dwieście zdjęć obejmujących różne partie surowca, różne zmiany i realny rozrzut pozycjonowania uczy go czegoś znacznie trudniejszego — jak wygląda normalna zmienność procesu.
A to jest sedno zadania. Model nie uczy się „jak wygląda wada” w oderwaniu od reszty. Uczy się odróżniać wadę od tego, co jest jeszcze akceptowalnym odchyleniem. Żeby to zrobić, musi najpierw zobaczyć, jak szeroki jest ten zakres akceptowalnych odchyleń w Twoim procesie.
Wąskim gardłem są przykłady NOK, nie OK
Zdjęcia produktów poprawnych zbierzesz łatwo — wystarczy godzina pracy linii. Problem jest z przykładami wadliwymi, bo dobrze działający proces z definicji produkuje ich mało. Przy poziomie braków rzędu ułamka procenta zebranie naturalną drogą kilkudziesięciu egzemplarzy jednej konkretnej wady potrafi zająć tygodnie.
Dlatego najtańsza rzecz, jaką możesz zrobić dzisiaj — jeszcze zanim podejmiesz jakąkolwiek decyzję o automatyzacji — to zacząć archiwizować braki. Nie tylko fotografować, ale odkładać fizyczne egzemplarze. Zdjęcie zrobione telefonem w biurze ma ograniczoną wartość, natomiast odłożona sztuka pozwala później sfotografować wadę w docelowych warunkach obrazowania, kiedy stanowisko jest już wstępnie skonfigurowane.
Co znaczy „reprezentatywny zbiór”
Zbiór jest reprezentatywny wtedy, gdy obejmuje zmienność, z jaką system będzie się mierzył po wdrożeniu. W praktyce warto sprawdzić, czy dane pokrywają:
- różne partie surowca oraz różnych dostawców, jeśli materiał bywa zmieniany
- różne zmiany i różnych operatorów — bo sposób podawania i ustawiania produktu nie jest identyczny
- różne gniazda, formy lub narzędzia, jeżeli produkt powstaje na kilku z nich równolegle
- pełen zakres nasilenia wady — od przypadków granicznych po jednoznaczne, nie tylko te najbardziej oczywiste
- warianty kolorystyczne i wersje produktu, które mają być obsługiwane na tym samym stanowisku
- realny dryf warunków obrazowania: zabrudzenie optyki, starzenie się oświetlenia, zmiany światła zewnętrznego
Zbiór testowy, którego model nigdy nie widział
Część danych musi zostać odłożona i nieużyta podczas treningu. Jeżeli skuteczność mierzy się na tych samych obrazach, na których model się uczył, mierzy się jego pamięć, a nie zdolność do poradzenia sobie z nową sztuką na linii. Wyniki z takiego pomiaru zawsze wyglądają świetnie i zawsze są bezwartościowe.
Dlatego w pilocie od początku rozdzielamy zbiór treningowy od niezależnego zbioru testowego, a liczby w raporcie kwalifikacyjnym — czułość, precyzja, poziom błędnych akceptacji i błędnych odrzuceń — pochodzą wyłącznie z tego drugiego.
Przypadki graniczne ważą więcej niż oczywiste
Wadę, którą widać z dwóch metrów, wykryje praktycznie każde rozwiązanie. O jakości inspekcji decydują przypadki graniczne: rysa na granicy tolerancji, nadlewka tuż poniżej progu akceptacji, zabrudzenie o rozmiarze, przy którym zaczynacie się wahać. To one wyznaczają, gdzie realnie postawić próg decyzyjny.
Zbiór złożony wyłącznie z przykładów skrajnych daje model, który zawodzi dokładnie tam, gdzie decyzja jest naprawdę potrzebna. Dlatego kryteria akceptacji — co jeszcze jest OK, a co już nie — ustalamy przed treningiem, a nie dopasowujemy do wyniku po fakcie.
Ile danych mieści się w pilocie
Standardowy pilot obejmuje jeden produkt, do trzech głównych defektów i do 500 anotacji, w czasie 2–4 tygodni. Ten limit nie jest przypadkowy: pilot ma odpowiedzieć na pytanie, czy przypadek w ogóle jest wykrywalny w dostępnych warunkach — zanim zainwestujesz w pełne stanowisko produkcyjne. To test wykonalności, nie docelowy zbiór danych.
Jeśli pilot wypadnie pomyślnie, zbiór rośnie później w sposób kontrolowany: trudne przypadki z produkcji wracają do Trainera, powstaje nowa wersja modelu, a Server publikuje ją wyłącznie na wskazane stanowiska. Dane to nie jest rzecz, którą zbiera się raz.
Co zrobić, jeśli danych jeszcze nie masz
Najgorszym wyjściem jest czekanie, aż „uzbiera się wystarczająco”. Zacznij archiwizować braki od najbliższego tygodnia, opisując przy każdym choćby datę, zmianę i rodzaj wady — ta metryczka bywa później cenniejsza niż samo zdjęcie.
Jeżeli konkretna wada zdarza się na tyle rzadko, że nie da się jej naturalnie uzbierać, czasem wytwarza się egzemplarze celowo. To dopuszczalne, ale pod jednym warunkiem: takie sztuki muszą być oznaczone jako wytworzone sztucznie. Celowo wykonana rysa rzadko wygląda dokładnie tak jak ta z procesu, a wymieszanie jednych z drugimi bez rozróżnienia zaburza walidację i daje wynik, któremu nie można ufać.
Jeśli nie masz pewności, czy Twój obecny materiał wystarczy, to jest dobry temat na konsultację wstępną — ocena dostępnych danych i warunków obrazowania jest pierwszym krokiem pilota, jeszcze przed jakimkolwiek treningiem.