QM-Forum › Foren › Qualitätsmanagement › Fähigkeit optisches Prüfsystem
-
AutorBeiträge
-
Hallo,
ich hab eine Frage zur Bestimmung der Fähigkeit von optischen Prüfsystemen.
(Bin neu im Forum. Habe dazu zu dem Thema auch schon gesucht, aber leider keine Lösung gefunden.)Zur Situation:
Es werden Bauteile durch ein optisches Prüfsystem hinsichtlich Oberflächenfehler geprüft. Als Ergebnis bekomme ich Fehler bzw. kein Fehler. Bei Fehler wird auch noch die Position mit angegeben. D.h. nach Prüfung der kompletten Fläche kann ich mehrere Fehler an untersch. Positionen haben.Ich will nun die Fähigkeit des Prüfsystems bewerten. Problem dabei ist, dass ich kein Referenzteil benutzen kann.
Wie gehe ich dabei vor? Wie bewerte ich evtl. Abweichungen wenn ich z.B. 1 Teil 30mal prüfe und dann unterschiedliche Ergebnisse für Fehler/kein Fehler erhalte? Wie wird das Risiko für einen evtl. Durchschlupf bewertet (kann ich hier das ham häufigsten auftretende Ergebnis als wahr annehmen)?
Vielen Dank
madHallo mad,
willkommen im Qualitäter-Forum [:)]
Ein Prüfergebnis Fehler/kein Fehler (oder iO/niO) ist ein attributives Prüfergebnis. Du kannst hier über eine attributive Mess-Prozess-Bewertung eine Qualität des Prüfprozesses bestimmen.
Eine Fähigkeit wie z. B. bei variablen Messungen (Länge, Gewicht,…) mit Cg und Cgk (nach VDA 5) gibt es für attributive Mess-Prozesse nicht.
Bei attributiven Systemen wird verglichen, wie zuverlässig die Fehler-Findung ist. Es gibt hierbei Methoden mit und ohne Referenzwert.
Mit Referenzwert:
Die attributive Prüfung ist eigentlich eine variable Prüfung, bei der nur das attributive Ergebnis betrachtet wird. Beispiel: Lehrenprüfung des Durchmessers. Der Durchmesser kann auch variabel über eine Messung aufgenommen werden (z. B. 3,5mm), d. h. Du kannst für Deine Prüfteile auch einen Messwert angeben.Das funktioniert für Deine Prüfsituation vermutlich nicht, es sei denn, der Fehler wäre z. B. Größen-abhängig:
Verschmutzung >1µm Durchmesser = Fehler, Größe der Verschmutzung ist prinzipiell messbarMethoden mit Referenzwert: Methode der Signalerkennung bzw. Bestimmung der Grauzone (VDA 5 und MSA 4), Analytische attributive MSA, Übereinstimmung Prüfer und Referenzwert, Effizienz der Prüfer, Wahrscheinlichkeit der Fehlklassifikation (MSA 4)
Ohne Referenzwert:
Die attributive Prüfung kann nicht in eine variable Prüfung umgewandelt werden. Beispiel: Licht brennt oder brennt nicht.Methoden ohne Referenzwert: Test auf Symmetrie nach Bowker (VDA 5), Prüfer- bzw. Prüfmittel-Übereinstimmung mit Cohens kappa (MSA 4)
Allgemein lässt sich Deine Frage nicht beantworten, weil es viele unterschiedliche Möglichkeiten gibt. Wichtig sind z. B. folgende Fragen:
*Gibt es mehr als 1 Prüfer? Wie viele Prüfer sind es normalerweise, die die Teile prüfen?
*Gibt es mehr als 1 Prüfmittel? Wie viele Prüfmittel sind es ingesamt?
*Ist „Fehler ja/nein“ in einen Messwert umwandelbar?
*Welche Referenz-Handbücher werden üblicherweise in Deinem Bereich / bei Euren Kunden gefordert bzw. eingesetzt (VDA 5, MSA 4)?
*Ist es möglich, ein eigenes Referenzteil bzw. eigene Referenzteile zu finden, bei denen Du sicher weißt ob ein Fehler vorhanden ist oder nicht?Viele Grüße
Barbara
Eine gute wissenschaftliche Theorie sollte einer Bardame erklärbar sein.
(Ernest Rutherford, Physiker)Hallo Barbara,
vielen Dank für die schnelle Antwort. Zu den offenen Fragen:
Allgemein lässt sich Deine Frage nicht beantworten, weil es viele unterschiedliche Möglichkeiten gibt. Wichtig sind z. B. folgende Fragen:
*Gibt es mehr als 1 Prüfer? Wie viele Prüfer sind es normalerweise, die die Teile prüfen?
-> die Prüfung erfolgt automatisiert, also kein Werkereinfluss.*Gibt es mehr als 1 Prüfmittel? Wie viele Prüfmittel sind es ingesamt?
-> es gibt nur ein Prüfmittel*Ist „Fehler ja/nein“ in einen Messwert umwandelbar?
-> die Größe des Fehlers wird nicht bewertet. Ich bekomme nur einen Positionswert rückgemeldet, wo ein Fehler aufgetreten ist. Einzig die Anzahl der Fehlerpositionen könnte als Faktor herangezogen werden. Bin mir aber nicht sicher ob das erforderlich ist. Generell müssten die rückgemeldeten Fehler bei x-Wiederholungen ja immer an der gleichen Position sein.*Welche Referenz-Handbücher werden üblicherweise in Deinem Bereich / bei Euren Kunden gefordert bzw. eingesetzt (VDA 5, MSA 4)?
-> VDA*Ist es möglich, ein eigenes Referenzteil bzw. eigene Referenzteile zu finden, bei denen Du sicher weißt ob ein Fehler vorhanden ist oder nicht?
-> das gestaltet sich sehr schwierig und ist auf jedenfall sehr zeitaufwändig. Ist eine vernünftige Aussage ohne Referenzteil nicht möglich?Gruß
madHallo mad,
quote:
Ursprünglich veröffentlicht von mad*Gibt es mehr als 1 Prüfer? Wie viele Prüfer sind es normalerweise, die die Teile prüfen?
-> die Prüfung erfolgt automatisiert, also kein Werkereinfluss.Auch bei einer automatisierten Prüfung muss ggf. jemand Teile einlegen oder positionieren. Einen Werkereinfluss würde ich nur dann von vorneherein ausschließen, wenn wirklich kein Mensch seine Finger drin hat (im wörtlichen Sinn).
Ansonsten würde ich immer empfehlen, mindestens 2 Prüfer/Einrichter/Einleger miteinander zu vergleichen, weil sich sehr oft kleine Unterschiede bemerkbar machen können von denen vorher alle überzeugt waren, es könne hier keinen Unterschied geben.
quote:
Ursprünglich veröffentlicht von mad*Ist „Fehler ja/nein“ in einen Messwert umwandelbar?
-> die Größe des Fehlers wird nicht bewertet. Ich bekomme nur einen Positionswert rückgemeldet, wo ein Fehler aufgetreten ist. Einzig die Anzahl der Fehlerpositionen könnte als Faktor herangezogen werden. Bin mir aber nicht sicher ob das erforderlich ist. Generell müssten die rückgemeldeten Fehler bei x-Wiederholungen ja immer an der gleichen Position sein.„Eigentlich“ ist hier der springende Punkt: Eigentlich sollten die Ergebnisse gleich bzw. reproduzierbar sein. Uneigentlich zeigt die Praxis, dass viele Mess- und Prüf-Systeme nicht so zuverlässig sind, wie gerne angenommen wird. Genau dafür wird eine Mess-Prozess-Prüfung/Mess-System-Analyse (MSA) durchgeführt.
Auch wenn Du im Normalfall nur an der Aussage Fehler ja/nein interessiert bist, lässt sich für die MSA u. U. eine quantitive Messgröße finden, die eine Fehlergröße beschreibt. Beispielsweise könnte eine grob-pixelige Kamera im optischen Prüfsystem kleinere Fehler übersehen, obwohl sie bei Euch als Fehler definiert sind. Hier ist es entscheidend, wann ein Fehler ein Fehler ist bzw. ab welcher Größe eine Veränderung in der Oberfläche als Fehler eingestuft wird/werden soll.
quote:
Ursprünglich veröffentlicht von mad*Ist es möglich, ein eigenes Referenzteil bzw. eigene Referenzteile zu finden, bei denen Du sicher weißt ob ein Fehler vorhanden ist oder nicht?[/blue]
-> das gestaltet sich sehr schwierig und ist auf jedenfall sehr zeitaufwändig. Ist eine vernünftige Aussage ohne Referenzteil nicht möglich?Ohne Referenzteile weißt Du nie, ob Dein System grundsätzlich funktioniert. Dabei sind vor allem Grenzmuster wichtig, bei denen die Entscheidung zwischen Fehler und kein Fehler schwierig ist, denn genau in diesem Bereich (der Grauzone) zeigt sich die Qualität oder Zuverlässigkeit des Mess-Systems.
Grundsätzlich kannst Du auch prüfen, ob bei Wiederhol-Prüfungen immer das Gleiche herauskommt. Damit bekommst Du allerdings keine Aussage dazu, ob alle Prüfergebnisse richtig sind, sondern nur ob sie übereinstimmen.
Es kann dann passieren, dass Du immer als Ergebnis Fehler=ja bekommst, obwohl das Prüfteil eigentlich (nach Eurer Fehler-Definition) in Ordnung ist. Anders herum kann es auch passieren, dass die Prüfung immer Fehler=nein anzeigt und tatsächlich die Qualität des Prüfteils (nach Eurer Fehler-Definition) unzureichend ist. Die Übereinstimmung der Prüfergebnisse wäre dann perfekt, die Richtigkeit der Prüfergebnisse nicht. Ohne Referenzwerte hast Du keinen Realitäts-Anker, d. h. Du hast keine Infos dazu, wie die Qualität der Prüfteile in der Realität ist.
Ja, das ist aufwändig und total blöd, wenn am Ende „nur“ herauskommt, dass alles prima funktioniert. Noch viel unschöner ist es, wenn das Prüfsystem zu ungenau hinschaut. Andererseits verhinderst Du damit Unsinns-Prüfungen, die keine Aussagekraft haben und Euch einen falschen Eindruck von der Qualität der Teile vermitteln.
Viele Grüße
Barbara
Eine gute wissenschaftliche Theorie sollte einer Bardame erklärbar sein.
(Ernest Rutherford, Physiker)hallo Barbara,
das muß ich jetzt erst mal alles verarbeiten. Ich denke wir sollten unbedingt versuchen ein Referenzteil zu erstellen.
Vielen Dank
madHallo mad,
ich bin mir nicht so ganz sicher, ob 1 Referenzteil ausreichend ist. In VDA 5 wird im Beispiel mit 50 Referenzteilen gearbeitet. Ob es so viele, noch mehr oder auch weniger sein dürfen, hängt davon ab, wie gut der Prozess funktioniert. Je besser der Prozess ist und je genauer die Prüfung sein muss, desto höher ist auch die notwendige Anzahl Referenzteile.
Du brauchst alleine für die Kontrolle der zeitlichen Stabilität mindestens 3 Teile (ein supergutes, ein grottenschlechtes und eins in der Grauzone) und für die Mess-System-Bewertung deutlich mehr als 3 Teile, sonst wird das mit der Bestimmung der Grauzone nix.
Viele Grüße
Barbara
Eine gute wissenschaftliche Theorie sollte einer Bardame erklärbar sein.
(Ernest Rutherford, Physiker)Hallo Barbara,
ich hab nochmal versucht die in der VDA5 beschriebene Vorgehensweise zu verstehen.
Im wesentlichen wird dabei bei den attributiven Prüfungen immer ein evtl. Prüfereinfluss, oder ein sonstiger Umwelteinfluss ausgetetstet (aber weniger die interne Stabilität einer Anlage).Der Prüfereinfluss trifft in meinem beschriebenen Fall nicht zu. Da findet von der Bearbeitung des Bauteils bis zur Prüfung kein manueller Eingriff mehr statt.
Wenn ich also die Anlage hinsichtlich innerer Stabilität bewerten will kann ich den Bowker Test meine Erachtens nicht anwenden.In unserem Fall ist es so, daß ein Bauteil (willkührlich gewähltes fehlerhaftes Teil aus dem laufenden Prozess) 30 mal durch die Anlage gefahren wurde.
Dabei bekomme ich 28 mal i.O. und 2 mal n.i.O. Ich kann damit nur die Wahrscheinlichkeit ermitteln mit der die Anlage ein identisches Ergebnis liefert. Aber ich kenne keinen Grenzwert ab wann ich dann behaupten kann dass der Prozess fähig ist oder nicht.
Mit einem Fehler von fast 7% würde ich die Anlage als nicht fähig bezeichnen, aber ich kenne keinen offiziellen Grenzwert ab wann ich generell behaupten kann dass der Prozess fähig ist oder nicht.
Selbst wenn ich ein Referenzteil mit definierten Fehler verwende und dieses 50 mal durch die Anlage fahre, weiß ich nicht ab welchem Grenzwert, d.h. Anzahl Falschinterpretationen die Anlage als nicht fähig bewertet wird. Oder hab ich da evtl. was überlesen?Den von Dir genannten Einfluss der zeitlichen Stabilität hab ich da noch gar nicht berücksichtigt. Danke nochmal für den Hinweis!!!
Für die zeitlichen Einflüsse (z.B. vergleich zwischen Start der Produktion und Ende der Produktion) könnte ich dann allerdings den Bowker Test verwenden.
Ich steh da echt auf dem Schlauch.
Gruß
MartinHallo Martin,
bin gerade auf dem Sprung zu einer Fachkonferenz und deshalb etwas knapp dran. Eine ausführliche Antwort kann ich Dir daher erst Anfang nächster Woche geben.
Grenzwerte gibt es übrigens keine (ich kenn jedenfalls keine), d. h. Du musst selbst entscheiden, ob das Mess-System gut genug ist.
Wie geschrieben: Rest folgt nächste Woche.
Viele Grüße
Barbara
Eine gute wissenschaftliche Theorie sollte einer Bardame erklärbar sein.
(Ernest Rutherford, Physiker)Hallo, Martin:
Als Ergänzung:
Vergleichbare Forderungen kenne ich gut aus dem GMP (Hier ein Zitat aus der EN ISO 15378):
„7.6.1 Bei automatischen Prüfgeräten (z. B. 100%-Kameraprüfsysteme und Strichcodelesegeräte) müssen regelmäßige und aufgezeichnete Belastungsprüfungen durchgeführt werden, um die ständige Funktionsbereitschaft zu verifizieren.“Du brauchst hierfür unbedingt Gut- und Schlechtteile, welche als „Grenzprüfmuster“ in die Produktion eingeschleust werden.
Damit definierst Du im gleichen Atemzug:
a) Welches sind die zu detektierenden Fehler?
b) Welche Fehler sind gerade noch akzeptabel („noch gut“)?
c) Welche Fehler sind gerade nicht mehr akzeptabel („schon schlecht“)?
d) Wie hoch ist die Erkennungsrate dieser Fehler in der laufenden Produktion („Belastungstest“)?e) Sammele Grenzwertmuster für weitere Systembelastungstests.
f) Optimiere Deine Erkennungsrate.Die Schlechtteile werden in die Produktion eingeschleust und nachher nach der Kameraprüfung wieder vollständig entfernt.
Häufiger Fehler in der Praxis:
Die Erkennungs- / Auflösungsgrenzen werden oft nicht bestimmt und die optischen Systeme finden nur die wirklich offensichtlichen Fehler. -> Trügerische Sicherheit.Viele Grüße
QM-FK
—
Don’t think it – ink it.Hallo Martin,
QM-FK hat das Vorgehen schon beschrieben.
Bei einer voll-automatischen Prüfung ist der Bowker-Test mit Prüfer-Einfluss nicht sinnvoll anwendbar. Das Gleiche gilt für Cohen’s Kappa, denn auch hier werden verschiedene Prüfer untereinander und ggf. mit einer Referenz verglichen.
Sinnvoll ist es, das Risiko für eine Fehlklassifikation bzw. die Grauzone zu bestimmen. Es wird (hoffentlich) zwei Bereiche geben, in denen die Prüfergebnisse eindeutig sind: perfektes Teil = immer i.O., Schrott = immer n.i.O.
Dazwischen gibt es fast perfekte Teile oder beinahe Schrott und genau in diesem Bereich zeigt sich die Qualität eines Prüfprozesses. Je besser der Prüfprozess ist, desto schmaler ist der Grauzonen-Bereich.
Um diesen Bereich zu ermitteln, brauchst Du Grenzmuster (s. Beitrag von QM-FK) sowie (fast) perfekte und (ziemlich) schrottige Teile. Der Fehler muss quantifizierbar sein (z. B. Größe des Oberflächenfehlers) und die für die Bewertung ausgewählten Teile müssen den gesamten Bereich abdecken (perfekt – etwas weniger perfekt – akzeptabel – grenzwertig – inakzeptabel). Dafür brauchst Du mindestens 10 Teile aus dem gesamten Fertigungs-Spektrum.
Diese Teile werden dann wiederholt geprüft (20 Mal pro Teil wär gut) und dahingehend ausgewertet, wie groß die Grauzone und/oder wie hoch das Risiko einer Fehlklassifikation (Anzeige iO obwohl Teil niO bzw. Anzeige niO obwohl Teil iO) ist.
Das ist ein ziemlicher Aufwand und absolute Grenzwerte existieren meines Wissens nicht. Andererseits hast Du ohne diese Prüfung keine belastbaren Infos dazu, wie gut Dein Prüfprozess funktioniert.
Nur 2 niO-Ergebnisse von 30 Prüfungen find ich persönlich ganz schön wenig, wenn das Teil wirklich fehlerhaft war. Da kann ich mit Würfeln zuverlässigere Ergebnisse erzielen… Ob das tatsächlich ein sehr schlechtes Ergebnis ist, hängt natürlich auch davon ab, wie fehlerhaft das Teil war. Bei Voll-Schrott ist das Ergebnis hundsmiserabel, bei grenzwertig akzeptabel könnte das sogar in Ordnung sein. Und da sind wir dann wieder bei den Grenzmustern und der Definition, wann ein Fehler ein Fehler ist [;)]
Viele Grüße
Barbara
Eine gute wissenschaftliche Theorie sollte einer Bardame erklärbar sein.
(Ernest Rutherford, Physiker)Hallo QM-FK, hallo Barbara,
danke für die Infos. Habs jetzt verstanden.
Wir werden versuchen entsprechende Referenzteile zu erstellen
umd die Fähigkeit nachzuweisen. Die laufende „Zuverlässigkeit“ des Systems können wir, wie von QM-FK beschrieben, dann auch mit diesen Referenzteilen abtesten (übrigens interessant, dass ein ähnlicher Ansatz nicht in der VDA5 steht).Anmerkung: Bei den 2 von 30 Teilen wurde ein Fehler angezeigt, obwohl an dieser Stelle keiner war. Schon allein die daraus resultierenden n.i.O. Stückzahlen sollten uns den Aufwand für die Referenzteile Wert sein.
Gruß
MartinHallo miteinander,
in diesem Zusammenhang habe ich auch eine Frage zur Kappa-Methode:
Ich bestimme hierbei einen Kappa-Wert und zusätzlich %effectiveness. Was ist jetzt mein Bewertungskriterium? Ist es Kappa>0,75 oder %eff>90%? Ich habe hier ein Formblatt, das sowohl den Kappa als auch die Effectiveness bestimmt.
Kann mir zu dieser Methode jemand etwas sagen? Evtl. auch zur Durchführung/ Auswertung?
Ick danke Euch schonmal ;)
Hallo reticent,
Kappa und effectiveness sind zwei unterschiedliche Kennzahlen.
Kappa misst den Grad der Übereinstimmung der Prüfer untereinander (ohne Vergleich mit der Referenz bzw. der korrekten Prüfentscheidung). Die 0,75-Grenze ist allerdings nur ein Daumen-Regelwert, weil Kappa weniger Aussagekraft hat als z. B. ein Mittelwert oder eine andere Kennzahl.
Grundsätzlich gilt, dass die Übereinstimmung umso höher ist, je höher Kappa ist. Kappa hat einen Maximalwert von 1,0, wenn alle Prüfer bei allen Teilen und allen Wiederholungen das gleiche Prüfergebnis aufgeschrieben haben.
Effectiveness ist dagegen der Anteil korrekter Entscheidungen an allen Entscheidungen. Hierbei spielt es keine Rolle, wie viele Prüfer die Teile bewerten. Der Anteil korrekter Entscheidungen sollte möglichst hoch (mindestens 90%=0,90) sein. Auch für die Effectiveness gilt, dass sie maximal 1,0=100% (=alle Entscheidungen korrekt) sein kann und dass höhere Werte besser sind.
Beispielrechnungen und weitere Erläuterungen findest Du in MSA 4 (p. 137-140).
Viele Grüße
Barbara
————
Eine gute wissenschaftliche Theorie sollte einer Bardame erklärbar sein.
(Ernest Rutherford, Physiker)Hallo,
ich habe noch eine Frage zur Bewertung der Messsystem-Eignung.
Die Auflösung des Messsystems soll ja ca. 20x höher sein als die Toleranz.Wenn ich nun Oberflächenfehler bestimme, die einen max. Durchmesser von 1mm haben dürfen (d.h. von 0 bis 1mm ist i.O, darüber n.i.O.), dann müsste demzufolge die Auflösung des Messystems 0,05mm betragen. Liege ich da richtig?
Gruß
MartinHallo Martin,
quote:
Ursprünglich veröffentlicht von madWenn ich nun Oberflächenfehler bestimme, die einen max. Durchmesser von 1mm haben dürfen (d.h. von 0 bis 1mm ist i.O, darüber n.i.O.), dann müsste demzufolge die Auflösung des Messystems 0,05mm betragen. Liege ich da richtig?
Ja, das ist richtig. Laut VDA 5 muss die Auflösung mindestens 5% der Toleranzbreite sein, also
kleinster Anzeigeschritt / Toleranzbreite = 0,05 / 1,0 = 5%Viele Grüße
Barbara
————
Eine gute wissenschaftliche Theorie sollte einer Bardame erklärbar sein.
(Ernest Rutherford, Physiker) -
AutorBeiträge
- Sie müssen angemeldet sein, um auf dieses Thema antworten zu können.