-
Hallo Barbara,
erstmal vielen Dank, dass dich mein langer Text nicht abgeschreckt hat! [:)]
Bin wirklich erfreut [;)]Ja, ist schon ein interessantes Thema. Aber die Zeit ist schon recht fortgeschritten, und genau diese Menge an Daten und Auswertungsmöglichkeiten macht mir manchmal zu schaffen … aber das wird schon.
Sorry, das Bild hatte ich vergessen, hier ist es:
Meine Antworten zu deinen Punkten:
quote:
Ursprünglich veröffentlicht von BarbaraWas ich noch nicht ganz verstanden habe ich das Ziel der Auswertung. Erst schreibst Du
quote:
Ursprünglich veröffentlicht von Dickes_PDas Ziel ist, die Emissionen der Resonatoren quantitativ zu überwachen, d.h. Radius und Schwerpunkt des Laserstrahles dürfen über die Zeit nicht zu stark schwanken.Damit wäre das Ziel, die Größe der Streuung greifbar zu machen, um in einem zweiten Schritt zu beurteilen, ob die Streuung klein genug ist.
Das passt nur nicht zu dieser Info etwas weiter unten:
quote:
Ursprünglich veröffentlicht von Dickes_PIst der Resonator mit „OK“ bewertet nach der Messung…Diese Bewertung erfolgt über die Messwerte/Streuung und soll doch eigentlich Ziel der Abschlussarbeit sein, oder? Oder gibt es schon ein etabliertes Verfahren zur Beurteilung der Resonatoren und Du sollst das Verfahren weiter untersuchen/verfeinern/ersetzen?
Ja, genau. Es gibt schon ein optisches Bewertungsverfahren, d.h. man schaut sich Bilder der Intensitätsverteilung des Laserstrahles über die Zeit an und bewertet den Resonator letztlich mit „stabil“ oder „instabil“.
Nur manchmal gibt es eben Drifts oder Pendeln des Lasers, welches der eine als nicht akzeptabel erachtet, wohingegen ein anderer gar nicht so genau darauf geachtet hat. Dieser subjektive Einfluss motiviert zur quantitativen und objektiven Beurteilung.
Ziel ist also: Unterstützend, langfristig gar substituierend die Streuung/Stabilität des Lasers anhand der Kurven bzw. statistischer Kennzahlen beurteilen.Allerdings treffe ich eine Vorauswahl: Alle Messreihen, die von einer erfahrenen Kollegin als stabil beurteilt wurden, filtere ich heraus und nehme sie in meinen Datenpool. Aus dieser Menge an optisch „stabil“ bewerteten Resonatoren versuche ich meine Grenzwerte für die maximale Streuung zu ermitteln. Allerdings unterscheiden sich all diese „stabilen“ Resonatoren hinsichtlich ihrer Streuung. Demnach möchte ich die Messreihe (bzw. resultierende Kurve) mit der größten Streuung heranziehen (bspw. blaue Kurve von Resonator 3 im Bild hat die größte Standardabweichung von allen optisch stabilen Resonatoren), um OEG/UEG für die Streuung des Radius um seinen Mittelwert zu berechnen.
Zusammengefasst:
1. Historische Daten aller gemessen Resonatoren –> 2. Filtere alle „optisch“ stabil bewertete Resonatoren heraus –> 3. Nehme von diesen Resonatoren denjenigen mit der maximalen Schwankung/Streuung –> Berechne anhand dieses Resonators OEG/UEG statistisch korrektquote:
Ursprünglich veröffentlicht von Barbara
Einen weiteren logischen Knick hab ich bei der Anwendung von Regelkarten für die Produktabnahme:- SPC: Statistische Prozess-Regelung und -Überwachung
- Produktabnahme: Produktbewertung
Mit Regelkarten wird der Verlauf des Prozesses bewertet, z. B. dahingehend, ob es Trends, Sprünge oder andere nicht-stabile Entwicklungen gibt. Dabei ist es egal, wie die Anforderungen an das spätere Produkt sind, weil der Prozess betrachtet wird. Bei der Produktabnahme wird dagegen geprüft, ob die Anforderungen an den Resonator ausreichend gut erfüllt sind (z. B. Schwankung klein genug). Auch wenn für beide Bewertungen dieselben Messwerte verwendet werden (können), sind die Zielsetzungen und damit auch die statistischen Methoden oft unterschiedlich.
Die Anforderungen an das Produkt (Resonator) sind: Stabile Emission des Laserstrahles während der 1stündigen Messung.
Betrachte ich die 1stündige Messung als Prozess, kann ich meine Messkurve doch in eine Regelkarte „legen“. Die Kurve soll ja möglichst wenig streuen (idealisiert gedacht eine horizontale Linie). D.h. in der Realität möchte ich die Abweichungen der Messpunkte vom Mittelwert begrenzen. Die Methodik einer Regelkarte sollte hier funktionieren, aber folgende Problematik muss man natürlich im Hinterkopf behalten:
Ich erstelle die Regelkarte nicht für einen Resonator, sondern für alle Resonatoren 1, 2, 3, … usw. die einer bestimmten Baureihe angehören.
Alte, gemessene Resonatoren muss ich daher als meinen „Vorlauf“ für die Regelkarte betrachten. Diesen Vorlauf muss ich geeignet auswerten, um korrekte Grenzen zu erhalten (siehe meine obige Beschreibung meiner Vorgehensweise)quote:
Ursprünglich veröffentlicht von Barbara
Eins ist auf jeden Fall immer eine schlechte Idee: Pseudo-Stichprobengruppen, weil die eine Struktur in die Messwerte bringen, die in der Realität fehlt. Das begünstigt irreführende Ergebnisse. Sinnvoller sind die gleitenden Kennzahlen (Moving Average, Moving Range) oder andere Glättungsfunktionen, je nachdem, was Ziel der Auswertung ist.Okay, danke für den Hinweis. In dem Buch wurden beide Vorgehsweisen (Pseudo-Stichprobe vs. Moving Range) vorgeschlagen. Allerdings sehe ich das zusammenfassen auch als problematisch an.
Mittels Moving Range würde mein Vorgehen ja so aussehen (Vorgehensweise für Einzelwertkarte / individuals control chart):
1. Berechne zwischen allen benachbarten Punkten die Range: MR = |x_(i+1)-x_(i)|
2. Berechne das Mittel aus allen MR. Man erhält MR_mittel
3. Berechne OEG/UEG:
OEG = x_mittel + k * MR_mittel
UEG = x_mittel – k * MR_mittel
(laut Wikipedia ist k = 2,66 –> https://en.wikipedia.org/wiki/Shewhart_individuals_control_chart)Problem: Führe dies mittels der Messwerte bei der blauen Kurve im obigen Bild durch.
Die Range zwischen benachbarten Punkten ist klein ggü. der Range der gesamten Kurve. Konsequenz: Meine Grenzen sind viel zu eng.
Mir ist bewusst, dass bei obiger Kurve ein systematischer Einfluss vorliegt (vermutlich Kühlwasser), sodass meine Punkte nicht mehr zufällig streuen. Dieses Phänomen tritt nicht immer auf, aber solange es nicht zu stark ist (die Schwankung also nicht zu groß), muss es akzeptiert werden.Daher habe ich eine alternative Idee, um OEG/UEG zu berechnen. Ich berechne einfach die „globale“ Standardabweichung der gesamten Kurve. Platt ausgedrückt: in meine Excel-Formel Stabw() kommen alle Messpunkte rein. Ich erhalte ein Sigma als Schätzer für meine Streuung.
Damit berechne ich wie folgt:
OEG = x_mittel + k * Sigma
UEG = x_mittel – k * SigmaProblematisch ist k=3 bei der globalen Standardabweichung, weil es für gewöhnlich zu weite Grenzen liefern soll.
Siehe die Begründung unter Titel „Approach 4“ unter folgendem Link: http://www.qualitydigest.com/inside/quality-insider-column/individual-charts-done-right-and-wrong.html.
Auch laut einem Buch von Dietrich, Schulze (Q-Das) führt k=3 zu zu weiten Grenzen, weshalb sich k=2 als praktikabel erwiesen hat. Bei mir jedoch führt dies zu zu engen Grenzen.quote:
Ursprünglich veröffentlicht von Barbara
Das mit dem u=3 bzw. u=2 unter dem Stichwort „Erweiterungsfaktor“ stammt aus der Metrologie und nicht aus der Statistik. Die Metrologie arbeitet oft mit u=2 (oder k=2) bzw. einer Abdeckung von 95%, nach dem Motto „Das ist schon ganz schön viel.“In der Statistik wird dagegen bei Regelkarten seit Jahrzehnten mit u=3 bzw. k=3 und einer Abdeckung von 99,73% gearbeitet, nach dem Motto „Das deckt (fast) alles ab.“. Dieser Bereich heißt auch „natürliche Toleranz“ und findet sich u. a. in Regelkarten für die Eingriffsgrenzen und in der Prozessfähigkeitsbewertung.
Gut, dass du das ansprichst [:)]
Siehe oben die Begründung, warum k=3 bei Verwendung der globalen Standardabweichung problematisch ist.
Wie ist Deine fachliche Meinung dazu?Ui, schon wieder so ein langer Text [8)]
Um es auf den Punkt zu bringen:
1. Ich muss aus der Menge/Datenbasis an optisch „stabilen“ Resonatoren meine Grenzwerte berechnen, obwohl die Resonatoren unterschiedlich hinsichtlich Streuung sind. Daher mein Gedanke, von allen stabilen jenen zu nehmen, dessen Schwankung maximal ist. Ist das ein logisches Vorgehen?
2. Sofern ich meine Datenbasis in richtiger Weise gefiltet habe, muss ich irgendwie meine Grenzen berechnen:
a) Moving Ranges –> zu kleine Grenzen bei periodischem Verlauf der Kurve –> Grenzen wie korrekt erweitern?
b) Alternativ die äußere, globale Standardabweichung benutzen –> wie korrektes k=? wählen?
Vielen Dank nochmal für deinen ausführlichen Input!
Viele Grüße,
PatrickP.S.: Du bist hier echt aktiv in dem Forum [:)] Ich denke mal, du bist auch beruflich im Qualitätsmanagement unterwegs?
Guten Tag Barbara,
erst einmal vielen Dank für deine umfangreiche Antwort mit ihren kritischen Bemerkungen und interessanten Literaturhinweisen – sehr wertvoll für mich, ich weiß das sehr zu schätzen! [:)]
quote:
Wheeler hat Recht, wenn er darauf hinweist, dass bei Einzelwertkarten nicht einfach statt des mittleren MR-Werts mit dem Faktor 2,66 die Gesamt-Standardabweichung mit dem Faktor 3 verwendet werden kann/sollte. (Zur Bezeichnung: Wheeler spricht von XmR Regelkarten, die sonst meist als ImR / Individual-moving-Range / Urwertkarten bezeichnet werden.) Beide Formeln sind im NIST/SEMATECH e-Handbook of Statistical Methods angegeben, das auch für andere Fragen eine gute Quelle für Statistik-Anwendungen ist:
6.3.2.2. Individuals Control Charts (Formel mit Standardabweichung am Ende der Seite)
6.3.2. What are Variables Control Charts? (Berechnung des Faktors c4)Allerdings sind die Unterschiede zwischen der korrekten Formel mit der Standardabweichung inkl. Konstante c4 und der 3-fachen Standardabweichung sehr klein, wenn in der Gesamt-Standardabweichung mehr als 26 Werte verwendet werden. Für Deine 30 Werte berechnet sich der c4-Faktor zu 0,9914, d. h. es wird nicht die 3-fache Standardabweichung sondern
3/c4 = 3/0,9914181 = 3,0260
verwendet, d. h. einen Hauch weitere Grenzen als ohne c4-Korrekturfaktor.Auf dieses e-Handbook of Statistical Methods bin ich vor langer Zeit auch einmal gestoßen, aber auf die entsprechenden Kapitel nicht….manchmal sollte ich bei der Recherche hartnäckiger sein. [;)]
Immerhin habe ich jetzt eine fundierte Begründung, warum die Verwendung von k*S mit k=3 bei mir zulässig ist (sofern natürlich S korrekt berechnet wurde, was ich im folgenden nochmal diskutieren möchte).
quote:
Damit für einen Prozess belastbare, zuverlässige, brauchbare Regelkarten-Grenzen UEG und OEG berechnet werden können, MUSS dieser Prozess stabil sein und damit auch stabile Messwerte liefern. Stabil heißt insbesondere:
+gleiche Mittelwerte
+gleiche Streuung
+zeitliche Stabilität
in ALLEN Messwerten.Deine Bilder zeigen dagegen, dass weder die Mittelwerte noch die Streuung stabil sind und es systematische Veränderungen über die Zeit (mit den 30 Messwerten bei 1 Resonator) gibt. Damit sind die UEG- und OEG-Werte egal nach welcher Formel unzuverlässig und liefern keine haltbare Grundlage für die Beurteilung neuer Messwerte/Resonatoren.
Hier muss ich mich korrigieren:
Wenn ich (angelehnt an das Bild meines letztens Pots) Resonator 3 heranziehe – der schlechteste von den akzeptierten Resonatoren – kann ich darauf basierend natürlich keine OEG/UEG bestimmen.Viel mehr bestimme ich dann TOLERANZgrenzen (deswegen ja auch dein Hinweis auf „Produktbewertung“ in Abgrenzung zur SPC in deinem vorigen Post).
Dessen pendelnde Kurve gibt mir also vor, wie sehr die Messpunkte von der Mittellinie bei allen Resonatoren maximal entfernt sein dürfen.
Wenn ich so meine Toleranzgrenze bestimme, ernte ich vermutlich keinen „Unmut“ im Unternehmen – insb. wenn man bedenkt, wie subjektiv früher mit den Bildern bewertet wurde.Aber wie realistisch ist diese Forderung:
+gleiche Mittelwerte
+gleiche Streuung
+zeitliche Stabilität
in ALLEN Messwerten.
überhaupt?Ich denke hier an zahlreiche Faktoren bei einer Produktionsanlage:
–> wechselnde Bediener
–> schwankende Qualität des Rohmaterials
–> schwankende Umgebungsbedingungen
–> Werkzeugverschließ
… etc.Ist es vielleicht so, dass man unterscheiden muss zwischen „Regelkarten mit 100%ig statistisch korrekt ermittelten Grenzen wie in der Theorie“ vs. „Regelkarten im praktischen Einsatz im Unternehmen“ ?
Ich hoffe, ich mache mich bei einer Statistikerin mit so einer Frage nicht unbeliebt…. [;)][:p]
So, jetzt nochmal zur Berechnung von OEG/UEG basierend auf +/- k * Sigma_dach:quote:
Du brauchst eine belastbare Aussage zur Streubreite des Prozesses. Das geht so einfach direkt aus den Messwerten nicht, weil dort systematische Effekte (z. B. Kühlwasser) auftreten. Ein möglicher Ausweg wäre, die systematischen Effekte aus den Daten herauszurechnen (Stichwort: Modellierung mit Regression/ANOVA/Kovarianzanalyse/statistischen Prozess-Modellen) und wenn das Ergebnis belastbar ist, die Streubreite aus den unerklärten Resten (Residuen) abzuschätzen. Hinweise zur Verwendung von Residuen in Qualitätsregelkarten finden sich z. B. bei
Montgomery, Douglas C. (2012). Statistical Quality Control.
7. Auflage, Wiley. ISBN: 9781118146811 .
unter dem Stichwort „Control Charts on Residuals“Ok, das verstehe ich. Allerdings habe ich noch genug Messkurven vorliegen, die nicht dieses periodische Schwanken aufweisen. Es ist NICHT der Standardfall, wird allerdings (wie oben gesagt) noch toleriert bis zu einem gewissen Ausmaß.
Bei rund 80 % der Kurven liegt gemäß Shapiro-Wilk-Test außerdem Normalverteilung vor bzw. H0 „Die Messwerte folgen einer Normalverteilung“ kann nicht abgelehnt werden und man erkennt auch im Kurvenverlauf keinen systematischen Einfluss.
Ich denke, eine ANOVA kann ich mir daher sparen.Meine Idee war es nun (in Anlehnung an das Bild), dass ich alle akzeptierten Resonatoren (die zudem nicht systematisch streuen) jeweils als eine Stichprobe (von Umfang n=30) betrachte.
Die Standardabweichungen S_1, S_2, … S_n der Stichproben lasse ich in eine der unteren Formeln für den Schätzer Sigma_dach (die oberste Formel im Bild z.B.) für die Streuung der Resonatorbaureihe einfließen:
Das funktioniert ja nur, wenn die Streuung in den Stichproben (also Resonatoren) nicht zu unterschiedlich ist. Doch was heißt das?
Darf ein F-Test auf unterschiedliche Varianzen nicht zur Ablehnung von H0 „Varianz 1 = Varianz 2“ führen – und muss ich so alle Stichproben/Resonatoren vergleichen?(Ich denke hier an eine gewöhnliche Shewart X/S-Karte. Bei ihr werden ja zur Berechnung von OEG/UEG die Innerprobenstandardabweichungen verwendet, aber ich habe noch nie gelesen, dass zuerst kontrolliert wird, ob die diese gleich groß sind )
Wie ist da Dein Urteil?
quote:
Alternativ könntest Du auch untersuchen, wie groß der Grad an Übereinstimmung oder Abweichung der jetztigen Beurteiler ist, um zahlenmäßig greifbarer zu machen, wie gut die aktuelle Prüfung funktioniert (Stichwort Prüferübereinstimmung bei attributiven Daten). Damit hättest Du keine andere Bewertung, aber immer noch ein bisschen was an Statistik für die Abschlussarbeit.Den Grad an Übereinstimmung zwischen den Beurteilern habe ich noch nicht statistisch untersucht, aber wir haben a) Erfahrungswerte vorliegen, dass der eine Beurteile Messungen akzeptiert, bei denen ein anderer, Instabilitäten erkannte.
Und b) habe ich selber in einem Experteninterview den Test mit 4 Personen gemacht und konnte wieder diese Widersprüche feststellen.Den Grad an Übereinstimmung muss ich nicht quantifizieren – die bisherigen Erfahrungen motivieren schon genug, die Bewertung quantitativ auszulegen [;)]
quote:
Denn ob Du die systematischen Effekte aus den Messwerten gut genug rausrechnen kannst, lässt sich so einfach für mich nicht feststellen. Das Ergebnis „nicht-stabile Mittelwerte und nicht-stabile Streuung“ lässt darauf schließen, dass mehr als 1 Faktor/Einfluss einen Effekt auf die Messwerte in der 1h-Messung hat. Und wenn Du noch weiter mit/in der Firma arbeiten möchtest, wäre es schon wünschenswert, wenn Du kein wildes neues Bewertungskriterium beschreibst, was in der Praxis nichts taugt und die Streuung der Resonatoren unzureichend beurteilt.Da hast Du Recht, am Ende sollte etwas herauskommen, was nicht unnötig Ärger macht und unzuverlässig ist.
Allerdings erwartet der Chef von einem Bacheloranden (mir) nicht, dass er im „Alleingang“ das alte Bewertungsverfahren aus der Entwicklungsabteilung vollständig ersetzt [;)]
Ebenso ist ihm bewusst, dass die vorliegende Datenlage nicht ideal ist.Es geht erst einmal darum, zu schauen, wie man das Bewertungsverfahren quantitativ auslegen kann und unterstützend einsetzen kann.
So habe ich angefangen, falls es Dich interessiert:Oben die Bilder der Intensitätsverteilungen (welche dann im zeitlichen Verlauf betrachtet werden), unten eine Kurve aus zugehörigen Messdaten mit statistischen Kennwerten, die diese Kurve charakterisieren sollen.
Daraufhin kam die Idee, das Regelkartenprinzip einzusetzen trotz nicht idealer Datenlage. Anschließend kam die Idee, ein Excel-Tool zu „basteln“, welches die Messdaten einliest und per Knopfdruck die stat. Kennwerte berechnet und warnt, wenn Grenzen überschritten werden.
quote:
Ich bin selbständige Statistikerin und berate Unternehmen beim Einsatz sinnvoller und geeigneter Methoden und Vorgehensweisen. Manchmal sind das auch Menschen aus dem QM.Menschen „deiner Zunft“ bzw mit deinen umfangreichen Kenntnissen sollten viel häufiger anzutreffen sein.
Wenn ich daran denke, wie oft in Unternehmen Auswertungen gemacht werden (oder in der Medizin Studien), bei denen stat. Methoden zum Einsatz kommen und sich darauf verlassen wird, ohne dass die Anwender sich sicher im Gebiet der Statistik bewegen können.Davon kann ich mich selber nicht freisprechen. 1 Semester Statistik gehabt und vieles „mal gehört“. Erst jetzt in der Bachelorarbeit wird mir bewusst, dass ich diesbezüglich viel mehr Kenntnis bräuchte – besonders in Anbetracht meiner Zielsetzung.
Da fühlt man sich doch etwas erschlagen ….Viele Grüße,
Patrick
- Sie müssen angemeldet sein, um auf dieses Thema antworten zu können.