Design Validation für Medizinprodukte lt. FDA

[lsb]

#23149

Hallo,

ich setze mich gerade mit dem Thema der „Design Validation“ in Zusammenhang mit Medizinprodukten auseinander.
FDA-Definition: Design validation means establishing by objective evidence that device specifications conform with user needs and intended use(s). (zu deutsch: Führen eines objektiven Nachweises, dass die Gerätespezifikationen die Bedürfnisse und den vorgesehenen Gebrauch seitens der Anwender erfüllen.)

Konkret gilt es eine Vorgehensweise zu definieren, die während der Produktentwicklung bereits eine Validierung der Produkteigenschaften zulässt, damit die Anforderungen seitens FDA erfüllt werden.

Ich bin auf der Suche nach Unterlagen, die einen möglichen Ablauf bzw. Aufbau einer derartigen Überprüfung beschreiben (so etwas wie einen Validierungsplan oder Checkliste, idealerweise modular aufgebaut um sich den jeweiligen Produktfunktionalitäten anpassen zu können)

Generell reicht es nicht aus nur das Lastenheft zu validieren. Es gilt Beweise zu liefern, dass die Gerätespezifikationen zu den Anwenderwünschen und zum Verwendungszweck passt (Stichwort Usability).

besten dank im Voraus…

[medi12]

#49037

Hallo lsb,

sagt Dir die Norm: EN60601-1-6 (Gebrauchstauglichkeit) was? Die meisten halten die Norm zwar für ne „Schrott-Norm“ weil keine wirklichen Anforderungen drinstehen, für einen Eindruck über den Ablauf einer Usablitity-Prüfung ist sie aber halbwegs geeignet.

Gruss,
medi

p.s. die Norm ist verbindlich seit Mitte letzten Jahres – leider.

Und machst du einen Plan, und bist ein schlauer Wicht, so machst du einen zweiten Plan doch gehn tun beide nicht.

[Rainaari]

#49038

Hallo LSB,

viel Spass dabei ;) Für die Validierung gibt es Musterdokumente der GHTF, die viel erklären.
Die von der FDA favorisierte Vorgehensweise ist das Wasserfallmodell mit einer (durchaus mehrfach durchgeführten) Risikoanalyse. Neben dem Lastenheft solltest du auch mit Prototypen arbeiten.

Dokumente von uns kann ich dir leider nicht zur Verfügung stellen.

Hoffe, das hilft erstmal.

gruß, Rainaari

[Deichkind]

#49052

Hallo ISB,

ich habe vor ein paar Jahren mal den Usability-Part zur Design-Validierung für ein Amerikanisches Unternehmen abgewickelt. Die und offenbar auch die FDA waren ganz zufrieden damit.

Ich habe mich an der (damals im Entwurf vorliegenden) IEC 60601-1-6 und an FDA Dokumenten zum Thema Human Factor (Do it by design, to err is human etc.)(http://www.fda.gov/cdrh/humanfactors/)orientiert und bin dann so vorgegangen:

Voraussetzungen:
1. Zweckbestimmung liegt vor
2. GA liegt vor
3. 0-Serien-Gerät liegt vor
4. Anwender definiert (z.B. Intensivpfleger)
5. Nutzungskontext definiert (z.B. Intensivstation, OP-Saal, Hubschrauber, Stressfaktoren, Umwelteinflüsse wie Licht, Lärm usw.) Hilfe bietet da die IEC 60601-1-6

Methode:
Usability-Test mit 8 Anwendern in Originalumgebung
Interview mit Anwendern

Bewertungsschema:
3-Stufiges-Ampelschema
Bewertung durch Risikomanagement-Team

Vorbereitung:
1. Test-Probanden gewinnen
2. Zeiten und Platz in Originalumgebung organisieren (schwierig)
3. Testplan entwickeln (Der hangelt sich z.B. entlang der in der Gebrauchsanweisung beschrieben Anwendung des Gerätes: Einschalten, Checken, Alarmgrenzen einstellen, Alarme quittieren, Förderraten eingeben, Batterien wechseln, Daten interpretieren)
4. Testkriterien festlegen (Wann ist ein Punkt erfüllt = grün, wann nicht = rot) Beispiel: Alarm muss innerhalb von x Sekunden erkannt werden. (schwierig)

Durchführung
Testleiter gibt die Aufgaben aus Testplan vor
Proband führt aus
Test wird aufgezeichnet (Video)
Interview mit geschlossenen Fragen und ja/nein oder 1-2-3 Antworten

Bewertung
1. Einzelschritte
2. Gesamt
3. Interviewergebnisse

Report
Testplan
Testdesign
Probandenauswahl
Kriterien
Testergebnisse
Maßnahmenempfehlungen

Ob man die Probanden vorher in die Produkte einweist, sie während des Test unter Stress setzt usw. ist Geschmackssache muss aber natürlich definiert werden.

Neben der Usability gibt es aber noch weitere Produktspezifische Eigenschaften, die validiert werden müssen (z.B. Verhalten im MRT oder so).

Wahrscheinlich darf man in diesem Forum keine Medizintechnik-Gebrauchstauglichkeits-Test-Dienstleister beim Namen nennen (oder Babara?). Ich wüsste aber einen (keine Angst ich arbeite nicht dort)

Gruß

Deichi

geändert von – deichkind on 10/10/2007 11:28:49

[Barbara]

#49053

Hallo Deichkind und Ihr anderen,

selbstverständlich dürft Ihr hier Namen nennen, wenn es sich um Erfahrungen handelt.

Das Forum soll nur frei von (ungefragter) Werbung bleiben oder von merkwürdigen Beiträgen wie: „Kennt Ihr schon XY, die sind wirklich gut.“ und Du siehst im Profil, dass der Schreiberling XY vertreibt oder anbietet.

Damit nicht irgendwelche Firmen auf das schmale Brett kommen, Abmahnungen zu schreiben, sollte nichts und niemand despektierlich oder unsachlich beschrieben werden und natürlich sollen auch Unterstellungen („die von der Firma XY sind käuflich“) unterbleiben.

Ansonsten bist Du herzlich eingeladen, uns an Deinem Wissen und Deinen Erfahrungen teilhaben zu lassen :-)

Viele Grüße

Barbara

_____________________________________

Ich fühle, dass Kleinigkeiten die Summe des Lebens ausmachen.
(Charles Dickens, Schriftsteller)

[Deichkind]

#49057

na denne:

Also die Usability-Freaks findet man unter http://www.use-lab.de

Obermufti ist dort Uvo Hölscher, ein ziemliches Urgestein in der Medtechnik.

Die haben da übrigens Simulationsräume (OP und so), die das Usability-Testen wahrscheinlich einfacher machen.

Gruß

Deichi

[Frank_Hergt]

#49059

Sag‘ mal, Deichkind,

als potentielles Opfer interessiert’s mich ja doch: Wie kommt man für solche Versuche an Probanden??? Eine echte Validierung hast Du doch erst, wenn auch ein echter Patient auf dem Tisch liegt, oder?

Schöne Grüße

Frank

„There’s no problem too great for running away from it!“ (Charlie Braun)

[Deichkind]

#49060

Hi Frank,

genau, da kannst du dann dein Krankenhaustagegeld noch durch ein Honorar aufbessern.

Nein im Ernst:

Probanden sind in diesem Test die Anwender (Pflegekräfte, Ärzte, in Einzelfällen auch Patienten bei Produkten aus dem Homecarebereich, z.B. Blutzuckermessgeräten).

Es geht natürlich auch darum die Anwendungsumgebung und die Anwendungbedingungen möglichst detailliert zu simulieren, aber auch so, dass das ganze einigemaßen reproduzierbar bleibt.

In einigen Fällen kann auf den Faktor Patient während des Tests verzichtet werden (wenn z.B. nur die Bedienung der Monitoreinstellung getestet werden soll).

In anderen Fällen ist eine physiologische Interaktion notwendig. Beispiel: Einstellung und Kontrolle von Beatmungsparametern, Ablesen von EKG-Kurven. Dafür gibt es Simulatoren, die einen rein technischen Aufbau darstellen (Boxen).

In den meisten Fällen muss man den Patienten aber im Ganzen mitsimulieren. Dafür gibt es Dummys, die unter anderem auch in medizinischen Trainings genutz werden. Einfache Dummys hat fast jede Pflegeschule, die Eigenen sich z.B. zur Simulation von Umlagerungssituationen und einfache Verkabelungen.

Tests mit Patienten verbieten sich natürlich. Diese 100% reale Bedingungen habe ich nur zum Zuschauen benutzt. Das heißt hier kann man durch Beobachtug und Auswertung (z.B. von Zeiten usw.) Produkte bewerten, die schon auf dem Markt sind. Da ist dann aber nix mehr mit Steuerung des Tests von Außen.

Ein problem kann es übrigens sein, geeignete Probanden (Test-Anwender) zu bekommen. Denn die Probanden verschleißen evtl. mit der Zeit. Wenn die nämlich nach einigen Validierungen zu richtigen Medizintechnik-Freaks mutieren, geht deren Vergleichbarkeit mit der großen Masse der Anwender ggf. verloren. Es gibt aber auch die Meinung, dass diese dann einen besonders scharfen Blick für Ergonomieprobleme haben und somit eher von Vorteil sind.

P.S.
Testen kann man die Gebrauchstauglichkeit auch schon in früheren Entwicklungsstadien, z.B. mit Designmodellen, Softwaresimulationen und Ähnlichem. Allerdings kann man damit natürlich nicht so eine umfassende Validierung durchführen sondern eher den Focus auf einzelene Systemkomponenten lagen.

Gruß

Deichi

geändert von – deichkind on 15/10/2007 08:22:37

[lsb]

#49355

Hallo,

erstmal vielen, vielen Dank für die konstruktiven Hinweise und Antworten!

Habe mir daraufhin einen möglichen (modularen) Ablauf der Design Validierung (DV) ausgedacht. Jetzt stellen sich mir folgende Fragen:
– wie reagiere ich auf Ergebnisse der DV, die eine Produktänderung erfordern ? (z.B. eine Konstruktionsänderung). Muss ich dann das geänderte Produkt erneut der kompletten DV unterziehen, oder lasse ich die Ergebnisse einfach in die Serienfertigung einfließen?

– es wird gefordert, die bei der DV verwendeten Produkte unter den künftigen Fertigungsbedingungen herzustellen -> was mache ich wenn ich den Herstellungsprozess an dieser Stelle noch nicht qualifiziert und bewertet habe, weil ich bereits sehr früh mit der DV beginnen möchte ?

– allgemein gefragt: wann ist der frühestmögliche und sinnvolle aber auch zulässige (gesetzliche Rahmenbedingungen) Zeitpunkt Produkte am Anwender zu erproben?

vielen Dank im Voraus,
lsb

[Deichkind]

#49366

Moin lsb,

zum ersten Punkt:
Wenn du im Rahmen der DV die gleiche Logik verfolgst, wie z.B. beim Risikomanagment nach ISO 14971, müsstest du eigentlich das gesamte Produkt noch einmal validieren, wenn du eine Änderung vorgenommen hast. Es könnten ja schließlich neue Probleme/Risiken durch die Änderungen entstanden sein.

zu Punkt 2:
Vielleicht würde es helfen, das Produkt in sinnvoll abgegrenzte Module aufzugliedern, die zunächst einzeln Validiert werden. Dann, wenn man sich wie in 1 beschrieben an die Lösung rangearbeitet hat, kann man anfangen das Gesamtsystem zu validieren. So muss man nicht immer den großen Aufwand betreiben.

zu 3.:
So früh wie möglich, meiner Meinung nach. Labortests sind unkritisch, was die Gesetzeslage angeht. Gehst du allerdings mit deinem Produkt in die Klinik ist unter Umständen eine Menge zu beachten (Stichwort: Klinische Erprobung, CE-Kennzeichnung usw.).

Gruß

Deichi

[lsb]

#49372

Hallo Deichi,

zu der Gesetzeslage bei Labortests: wenn ich dich recht verstehe, dann siehst du keine Bedenken, wenn ich ein nicht zertifiertes Medizinprodukt im Haus am Patienten erprobe (in-house Tests)?

Grundsätzlich ist es ja von von enormer Wichtigkeit sehr früh den künftigen Anwender mit dem Produkt in Kontakt zu bringen, um wichtige Erkenntnisse zu gewinnen.

neGrü,
lsb

[Deichkind]

#49375

Hi lsb,

also Labortest heißt für mich: Arbeiten unter isolierten und simulierten Bedingungen.

Produkte wie z.B. Patientenmonitore kannst du hinsichtlich Ihrer Gebrauchstauglichkeit ja wie oben beschrieben auch ohne Patienten validieren.

Also Validieren unbedingt immer mit Anwendern aber immer ohne Patienten!

Wenn medizinische Parameter unbedingt mit in die Validierung einfließen müssen, die nicht sauber simuliert werden können, dann hilft evtl. ein Tierexperiment weiter. Wir haben z.B. Sensoren für Cerebrale-Messungen an Schweinen getestet. Da wird es aber echt kniffelig und sehr, sehr aufwendig.

Nochmal: Bloß keine Tests mit Patienten durchführen.

Um was für ein Produkt gehts eigentlich bei euch? Vielleicht reden wir auch noch ein bisschen aneinander vorbei.

Gruß

Deichi

[lsb]

#49429

Hallo,

also wir arbeiten mit Klasse I Produkten aus dem Reha Bereich -> also keine Hochrisiko Produkte.

Ein Teil der Design Validierung ist bei uns die Befragung von Anwendern. Dabei wird ein Fragebogen ausgefüllt, der Teil des Validierungsergebnisses ist. Bei den Forderungen ist ja immer die Rede von Akzeptanzgrenzen, die bei vor der eigentlichen Validierung festgelegt werden müssen. Beim Abprüfen von technischen Parametern (Festigkeit, Temperaturbeständigkeit) ist das ja kein Problem. Wie gehe ich da aber bei der Anwenderbefragung vor? Wie lege ich z.B. bei einer Frage „Gab es Probleme beim Einbau, wenn ja welche?“ die Akzeptanzgrenzen? Es geht hier ja großteils um subjektive Empfindungen, die schwer in Zahlen zu fassen sind.

Was ich damit dagen will, ist dass ich technische Parameter in Verbindung mit Akzeptanzgrenzen sehr leicht abprüfen kann. Ergebisse von Anwenderbefragungen sind allerdings sehr schwer zu quantifizieren, weshalb auch das Festlegen von Akzeptanzgrenzen meiner Meinung nach schwierig ist.

Deshalb würde ich mich über Hilfe (was die Auswertung von Befragungen betrifft) sehr freuen.

Danke,
lsb

[Deichkind]

#49464

Hallo Isb,

da hast du vollkommen recht. Es ist schon ganz schön kniffelig, die Anwender-Informationen zu bewerten.

Meiner Meinung nach ist eine gute Möglichkeit, die Bewertung durch den Anwender selbst vornehmen zu lassen.

Wir haben dazu ein dreistufiges „Ampel-Schema“ angewendet. Dreistufig deshalb, weil sich die Anwender dann ziemlich abgegrenzt entscheiden müssen. Je mehr stufen man nimmt, desto mehr verwässert das Ergebnis habe ich festgestellt.

Beispiel für eine Frage:

Wie beurteilen Sie die Lösung zum Einsetzen des neuen Patientenchips in das Gerät?
Grün (1)
Gelb (2)
Rot (3)

Das ist die gleiche Skalierung, die man auch bei der Auswertung eines Usabilty-Tests anwenden kann.

Dabei gilt:

Rot:
Wiederholte Fehlhandlungen,
Handlungsblockaden,
massive Hilfestellung erforderlich

Gelb:
Unsicherheiten, leichte
Fehlhandlungen, Probierverhalten,
Hilfestellung erforderlich

Grün:
selbständige, präzise Ausführung der Handlungsschritte, kurzes Zögern und Selbstkorrektur zulässig.

Bei Bewertungen, die gelb oder rot sind, habe ich dann zusätzlich nach dem Grund für die Bewertung gefragt, um ihn mit in den Bericht zu schreiben.

Akzeptanzkriterium war dann z.B., dass mindestens 80% der Befragten mit „grün“ Antworten müssen und nicht mehr als 10% mit „rot“.

Bei deiner Frage nach dem Einbau würde sich aber evtl. auch ein Testschritt eigenen, in dem du die Anwender beobachtest und die Zeit oder einen anderen Parameter misst. Die Akzeptable zeit müsstest du dann vorher festlegen.

Ich hoffe, das hilft.

Gruß Deichi

[lsb]

#49706

Hallo,

ich habe mich in den vergangenen Tagen nach einer längeren Pause wieder mal mit dem Thema der Design Validierung befasst. Dabei bin ich auf folgende Unklarheit gestoßen:

Auf der einen Seite verlang die Norm (EN ISO 13485), „dass das resultierende Produkt in der Lage ist, die Anforderungen für die festgelegte Anwendung oder den beabsichtigten Gebrauch zu erfüllen. Die Validierung muss vor Auslieferung oder Einsatz des Produkts abgeschlossen werden.“

Also ich muss das Entwicklungsergebnis hinsichtlich der Tauglichkeit beim Anwender prüfen, damit ich eine Zulassung erlange (Anwender ist z.B. die OP-Schwester, die ein Gerät bedient). Auf der anderen Seite brauche ich aber, um das „fast fertige Produkt“ am Patienten zu prüfen eine erfolgte Zertifizierung. Also irgendwie beißt sich da die Katze in den Schwanz!

Mir ist schon klar, dass ich vor allem jene Dinge, die den Anwender und nicht den Patienten betreffen, in simulierter Umgebung prüfen kann. Aber was ist, wenn der Anwender wenig bis gar nicht beim künftigen Einsatz des Produktes involviert ist, sondern Patient und Anwender sozusagen ein und die selbe Person sind? (Beispiel BlutdruckMessgerät, Rollstuhl, also alles was im Bereich HomeCare abläuft)

Ich habe diesbezüglich etwas Schwierigkeiten diese Dinge zu trennen. Konkret weiß ich nicht, was ich zum Abschluss der Produktentwicklung an Validierungsschritten benötige, damit ich mit dem Einsatz am Patienten beginnen kann. Und dieser Einsatz am Patienten liefert ja auch wichtige Informationen, die man halt auch so bald wie möglich sammeln möchte.

Also vielen Dank im Voraus, und hoffentlich kann mir da jemand weiter helfen..

neGrü,
lsb

[Autor]

Beiträge