Fraunhofer-Institut für Fabrikbetrieb und -automatisierung IFF
Fraunhofer-Institut für Fabrikbetrieb und -automatisierung IFF

Mit Hightech und künstlicher Intelligenz das Verborgene sichtbar machen

© Fraunhofer IFF

Forschung und Entwicklung im Kompetenzfeld Biosystems Engineering

Alle ausklappen Alle einklappen

HawkSpex® Mobile

Moderne Smartphones sind de-facto in aller Hände. Die Verwendung des Smartphones über die reinen Kommunikationsanwendungen hinaus ist für viele Nutzer eine wesentliche Eigenschaft. Dabei spielen die integrierten Sensoren (z.B. Kameras, GPS, Gyroskop) eine entscheidende Rolle. Eine speziell entwickelte Software, die App, stellt diese weiterreichende Funktionalität für den Nutzer typischerweise zur Verfügung. Eine ganze Gruppe dieser zusätzlichen Eigenschaften geht in Richtung preiswerter, leicht bedienbarer und ständig verfügbarer Mess- und Überwachungsgeräte.

Es gibt viele Anwendungen, bei denen die Beurteilung von Eigenschaften eines, im weitesten Sinne, zu messenden Objektes  auf dessen (bio-)chemischer Zusammensetzung beruht und damit über die Erfassung von Größe, Form, Farbe, Textur, usw. hinausgeht – kurzum, eine Inhaltsstoffkamera erfordert.  Exemplarisch sei die Erfassung des Zustandes von Lebensmitteln im Hinblick auf Frische oder Unbehandeltheit, die verschleierte Nachbesserung von Autolacken nach Unfallschäden, aber auch das Erkennen von Fälschungen bei Dokumenten, Medikamenten oder hochwertigen Textilien genannt.

In »professionellen« Anwendungen findet hierfür häufig hyperspektrale Bildgebung mit speziellen Hyperspektralkameras Anwendung. Per se sind die in Smartphones verbauten Kameras mit dreikanaligen Farbsensoren (rot – grün – blau) ausgestattet und somit nicht für diese Aufgabenstellung geeignet.

Die modellabhängigen Unterschiede der Eigenschaften des Displays und der Frontkamera können vom Nutzer direkt nach der Installation der App oder zu einem späteren Zeitpunkt korrigiert  werden. Als leicht verfügbares Kalibriernormal, das ausgesprochen konstante spektrale Eigenschaften aufweist, werden Geldscheine verwendet. Der Nutzer scannt einmalig einen gut erhaltenen Geldschein. Die App vergleicht diesen mit einer hinterlegten Referenz aus dem Spektrallabor des Fraunhofer IFF und berechnet daraus einen Korrekturterm. Dieser wird dann automatisch bei jedem weiteren Benutzen der App im Hintergrund verwendet.

HawkSpex® Mobile geht einen verblüffend einfachen und vollständig anderen Weg. Die zur Umsetzung hyperspektraler Sensorik grundsätzlich erforderliche Aufteilung des Lichtes in schmalbandige spektrale Kanäle erfolgt durch eine Kombination von steuerbarer Beleuchtung und Farbkamera, eine Art inverse Spektroskopie.


Hierzu werden das Display des Smartphones schnell hintereinander auf seiner gesamten Fläche auf eine Sequenz verschiedener Farben geschaltet und synchron dazu Bildaufnahmen mit der  Frontkamera durchgeführt. Diese misst das vom dadurch definiert beleuchteten Messobjekt reflektierte Licht. Über die Sequenz der Beleuchtungsfarben entsteht in Bruchteilen einer
Sekunde das Spektralbild. Speziell entwickelte Methoden der künstlichen Intelligenz wandeln die aufgenommen spektralen Rohdaten in Informationen im Kontext der konkreten Anwendung um.
Eine App ermöglicht die Nutzerinteraktion, steuert die synchrone Beleuchtung/Bildaufnahme
und stellt die Verbindung zu einer spektralen Anwendungsdatenbank her.

 

Prinzipdarstellung der Spektralmessung mit HawkSpex® Mobile

Das Display leuchtet nacheinander in den 3 Grundfarben, separat und gemeinsam. Synchron dazu werden Farbbilder mit der Frontkamera aufgenommen. Durch die Kombination ergibt sich der Spektraleffekt in 12 Kanälen. Ein Bild bei dunklem Display wird zur Kompensation des Umgebungslichtes genutzt.

HawkSpex® Gadget

Mit HawkSpex® Mobile lassen sich auf der Basis des Smartphones zahlreiche Anwendungen realisieren. Für den ambitionierten Nutzer lässt sich die beschriebene Basislösung vom Smartphone trennen und als HawkSpex® Gadget mit erweiterten spektralen Fähigkeiten nutzen. Hierbei kommen LED Beleuchtung und Fotosensoren zum Einsatz, die eine über das Smartphone hinausgehende, anwendungsbezogene Ausgestaltung der spektralen Bänder bei grundsätzlicher Beibehaltung des sequentiellen Messprinzips ermöglicht. HawkSpex® Gadget kann durch die gleiche App gesteuert oder als separates Gerät betrieben werden.  

HawkSpex® Gadget Systemmodell

 

Mit HawkSpex® Gadget lassen sich nahezu beliebige spektrale Bänder realisieren, die, neben einer größeren möglichen Anzahl, auch den Ultraviolett- und Infrarotbereich erreichen. Der Vorteil gegenüber konventionellen Spektrometern liegt in der Beibehaltung des HawkSpex® Messprinzips, mit all seinen Vorteilen im Hinblick auf universelle Verwendbarkeit, Energiebedarf und Preis.

HawkSpex® Mobile live erleben

Durch Scannen des 3DQR® Codes und Verwenden der 3DQR® App (verfügbar im Apple App Store und Google Play Store) lässt sich HawkSpex® Mobile als Animation in Aktion erleben.

Digital Engineering für Softsensorik mittels künstlicher Intelligenz

Die gebräuchliche Herangehensweise zur Messung verschiedenster Kenngrößen ist der Einsatz von Sensoren, welche eine Ersatzgröße messen, die in einem einfachen Zusammenhang mit der eigentlichen Kenngröße steht. Diese Sensoren werden auch „Hardwaresensoren“ genannt. Die Abbildung wird meist über Kennlinien realisiert. In vielen Fällen können direkte Messverfahren jedoch nicht eingesetzt werden, z.B. wenn

 

  1. Parameter aufgrund mangelnder Sensortechnik nicht direkt messbar sind,
  2. Sensoren zu teuer sind, vor allem wenn diese an vielen Punkten eines Prozesses eingesetzt werden müssten,
  3. Sensoren in einer Umgebung eingesetzt werden, in der sie schnell verschleißen würden.

Hier werden sogenannte Softsensoren (Virtuelle Sensoren) eingesetzt. Diese Sensorsysteme bestehen aus zwei grundsätzlichen Komponenten. Eine Komponente besteht aus einem oder mehreren Sensoren, welche indirekte Größen liefern, die in einem systematischen, aber mathematisch komplexen oder nicht analytisch beschreibbaren Zusammenhang mit der Zielgröße stehen. Die zweite Komponente ist ein physikalisches oder empirisches Modell, welches die Zielgröße aus den Sensordaten ermittelt. Während ein physikalisches Modell eine formelle Beschreibung liefert, enthält das empirische Modell eine Approximation der Funktion, welche die Sensordaten auf die Zielgröße abbildet.

© Fraunhofer IFF

Entwicklung eines Softsensorsystems

Das Kompetenzfeld Biosystems Engineering beschäftigt sich mit der Entwicklung von Verfahren der künstlichen Intelligenz und des Maschinellen Lernens, um schnell und effizient empirische Modelle auf der Basis von systematischen Beispieldaten zu erstellen. Dabei zeichnen sich diese Modelle durch folgende Merkmale aus:

  1. Skalierbarkeit: Die Verarbeitungskomplexität kann graduell an vorhandene Hardware angepasst werden.
  2. Robustheit: Das Modell ist robust gegen auftretende Variationen in den Daten, welche irrelevant zur Errechnung der Zielgröße sind.
  3. Automatisierung: Modellerstellung und Methodenauswahl können weitestgehend automatisiert werden.
  4. Echtzeitfähigkeit: Modelladaption und Wissensabruf genügen Echtzeitanforderungen.
  5. Interpretierbarkeit: Das Modell ist typischerweise in der originalen physikalischen Datendomain definiert und lebt somit in der Welt des Anwenders.

Publikationen

Backhaus, A. & Seiffert, U., Classification in High-dimensional Spectral Data: Accuracy vs. Interpretability vs. Model Size, Neurocomputing, 2014, 131, 15-22

Villmann, T.; Kästner, M.; Backhaus, A. & Seiffert, U., Processing Hyperspectral Data in Machine Learning. Proceedings of the 21. European Symposium on Artificial Neural Networks ESANN 2013, 1-10

Optische Chemometrie und automatisierte Analyse spektraler Daten

Die Erhebung spektraler Daten ermöglicht generell Rückschlüsse auf die stoffliche Zusammensetzung der untersuchten Probe. Im Falle der Verfügbarkeit ortsaufgelöster Spektraldaten (z. B. durch Spektralkameras, oder MALDI-Imaging) entstehen äußerst komplexe Datensätze, die spezielle Analyseverfahren erfordern, um die darin enthaltenen relevanten Informationen zu extrahieren. Hierzu betreibt das Kompetenzfeld Biosystems Engineering umfangreiche Forschungsarbeiten zur Entwicklung angepasster Algorithmen, die klassische Statistik und neueste Methoden des maschinellen Lernens und der künstlichen Intelligenz verbinden. Diese Forschungsarbeiten sind wiederum der Ausgangspunkt für die Entwicklung kundenspezifischer Lösungen in unterschiedlichen Anwendungsfeldern.

© Fraunhofer IFF

Bei der hyperspektralen Bildgebung wird die betrachtete Szenerie in einer Vielzahl, häufig schmalbandiger, Wellenlängenbereiche aufgenommen. Es entsteht ein Bildstapel, der die zweidimensional aufgelöste Ortsinformation enthält. Jedes Bildpixel wird somit zum Vektor, der den spektralen Fingerprint an dieser Stelle im aufgenommenen Wellenlängenbereich enthält. Die typische Anzahl der aufgenommenen Spektren beträgt mehrere hundert.

Publikationen

Bollenbeck, F. & Seiffert, U. Application-adaptive Dissimilarity Measures for Hyperspectral Images, Machine Learning Reports, 2010, 4, 23-27

Seiffert, U. & Bollenbeck, F., Clustering of Hyperspectral Image Signatures Using Neural Gas, Machine Learning Reports, 2010, 4, 49-59

Seiffert, U.; Bollenbeck, F.; Mock, H.-P. & Matros, A. Clustering of Crop Phenotypes by Means of Hyperspectral Signatures Using Artificial Neural Networks, Proceedings of the 2nd IEEE Workshop on Hyperspectral Imaging and Signal Processing: Evolution in Remote Sensing WHISPERS 2010, IEEE Press, 2010, 31-34

Backhaus, A.; Bollenbeck, F. & Seiffert, U. Robust classification of the nutrition state in crop plants by hyperspectral imaging and artificial neural networks, In Proc. 3rd Workshop on Hyperspectral Image and Signal Processing: Evolution in Remote Sensing, WHISPERS 2011, IEEE Press, 2011

Intelligente Bildverarbeitung

Das Kompetenzfeld Biosystems Engineering entwickelt grundlegende Algorithmen und kundenspezifische Werkzeuge sowie Systemlösungen zur intelligenten Bild- und Signalverarbeitung. Seitens der Anwendungen liegt der Fokus auf hochdimensionalen biologischen Daten und deren automatisierter und hochdurchsatzfähiger Analyse unter Einbeziehung insbesondere von nicht-explizit vorhandenem Expertenwissen. Seitens der verwendeten Methodik kommen, neben klassischen mathematischen/statistischen Ansätzen, verstärkt Verfahren des maschinellen Lernens und der künstlichen Intelligenz zum Einsatz.

Publikationen

Seiffert, U.: Content Adaptive Compression of Images Using Neural Maps. Proc. of the International Workshop on Self-Organizing Maps WSOM 2005, Paris, France, pp. 227-234, 2005.

Herzog, A.; Herrmann, C.S.; Seiffert U.; Michaelis, B. & Braun, K.: Quantitative 3-D analysis of dendritic spines using geometric models. Society of Neuroscience 2010, 516.11

Automatisierte Erstellung geometrischer Modelle biologischer Objekte und Registrierung funktionaler Daten

Dreidimensionale (räumliche) oder vierdimensionale (räumlich-zeitliche) geometrische Modelle biologischer Objekte dienen vorwiegend, neben der reinen morphologischen Darstellung, der Visualisierung experimenteller Daten in ihrem räumlich-zeitlichen Kontext. Das bezeichnet man häufig als Atlasfunktionalität. Je nach Anforderungen an das Modell (z. B. örtliche Auflösung, Sichtbarkeit bestimmter Strukturen) kommen verschiedene bildgebende Verfahren zum Einsatz:

  1. Kernspinresonanzspektroskopie
  2. Konfokales Laserscanning
  3. Computertomographie

In manchen Fällen muss der dreidimensionale Zusammenhang anhand zweidimensionaler Bilder (z. B. histologische Schnittbilder) erst hergestellt werden.

© Fraunhofer IFF

Segmentiertes dreidimensionales Modelleines Gerstensamens, das aus ca. 2.500 histologischen Einzelschnitten automatisiert erstellt worden ist. Weiterhin dargestellt sind einer der zur Modellgenerierung verwendeten realen Querschnitte an seiner korrekten örtlichen Position sowie ein virtueller Längsschnitt, derin beliebigen Ansichten generiert werden kann. Diese Arbeiten wurden in Kooperation mit der Arbeitsgruppe Samenbiologie am Leibniz-Institut für Pflanzengenetik und Kulturpflanzenforschung Gatersleben (IPK) durchgeführt.

© Fraunhofer IFF

Dreidimensionaler histologischer Atlas eines Gerstensamens mit einem automatisiert registrierten funktionalen Datensatz. Im gezeigten Beispiel ist die räumliche Verteilung eines bestimmten Peptides über einen Längsschnitt, die mittels Mass Spectrometric Imaging (MSI) bestimmt worden ist, dargestellt. Diese Arbeiten wurden in Kooperation mit der Arbeitsgruppe Angewandte Biochemie am Leibniz-Institut für Pflanzengenetik und Kulturpflanzenforschung Gatersleben (IPK) durchgeführt.

© Fraunhofer IFF

Interaktive Visualisierung eines automatisiert erstellten dreidimensionalen Modells eines Blattstängels in der Cave des Fraunhofer IFF Magdeburg. Die Modellgenerierung erfolgte in Kooperation mit der Cell Biology and Imaging Group des James Hutton Institute Dundee, Schottland.

Die erstellten kundenspezifischen Modelle werden in einer Reihe von Projekten zur Registrierung weiterer struktureller Informationen anderer Modalitäten oder funktioneller Daten verwendet. Dadurch ist eine Abbildung bestimmter biologischer Funktionen in räumlichen oder räumlich-zeitlichen strukturellen Mustern möglich. Dazu entwickelt das Kompetenzfeld Biosystems Engineering angepasste mathematische Algorithmen und Werkzeuge, die eine automatisierte Registrierung der o. g. Daten ermöglicht.

Erst durch die Verfügbarkeit derartiger Werkzeuge im Hochdurchsatz lassen sich bestimmte biologische Fragestellungen, z. B. im Rahmen umfangreicher Mutanten-Screenings, adressieren.

Diese virtuellen computerbasiertenModelle können mittels unterschiedlicher dreidimensionaler Projektionstechnik zur individuellen Verifikation sowie für Ausbildungs- und Präsentationszwecke eindrucksvoll und anschaulich dargestellt werden. Hierzu verfügt das Fraunhofer IFF Magdeburg über eine Reihe geeigneter Systeme.

Publikationen

Bollenbeck, F. & Seiffert, U. Joint Registration and Segmentation of Histological Volume Data by Diffusion-Based Label Adaption, 20th International Conference on Pattern Recognition (ICPR), 2010 , 2010, 2440 -2443

Backhaus, A.; Kuwabara, A.; Bauch, M.; Monk, N.; Sanguinetti, G. & Fleming, A., LEAFPROCESSOR: a new leaf phenotyping tool using contour bending energy and shape cluster analysis, New Phytologist, 2010, 187, 251-261

Bollenbeck, F.; Pielot, R.; Weier, D.; Weschke, W. & Seiffert, U., Inter-modality Registration of NMRi and Histological Section Images using Neural Networks Regression in Gabor Feature Space, Proceedings of the IEEE Symposium on Computational Intelligence for Image Processing CIIP 2009, IEEE Press, 2009, 27-34

Bollenbeck, F.; Kaspar, S.; Mock, H.-P.; Weier, D. & Seiffert, U.; Rajasekaran, S. (Ed.) Three-dimensional Multimodality Modelling by Integration of High-Resolution Interindividual Atlases and Functional MALDI-IMS Data, Bioinformatics and Computational Biology, Springer, 2009, 5462, 126-139

Baum, T.; Navarro-Quezada, A.; Knogge, W.; Douchkov, D.; Schweizer, P. & Seiffert, U., HyphArea - Automated Analysis of Spatiotemporal Fungal Patterns, Journal of Plant Physiology, 2011, 168, 72-78