Spectroscopy and Chemometrics News Weekly #47, 2015

Near Infrared

NIR-Sensor ermittelt Trockensubstanz während der Mischwagenbefüllung | Futterkomponente LINK

Ultra-low maintenance FTNIR analyzer for the refining & petrochemical industries | pauto LINK


Infrared

Seeing Through Crude Oil for Efficient Oil Separations using Short-Wave Infrared (SWIR) Cameras – AZoSensors LINK


Facts

RoboBees Can Fly and Swim. What’s Next? Laser Vision – Smithsonian UAS UAV LINK


Equipment

Scientists create an all-organic UV on-chip spectrometer – The U.S. Department of Energy’s Ames LINK


Agriculture

… detection of contaminants in agro-food products, … melamine levels in milk using vibrational spectroscopy LINK


Laboratory

Examining Pigmented Human Tissue using SWIR Raman Spectroscopy – AZoSensors LINK


Other

SCiO Molecular Scanner UNBOXING – Video LINK



CalibrationModel.com

Dear NIR-Spectrometer vendors, this is about how you can improve customer web-traffic | NIRS Spectrometer LINK

Efficient development of new quantitative prediction equations for multivariate NIR spectra | spectra LINK

How to Develop Chemometric Near-Infrared Spectroscopy Calibrations in the 21st Century? | NIR LINK

How to Develop Near-Infrared Spectroscopy Application Today? | pharma lab analysis chemist TechTrends LINK

Improve chemical analysis accuracy by optimized chemometric models for Near-Infra-Red (NIR) Spectroscopy LINK

Improving Accuracy, Precision and Robustness of NIR-analysis LINK

NewsLetter: Spectroscopy and Chemometrics News Weekly 46, 2015 | Molecular Spectroscopy NIRS Chemometrics Raman LINK

Pro Tip: The NIR calibration is the central key to accurate NIR measurement LINK

Services for professional Development of Near-Infrared Spectroscopy Calibration Methods | NIR Quality Testing LINK



Arbeitsweisen zur NIR Kalibrierung – Erstellung von NIRS-Spektroskopie Kalibrierungskurven

Kennen Sie den Effekt, dass Sie bevorzugt ihre Lieblings-Datenvorbehandlungen in Kombination durchprobieren und oft die gleichen Wellenlängen-Selektionen anhand der visualisierten Spektren ausprobieren?

Man probiert z.B. sechs bis zehn Kombinationen aus, bis man davon sein favorisiertes Kalibrationsmodell auswählt, um es dann weiter zu optimieren. Da fallen dann plötzlich Ausreisser (Outlier) auf, weil man in die Tiefe geht, also mit den Daten vertraut ist, man kennt mittlerweile die Spektren-Nummern der Ausreisser und ist mit den Extremwerten vertraut.

Jetzt fokussiert man sich auf die Hauptkomponenten (Principal Components, Latent Variables, Faktoren) und achtet darauf nicht zu über-fitten und nicht zu unter-fitten. Das ganze dauert ein paar Stunden und schliesslich begnügt man sich mit dem gefundenen Modell.

Was wäre nun, wenn man in all den zu Beginn ausprobierten Varianten, die gefundenen Ausreisser entfernt und nochmals berechnet und vergleicht? Wären die Ergebnisse besser als die von der bisherigen Modell Wahl? Man probiert es nicht aus? Weil es mühsam ist und wieder Stunden dauert?

Wir haben eine Software entwickelt die dies so vereinfacht, dass auch die Anzahl der Modell Variationen beliebig erhöht werden kann. Die Varianten Erzeugung läuft automatisiert mit einem intelligenten Regelsystem, so auch die Optimierung und das Vergleichen der Modelle und schliesslich die finale Auswahl des Besten Kalibrations Modell.

Unsere Software beinhaltet alle üblichen bekannten Datenvorbehandlungs Methoden (Preteatments) und kann diese sinnvoll kombinieren. Da viele Preteatments direkt abhängig sind von der Wellenlängen Selektion, so z.B. die Normalisierungen die innerhalb eines Wellenlängen-Bereiches die Skalierungsfaktoren ermittelt, um die Spektren damit zu normieren, werden die Pretreatments mit dem Wellenlängen-Bereichen kombiniert. So kommt eine Vielzahl von sinnvollen Modell Einstellungen zusammen die alle berechnet und optimiert werden.

Für die automatische Auswahl der relevanten Wellenlängen Bereiche kommen verschiedene Methoden zum Einsatz, die sich an den Spektren Intensitäten orientieren. So werden z.B. Bereiche mit Totalabsorption nicht verwendet, oftmals störende Wasserbanden entfernt oder beibehalten.

Über all die berechneten Modell Variationen können so zusammenfassende Outlier Analysen gemacht werden. Werden durch die gefahrenen Versuche neue Outlier (Hidden Outlier) entdeckt, können alle bisherigen Modelle automatisch ohne diese Ausreisser nachberechnet, optimiert und verglichen werden.

Aus dieser Vielzahl berechneter Modelle mit deren Statistischen Güte Bewertungen (Prediction Performance) kann nun die optimale Kalibration ausgewählt werden. Dazu wird nicht einfach nach dem Vorhersage Fehler (Prediction Error, SEP, RMSEP) oder nach dem Bestimmtheitsmaß (Coefficient of Determination r2) sortiert, sondern mehrere Statistik- und Testwerte gemeinsam zur umfänglichen Beurteilung der optimalen Kalibration herangezogen.

Somit haben wir eine Plattform geschaffen, die es ermöglicht hochgradig automatisiert das zu tun, was ein Mensch niemals mit einer handelsüblichen Software tun kann.

Wir bieten damit die grösste Anzahl auf Ihr Applikations-Problem angepasste Modellierungs-Berechnungen und wählen die beste Kalibration für Sie aus!

Das heisst, unsere Ergebnisse sind schneller, genauer, robuster und objektiv ausgewählt (Personen unabhängig) und für Sie ganz einfach anzuwenden.

Die Kontrolle über die von uns gelieferten Modelle haben Sie vollumfänglich, denn wir liefern einen klar strukturierten und detaillierten Bauplan der  kompletten Kalibration, mit allen Einstellungen und Parametern, mit allen notwendigen Statistischen Kenngrössen und Grafiken.

Anhand dieses Bauplans können Sie das quantitative Kalibrations Modell selbst in der von Ihnen verwendeten Software nachstellen, nachvollziehen und vergleichen. Sie haben so alles im Griff, für die Modell-Validierung und die Modellpflege.

Der Datenschutz ist uns sehr wichtig. Die NIR Daten, die Sie uns für die Kalibrations-Erstellung kurzzeitig zu Verfügung stellen bleiben selbstverständlich Ihr Eigentum. Ihre NIR Daten werden nach Abschluss des Auftrags bei uns gelöscht.

Interessiert, dann zögern Sie nicht uns zu kontaktieren.

Proof of Concept

Chemometric software competitions (aka shootouts) are a good way to check algorithms, software and knowledge against all other experts in the field.

Imagine that the prediction results can be produced with any kind of software and newest algorithms.

And we just use PLS right to generate models that can be used on all NIR software systems, because PLS is a quasi standard, supported in all major chemometrics software.

Our software framework reached very good results, got gold (rank #1) and silver (rank #2) during well known international NIR Chemometric software shootouts* so far, the competitions are held bi-annual.

Rank / competitors Competition / Conference Year
#1 / 1 ** Kaji / ANSIG 2014
#1 / 150 Kaji / ANSIG 2012
#2 / ??? IDRC / IDRC 2012
The Kaji Competition

A set of NIR spectral data will be available for downloading from the ANISG website and contestants will be asked to find and explain a “best” chemometric model to robustly predict samples of the same type.
A panel will select the three “best” entries based on the predicted results and spectroscopic explanation of the products and attributes of interest.

http://www.anisg.com.au/the-kaji-competition


The IDRC Competition

The Software Shootout has been a staple of the IDRC. It is a competition amongst participants of the conference that aims at determining the person who developed the best model and obtained the lowest prediction error for a particular problem.
Every IDRC, a new challenge is proposed to participants. The challenge consists of a data set with calibration, test and a validation set.
Participants are given target values for the calibration and test sets but must do their best to develop a model that will predict the validation set as accurately and precisely as possible. Challenges from all sorts of fields of NIRS have been used (agriculture, biomedical, pharmaceutical, soil, …).

IDRC


*) The author was unable to present the results at the conferences, so this ranking was not official but confirmed by the shootout organizers. Thanks go to Benoit Igne, IDRC 2012 shootout organizer and Steve Holroyd, Kaji Competition organizer at ANISG Conference 2012.

Conclusion

Our chemometric software framework can significantly reduce the time spent for NIR method development and fine optimization. The time saving can be achieved through highly automated experiments and the usage of cloud computing. Calibrations are built and evaluated using automated good practices protocols resulting in useful, precise and robust Calibrations. The high number of experiments enables a deep screening of the solution domain to find the optimum calibration settings, something currently unavailable in standard chemometric software.

**) We were the only participator that got the 4 competition tasks (4-times more than usual) completed in that short time and submitted the fully documented results. After the competition, the information was given, that the data was originated from forages and the constituents were dry matter, organic matter digestibility, protein and ash. Thanks go to Daniel Cozzolino, Kaji 2014 Competition organizer.

Wer nutzt diese Art von NIR Kalibrations Service

  • NIR Labor Analyzer Anwender
  • NIR Laboratories
  • NIR Analysen Service
  • NIR Lebensmittelsicherheit, Umgang mit Lebensmitteln, Ernährung, Landwirtschaft
  • NIR-Feed und Grünfutter
  • Saatgutproduzenten, Pflanzenzüchter
  • NIR Lab Instrument Services
  • NIR Kalibrations Spezialisten
  • NIR Qualitätssicherung und Qualitätskontrolle (QA / QC)
  • NIR Forensik
  • NIR Prozess Kontrolle
  • NIR Process Analytical Technology (PAT)
  • Forschung & Entwicklung, Entwicklung neuer Analyseverfahren
  • NIR-spektrometrische Methoden-Entwicklung
  • NIRS Methoden Entwickler
  • NIRS Applikations Entwickler
  • NIR-Spektroskopie Doktorarbeit
  • NIR Chemometrische Doktorarbeit
  • NIR Applikations Spezialist
  • NIR Analytical Scientist
  • NIR Machbarkeitsstudien
  • NIR Außendienst
  • NIR Verkäufer
  • NIR-Anbieter
  • NIR Anwender
  • NIR Chemometriker
  • NIR Spektroskopiker
  • PAT Ingenieur
  • Qualitäts Manager
  • Labor Manager
  • usw.

Potenzielle Nutzung von NIR-Analyse und ihre Industriellen Einsatzgebiete

Was wird typischerweise durch NIR-Analyse gemessen?

NIR Kalibration werden angewandt zur Bestimmung des Gehaltes von

Feuchtigkeit, Fett, Protein, Stärke, Lactose, Fructose, Glucose, Alkohol, Aminosäuren, Öl, Zucker, Fasern, Salz, Brix, Koffein, Lysin, Asche, Gluten usw.

Wo wird Nahinfrarot-Spektroskopie-Analyse verwendet?

NIR-Analyse wird verwendet in den den Industriezweigen / Branchen

  • Landwirtschaft
  • Lebens-und Futtermittel
  • Speisen und Getränke
  • Lebensmittel und Molkereiprodukte
  • Mälzereien und Brauereien
  • Müllerei und Backwaren
  • Mehl, Getreide Müllerei und Öle
  • Zucker und Süsswaren
  • Futtermittelzusatzstoff
  • Speiseöle
  • Fleisch
  • Tierfutter
  • Aqua Feed
  • Pet Food und tierischen Proteinen
  • Getrocknete und Wet Forage
  • Getränke-und Biokraftstoffe
  • Chemie und Pharma
  • Pharmaceuticals
  • Zellstoff und Papier
  • Petro
  • Öl und Gas
  • Plastics
  • Polymers
  • Textilien
  • Verpackung
  • Umwelt
  • Forensics
  • Akademie
  • Kosmetika
  • Gesundheitspflege

Wozu wird eine NIR-Kalibrierung verwendet?

NIR Kalibrationen werden zur NIR Inhaltsanalyse als produktive analytische Methode verwendet. Das ist ein zweistufiges Verfahren.

  • Erstens wird mit einem NIR-Spektrometer eine zerstörungsfreie optische Abtastung einer Probe vorgenommen, das ein gemessenes Spektrum innert Sekunden liefert.
  • Zweitens kann ein NIR-Kalibrierungs Modell eine quantitative Vorhersage (analysieren, bestimmen, schätzen) von mehreren Bestandteilen, Inhaltsstoffen, Inhalten, Analyten, Assay, API und andere Parameter und Attribute (chemische, physikalische, biologische, biochemische, sensorisch) zusammengefasst Eigenschaften, aus einem einzigen Spektrum innert Millisekunden liefern.

Die NIR-Analyse ist eine sehr schnelle, zerstörungsfreie Analyse-Methode, die

ein Ersatz oder Ergänzung langsamer Methoden sein kann, wie nasschemische Analyse, Chemielabor, sensorischen Panels oder Rheologie (Viskosität).

Oder eine NIR Kalibration öffnet die Tür zu neuen Möglichkeiten der Analytik, Qualitätssicherung und Prozesskontrolle, durch die neu Entwicklung von Kalibrationsmodellen für Parameter die unmöglich scheinen, weil sie auf die menschliche Wissen, Erfahrungswerten oder sensorische, wie Geschmack Bewertung beruhen.

Wenn Sie eine NIR-Instrument besitzen, dann können Sie Ihre Proben systematisch vermessen und damit Ihre eigene Kalibrierung Modelle entwickeln.

Neueste weiterentwickelte chemometrische Methoden

Sie suchen nach den neusten weiterentwickelten chemometrischen Methoden, um bessere NIR-Kalibrierungs Modelle zu erstellen? Methoden und Algorithmen wie:
  • Künstliche Neuronale Netze (KNN, ANN)
  • Allgemeine Regression Neural Networks (GR-NN)
  • RBF Neuronale Netze (RBF-NN)
  • Support Vector Machines (SVM)
  • Multiway Partial Least Squares (MPLS)
  • Orthogonale PLS (OPLS), (O-PLS), OPLS-AA, OPLS-ANN
  • R-PLS, UVE-PLS, Rüve-PLS, PLS LOCAL
  • Hierarchische Kernel Partial Least Squares (HKPLS)
  • Random Forest (RF)
  • usw.
und Daten-Vorverarbeitungs Methoden wie
  • Erweiterte Multiplikative Signal Correction (EMSC)
  • Orthogonale Signal Correction (OSC)
  • Dynamische orthogonale Projektion (DOP)
  • Fehlerbeseitigung durch orthogonale Subtraktion (EROS)
  • Externe Parameter Orthogonalisierung (EPA)
  • usw.
die z.T. erhältlich sind als Module für Software-Pakete wie Matlab, Octave, R-Project, usw. Warum viel Zeit und Geld investieren in neue Werkzeuge? Haben Sie es wirklich ausgiebig versucht, Ihre Kalibrierungen mit Standard-Methoden zu optimieren? Zu den chemometrischen Standard-Methoden gehören Partial Least Squares (PLS), Principal Component Regression (PCR) und multiple lineare Regression (MLR), diese sind verfügbar in nahezu allen chemometrischen Software-Paketen. Sind Sie sicher, dass Sie alle guten Regeln und Optimierungsmöglichkeiten versucht haben? Verwenden Sie einfach die üblichen kompatiblen Standard-Methoden, wir sind auf die Optimierung und Erstellung von NIR-Kalibrierungen spezialisiert, lassen Sie uns helfen, kontaktieren Sie uns!

Der Ghost Kalibrator

Um unseren Service in einer anderen Art und Weise zu erklären, verwende ich eine Analogie zwischen einem Buch und einer Kalibrierung. Das Erstellen guter Kalibrierungen ist wie das Schreiben eines guten Buches (ein Bestseller). Sie können mit einer anspruchsvollen Textverarbeitung (der Chemometrie Software), die eine Grammatikprüfung (Ausreißer-Detektion) hat in einer Fremdsprache (Chemometrie) schreiben.

Aufgrund der Komplexität der Fremdsprache (Chemometrie) und die Schwierigkeit des gewählten Buch Themas (die Daten) und der unvollständigen automatischen Grammatikprüfung, können Sie nie sicher sein, ob die Grammatik korrekt ist und es nicht zu Missverständnissen (schlechte Prognose Performance) führen kann. Der beste Weg ist, den Text von einem Muttersprachler überprüfen und korrigieren zu lassen.

Auf diese Weise (die Analogie), können Sie uns auch als Ghostwriter (Ghost Kalibrations Entwickler, ghostcalibrator) sehen, der Ihnen hilft das Buch zu schreiben (mit langjähriger Erfahrung, fundiertes Wissen, Zeitersparnis, eine Reihe von Vorteilen).
Die Analogie passt sehr gut, weil Sie das Thema des Buches (mit Ihren Daten) definieren können. Zum Schluss besitzen Sie die Kalibration und Sie haben den vollen Einblick, wie es gemacht wird. Sie haben es unter voller Kontrolle.

Bestehende NIR Kalibrationen optimieren

Vergleichen sie die jetzige Modell Performance mit der neu optimierten NIR Kalibration.

Sie wollen Ihr Kalibrations-Talent mit anderen messen, an Ihren eigenen Daten.

Lernen Sie dazu, wenn Sie andere verbesserte Kalibrations Einstellungen auf Ihre Daten anwenden.

Erkennen Sie, was Sie mehr aus Ihren Daten herausholen können.

Nutzen

Der NIR Kalibrations Service bietet Ihnen folgende Vorteile: Geldersparnis
  • Die Verbesserung der Genauigkeit und Zuverlässigkeit bereits eingesetzter/angewandter NIR Kalibrationsmodelle hat hohes Einsparpotenzial bei verschiedenen Produktions Prozessen wie auch in der Qualitätssicherung.
  • Erhöhte Analysen Genauigkeit => den Produktionsprozess besser im Griff => optimaler Prozessablauf => bessere Qualität => weniger Ausschuss => mehr Durchsatz
  • Schnell und günstig professionelle NIR Kalibrations Modelle erstellen.
  • Entlasten von eigenem Personal
Zeitersparnis
  • beim Datenbereinigung (Steigerung der Datenqualität) – Fehlende Daten, Ausreisser Erkennung, fehlerhafte Daten (widersprüchliche Informationen), Ausreisser Elimination
  • beim Suchen nach den optimalen Parameter Kombinationen für das Modell (calibration set, wavelength selection, data pretreatments, factor selection)
  • beim zeitintensiven Berechnungen von diversen Variationen des Modells
  • bei der Validation, Bewertung und Auswahl des optimalen Modells (error, SEP, RMSEP, RMSEC, RPD, fit, R2, bias, slope, …)
  • Nicht lange rumprobieren in der verwendeten NIR Software bis die Kalibration einigermassen funktioniert.
NIR Analysen Genauigkeit
  • höhere Zuverlässigkeit durch Genauigkeit und Robustheit der NIR Kalibrations Modelle
  • Vergleichsmöglichkeit mit ihren eigenen erstellten oder schon vorhandenen oder gekauften NIR Kalibrationen
  • was ist an Performance Steigerung der Analysen Genauigkeit möglich
  • was ist an Robustheit bzgl. ändernder Produkt Matrix, Instrumenten Drift möglich
Professionelle NIR Kalibrations Modelle
  • Jahrzehnte lange Erfahrung in Chemometrics for NIR-Spectroscopy
  • basierend auf theoretischer und angewandter Good Practice und Know How
  • Anwendung verschiedenster Richtlinien und Regeln
  • Anwendung von Hersteller unabhängiger NIR Chemometrie Software
  • Auslagerung (Outsourcing) der NIR-Kalibrations Methoden Entwicklung und NIR Kalibrations Pflege
  • Verbesserung der Robustheit von NIR-Kalibrationen
  • Vermeidung von Fallstricken und Fallgruben der komplexen Chemometrie
Detaillierte Ergebnisse
  • Der Service liefert die optimalen Kalibrations Einstellungen für ihre NIR Daten.
  • Sie erhalten vollen Einblick in die NIR Kalibration, wie sie erzeugt wird und detaillierte statistische Werte als Performance Übersicht unterstützt mit Grafiken.
Ein weiterer Aspekt des chemometrischen Modellierung Services.