Spectroscopy and Chemometrics News Weekly #47, 2015

Near Infrared

NIR-Sensor ermittelt Trockensubstanz während der Mischwagenbefüllung | Futterkomponente LINK

Ultra-low maintenance FTNIR analyzer for the refining & petrochemical industries | pauto LINK


Infrared

Seeing Through Crude Oil for Efficient Oil Separations using Short-Wave Infrared (SWIR) Cameras – AZoSensors LINK


Facts

RoboBees Can Fly and Swim. What’s Next? Laser Vision – Smithsonian UAS UAV LINK


Equipment

Scientists create an all-organic UV on-chip spectrometer – The U.S. Department of Energy’s Ames LINK


Agriculture

… detection of contaminants in agro-food products, … melamine levels in milk using vibrational spectroscopy LINK


Laboratory

Examining Pigmented Human Tissue using SWIR Raman Spectroscopy – AZoSensors LINK


Other

SCiO Molecular Scanner UNBOXING – Video LINK



CalibrationModel.com

Dear NIR-Spectrometer vendors, this is about how you can improve customer web-traffic | NIRS Spectrometer LINK

Efficient development of new quantitative prediction equations for multivariate NIR spectra | spectra LINK

How to Develop Chemometric Near-Infrared Spectroscopy Calibrations in the 21st Century? | NIR LINK

How to Develop Near-Infrared Spectroscopy Application Today? | pharma lab analysis chemist TechTrends LINK

Improve chemical analysis accuracy by optimized chemometric models for Near-Infra-Red (NIR) Spectroscopy LINK

Improving Accuracy, Precision and Robustness of NIR-analysis LINK

NewsLetter: Spectroscopy and Chemometrics News Weekly 46, 2015 | Molecular Spectroscopy NIRS Chemometrics Raman LINK

Pro Tip: The NIR calibration is the central key to accurate NIR measurement LINK

Services for professional Development of Near-Infrared Spectroscopy Calibration Methods | NIR Quality Testing LINK



Arbeitsweisen zur NIR Kalibrierung – Erstellung von NIRS-Spektroskopie Kalibrierungskurven

Kennen Sie den Effekt, dass Sie bevorzugt ihre Lieblings-Datenvorbehandlungen in Kombination durchprobieren und oft die gleichen Wellenlängen-Selektionen anhand der visualisierten Spektren ausprobieren?

Man probiert z.B. sechs bis zehn Kombinationen aus, bis man davon sein favorisiertes Kalibrationsmodell auswählt, um es dann weiter zu optimieren. Da fallen dann plötzlich Ausreisser (Outlier) auf, weil man in die Tiefe geht, also mit den Daten vertraut ist, man kennt mittlerweile die Spektren-Nummern der Ausreisser und ist mit den Extremwerten vertraut.

Jetzt fokussiert man sich auf die Hauptkomponenten (Principal Components, Latent Variables, Faktoren) und achtet darauf nicht zu über-fitten und nicht zu unter-fitten. Das ganze dauert ein paar Stunden und schliesslich begnügt man sich mit dem gefundenen Modell.

Was wäre nun, wenn man in all den zu Beginn ausprobierten Varianten, die gefundenen Ausreisser entfernt und nochmals berechnet und vergleicht? Wären die Ergebnisse besser als die von der bisherigen Modell Wahl? Man probiert es nicht aus? Weil es mühsam ist und wieder Stunden dauert?

Wir haben eine Software entwickelt die dies so vereinfacht, dass auch die Anzahl der Modell Variationen beliebig erhöht werden kann. Die Varianten Erzeugung läuft automatisiert mit einem intelligenten Regelsystem, so auch die Optimierung und das Vergleichen der Modelle und schliesslich die finale Auswahl des Besten Kalibrations Modell.

Unsere Software beinhaltet alle üblichen bekannten Datenvorbehandlungs Methoden (Preteatments) und kann diese sinnvoll kombinieren. Da viele Preteatments direkt abhängig sind von der Wellenlängen Selektion, so z.B. die Normalisierungen die innerhalb eines Wellenlängen-Bereiches die Skalierungsfaktoren ermittelt, um die Spektren damit zu normieren, werden die Pretreatments mit dem Wellenlängen-Bereichen kombiniert. So kommt eine Vielzahl von sinnvollen Modell Einstellungen zusammen die alle berechnet und optimiert werden.

Für die automatische Auswahl der relevanten Wellenlängen Bereiche kommen verschiedene Methoden zum Einsatz, die sich an den Spektren Intensitäten orientieren. So werden z.B. Bereiche mit Totalabsorption nicht verwendet, oftmals störende Wasserbanden entfernt oder beibehalten.

Über all die berechneten Modell Variationen können so zusammenfassende Outlier Analysen gemacht werden. Werden durch die gefahrenen Versuche neue Outlier (Hidden Outlier) entdeckt, können alle bisherigen Modelle automatisch ohne diese Ausreisser nachberechnet, optimiert und verglichen werden.

Aus dieser Vielzahl berechneter Modelle mit deren Statistischen Güte Bewertungen (Prediction Performance) kann nun die optimale Kalibration ausgewählt werden. Dazu wird nicht einfach nach dem Vorhersage Fehler (Prediction Error, SEP, RMSEP) oder nach dem Bestimmtheitsmaß (Coefficient of Determination r2) sortiert, sondern mehrere Statistik- und Testwerte gemeinsam zur umfänglichen Beurteilung der optimalen Kalibration herangezogen.

Somit haben wir eine Plattform geschaffen, die es ermöglicht hochgradig automatisiert das zu tun, was ein Mensch niemals mit einer handelsüblichen Software tun kann.

Wir bieten damit die grösste Anzahl auf Ihr Applikations-Problem angepasste Modellierungs-Berechnungen und wählen die beste Kalibration für Sie aus!

Das heisst, unsere Ergebnisse sind schneller, genauer, robuster und objektiv ausgewählt (Personen unabhängig) und für Sie ganz einfach anzuwenden.

Die Kontrolle über die von uns gelieferten Modelle haben Sie vollumfänglich, denn wir liefern einen klar strukturierten und detaillierten Bauplan der  kompletten Kalibration, mit allen Einstellungen und Parametern, mit allen notwendigen Statistischen Kenngrössen und Grafiken.

Anhand dieses Bauplans können Sie das quantitative Kalibrations Modell selbst in der von Ihnen verwendeten Software nachstellen, nachvollziehen und vergleichen. Sie haben so alles im Griff, für die Modell-Validierung und die Modellpflege.

Der Datenschutz ist uns sehr wichtig. Die NIR Daten, die Sie uns für die Kalibrations-Erstellung kurzzeitig zu Verfügung stellen bleiben selbstverständlich Ihr Eigentum. Ihre NIR Daten werden nach Abschluss des Auftrags bei uns gelöscht.

Interessiert, dann zögern Sie nicht uns zu kontaktieren.

NIRS Calibration Model Equation – Optimal Predictive Model Selection

To give you an insight what we do to find the optimal model, imagine a NIR data set, where a NIR specialist works hard for 4 hours in his chemometric software to try what he can with his chemometric-, NIR spectroscopic- and his product-knowledge to get a good model. During the 4 hours he finds 3 final candidate models for his application. With the RMSEP of 0.49 , 0.51 and 0.6. Now he has to choose one or to test all his three models on new measured NIR spectra.

That is common practice. But is this good practice?

And nobody asks, how long, how hard have you tried, how many trial have you done, if this really the best model that is possible from the data?
And imagine the cost of the data collection including the lab analytics!
And behind this costs, have you really tried hard enough to get the best out of your data? Was the calibration done quick and dirty on a Friday afternoon? Yes, time is limited and manually clicking around and wait in such kind of software is not really fun, so what are the consequences?

Now I come to the most important core point ever, if you own expensive NIR spectrometer system, or even many of them, and your company has collected a lot of NIR spectra and expensive Lab-reference data over years, do you spend just a few hours to develop and build that model, that will define the whole system’s measurement performance for the future? And ask yourself again (and your boss will ask you later), have you really tried hard enough, to get the best out of your data? really?

What else is possible? What does your competition do?

There is no measure (yet) what can be reached with a specific NIR data set.
And this is very interesting, because there are different beliefs if a secondary method like NIR or Raman can be more precise and accurate, as the primary method.

What we do different is, that our highly specialized software is capable of creating large amounts of useful calibrations to investigate this limits – what is possible. It’s done by permutation and combination of spectra-selection, wave-selection, pre-processing sequences and PC selections. If you are common with this, then you know that the possibilities are huge.

For a pre-screening, we create e.g. 42’000 useful calibrations for the mentioned data set. With useful we mean that the model is usable, e.g. R² is higher than 0.8, which shows a good correlation between the spectra and the constituent and it is well fitted (neither over-fitted nor under-fitted) because the PC selection for the calibration-set is estimated by the validation-set and the predictive performance of the test-set is used for model comparisons.

Here the sorted RMSEP values of the Test Set is shown for 42’000 calibrations.
You can immediately see that the manually found performance of 0.49 is just in the starting phase of our optimization. Interesting is the steep fall from 1.0 to 0.5 where manually optimization found it’s solutions. A range where ca. 2500 different useful calibrations exist. The following less steep fall from 0.5 to 0.2 contains a lot more useful models and between 0.2 to 0.08 the obvious high accurate models are around 2500 different ones. So the golden needle is not in the first 2500 models, it must be somewhere in the last 2500 models in the haystack.

Sorted RMSEP plot of 42'000 NIR Calibration Model Candidates

That allows us to pick the best calibration out of 42’000 models, depending on multiple statistical evaluation criteria, that is not just the R² or RPD, SEC, SEP or RMSEP, (or Akaike Information Criterion (AIC), Bayesian Information Criterion (BIC), Multivariate AIC (MAIC) etc.) we do the model selection based on multiple statistical parameters.

Dengrogram plot of similar  NIR Calibration Models

To compare the calibration models by similarity it is best viewed with dendrogram plots like this (zoomed in), where the settings are shown versus the models overall performance similarity. In the settings you can see a lot of different permutations of pre-processings combined with different wave-selections.

NIR Spectroscopy Calibration Report for quantitative predictive models

When you send your quantitative NIR spectra data to our NIR Calibration Model Service, you get a detailed calibration report (calibration protocol) of the found optimal calibration settings, so you are able to see all insights and easily re-build the model in your NIR/Chemometric software.

Here is a part of our calibration report, that exactly describes the data used in the calibration set (CSet), the validation set (VSet) and the test set (TSet). The numbers are the number ids of the spectra in your delivered NIR data file.


The calibration method settings and parameters are
Waveselection : the variable selection or wavenumber selection or wavelength selection
Pretreatments : the spectral data pre-processing
PCs : the number of Principal Components (PC) or Latent Variables (LV)
Method : the modeling method algorithm used, e.g. PLS

Then the statistical analysis of the PLS model by the different sets (CSet, VSet, Tset).

Calibration Report

Statistical analysis of calibration, validation and test results : 1 Name, 2 Unit, 3 N : number of spectra, 4 N : number of samples, 5 Average spectra count per sample, 6 Reference values, 7 Min, 8 Mean, 9 Median, 10 Max, 11 Standard deviation, 12 Skewness : left (-) or right (+) lack of symmetry, 13 Kurtosis : flat (-) or peaked (+) shape, 14 Model statistics, 15 RPD, 16 R², 17 RMSEC, RMSEP, RMSET : root mean square of prediction errors, 18 SEC, SEP, SET : standard error (bias corrected), 19 Bias, 20 Skewness of prediction errors, 21 Kurtosis of prediction errors, 22 Intercept, 23 Slope, 24 Intercept (reverse), 25 Slope (reverse), 26 Sample Prediction Repeatability Error, 27 Sample Prediction Repeatability Error (of Missing data MSet)

This shows how we deliver the optimal settings. With the statistical values, the NIR model predicted values of all spectra and additional plots you are able to compare with your re-built model to verify that the models perform nearly equally.

Wie werden Nahinfrarotspektroskopie Kalibrierungen im 21. Jahrhundert entwickelt?


The Problem

Calibration modeling is a complex and very important part of NIR spectroscopy, especially for quantitative analysis. If the model is badly designed the best instrument precision and highest data quality does not help getting good and robust measurement results. And NIR Spectroscopy requires periodically recalibration and validation.


How are NIR models built today?

In a typical usage in industry, a single person is responsible to develop the models (see survey). He or she uses a Chemometric software that has a click-and-wait working process to adjust all the possible settings for the used algorithms in dialogs and wait for calculations and graphics and then to think about the next modeling steps and the time is limited to do so. Do we expect to find the best use-able or optimal model that way? How to develop near-infrared spectroscopy calibrations in the 21st Century?


Our Solution

Why not put all the knowledge a good model builder is using into software and let the machines do the possibilities of calculations and presenting the result? Designing the software that way, that the domain knowledge is built-in, not just only the algorithms for machine learning and make it possible to scale the calculations to multi-core computers and up to cloud servers. Extend the Chemometric Software with the Domain Knowledge and make as much computer power available as needed.

As it was since the beginning

User → Chemometric Software → one Computer → some results to choose from

==> User’s time needed to click-and-wait for creating results

Our Solution

User → (Domain Knowledge → automatized Chemometric Software) → many Computers → the best models

==> User’s time used to study the best models and reasoning about his product / process

Note that the “Domain Knowledge” here does perfectly support the User’s product and process knowledge to get the things done right and efficient.


Scaling at three layers

  • Knowledge : use the domain knowledge to drive the Chemometric Software
  • Chemometric Software : support many machine learning algorithms and data pre-processings and make it automatic
  • Computer : support multi-core calculations and scale it to the cloud

The hard part in doing this, is of course the aggregation of the needed domain knowledge and transform it into software. The Domain Knowledge for building Chemometric NIR Spectroscopic models is well known and it’s huge and spreads multiple disciplines. Knowledge-driven software for computing helps to find the gold needle in the haystacks. It’s all about scaling that makes it possible. See Proof of Concept.


New possibilities

  • NIR users can get help working more efficient and getting better models.
  • New types of applications for NIR can be discovered.
  • Evaluation of NIR Applications to replace conventional analytical methods.
  • Hopeless calibrations development efforts can be re-started.
  • Higher model accuracy and robustness can be delivered.
  • Automate the experimental data part of your application study.
  • Person independent optimization will show new solutions, because it’s not limited by a single mindset => combining all the aggregated knowledge and its combinations.
  • Software independent optimization will show new solutions, because none of vendor specific limitations and missing algorithms are present => combining all open available algorithms and there permutations.
  • Computing service is included.

Contact us for trial

Your NIR data is modeled by thousands of different useful calibration models and you get the best of them! That was not possible before in such a easy and fast way! See How it works

NIR Kalibrationsentwicklung (Teil 2)

( zu Teil 1 )

Alle folgenden Kategorien werden durch die Verwendung mehrerer verschiedener Algorithmen und Formeln umgesetzt, was zu vielen unterschiedlichen Kalibrierungen führt.

Arbeitsschritte bei der Modell Erstellung
  • Daten Bereinigung – (schlechte Daten, fehlende Werte, Duplikateliminierung, spektrale Qualität / Intensität / Rauschen, Eingabewert Tippfehler, …)
  • Initial Kalibrierung einrichten – Auswahl der Kalibrierungs-, Validierungs- und Test-Sets
  • Wellenlängen Auswahl
  • Datenvorverarbeitung, Datenvorbehandlungen
  • Method Berechnung
  • Die Wahl der Anzahl der Hauptkomponenten / Latente Variablen / Faktoren
  • Validierung des Kalibrierungs Modell / Performance Statistiken – (Genauigkeit, Präzision, Linearität, Wiederholbarkeit, Reichweite, Verteilung, Robustheit / Stabilität, Empfindlichkeit, Einfachheit, etc.)
  • Ausreißer Untersuchung und Beseitigung


Das Problem der Wahl der optimalen Anzahl von Faktoren, um das Optimum zwischen Unterfittung und Überfittung zu finden, wird gelöst durch mehrere implementierte Methoden und Protokollen, was zu mehreren Kalibrierungen führt.

Die Auswertung und die Auswahl der besten Kalibrierung basiert auf vielen einzelnen statistischen Werten, einschließlich der beliebtesten RMSEP, SEP, Bias, SEC, R2 und PCs usw.

Ergebnisse und Berichte

Eine detailliertes Kalibrierprotokoll wird bereitgestellt, das die beste verfügbare Kalibrierung detailliert mit allen Kalibrierparameter Einstellungen und Statistiken der Vorhersage Leistung des Kalibrier-Sets, des Validierungs-Sets und des Test-Sets beinhaltet. Eine visuelle Betrachtung der Kalibrierung wird mit den wichtigsten Grafiken zur Verfügung gestellt.

Unser Service funktioniert mit jedem quantitative NIR-Spektren Daten Satz im Standardformat JCAMP-DX-Format und verwendet hauptsächlich PLS und PCR um kompatibel zu sein mit anderen chemometrischen Kalibrierungssoftwaren.

NIR Kalibrations Service

Dienstleistungen und Software für die Datenanalyse und analytische Modellierung für die Spektroskopie.

Dieser NIR Kalibrations Service bietet die kundenspezifische Entwicklung von optimalen quantitativen NIR-Kalibrierungs Modellen für Ihre gesammelten NIR und Referenzdaten für herstellerunabhängige full-range NIR-Spektrometer Analysatoren an (NIR = Nah InfraRot-Spektroskopie) basierend auf chemometrischen multivariaten Methoden wie Partial Least Square Regression (PLS, PLSR) und Principal Component Regression (PCR).

Die Kernpunkte

Das NIR Kalibrations Modell ist entscheidend für die Analysen Genauigkeit.

NIR-Analysen Ergebnisse machen den Unterschied.

 

Near-Infrared Data Modeling Calibration Service



Die Probleme

Stellen Sie sich vor, wie viele Publikationen und Literatur zum Thema NIR (JNIRS) und Chemometrie (Journal of Chemometrics) vorhanden ist.

Haben Sie die Zeit, die für Sie die passende zu finden, zu bestellen, zu lesen, zu studieren, in die Praxis einfließen zu lassen?

Haben Sie dieses ganze Knowhow bei Ihren Kalibrations-Entwicklungen immer präsent, dass Sie alles wichtige Berücksichtigen, die statistischen Ergebnisse richtig deuten, die Grafiken genau analysieren und alle Tips & Tricks und Regeln der Kunst des Optimierens korrekt anwenden?

Wir haben die Lösung für Sie!

Wir helfen Ihnen, Ihre Kalibrationen zu erstellen und zu optimieren. Sie behalten dabei alles unter Kontrolle. Sie haben Ihre Kalibration, mit unserer Hilfe, selber im Griff.

Sie können die Kalibration komplett einsehen, alle Einstellungen bis ins kleinste Detail sind sauber protokolliert und Visualisiert.

Sie können beliebig auch Änderungen in den Einstellungen vornehmen. Das heißt Sie bleiben unabhängig und haben das Steuer in der Hand.

Wir helfen Ihnen für den zeitaufwendigen und Knowhow Intensiven Teil.

Sie erhalten die optimale Kalibrations Lösung und entscheiden selbst. Probieren Sie es aus und sehen Sie selbst.