Wie werden Nahinfrarotspektroskopie Kalibrierungen im 21. Jahrhundert entwickelt?

The Problem

Calibration modeling is a complex and very important part of NIR spectroscopy, especially for quantitative analysis. If the model is badly designed the best instrument precision and highest data quality does not help getting good and robust measurement results. And NIR Spectroscopy requires periodically recalibration and validation.

How are NIR models built today?

In a typical usage in industry, a single person is responsible to develop the models (see survey). He or she uses a Chemometric software that has a click-and-wait working process to adjust all the possible settings for the used algorithms in dialogs and wait for calculations and graphics and then to think about the next modeling steps and the time is limited to do so. Do we expect to find the best use-able or optimal model that way? How to develop near-infrared spectroscopy calibrations in the 21st Century?

Our Solution

Why not put all the knowledge a good model builder is using into software and let the machines do the possibilities of calculations and presenting the result? Designing the software that way, that the domain knowledge is built-in, not just only the algorithms for machine learning and make it possible to scale the calculations to multi-core computers and up to cloud servers. Extend the Chemometric Software with the Domain Knowledge and make as much computer power available as needed.

As it was since the beginning

User → Chemometric Software → one Computer → some results to choose from

==> User’s time needed to click-and-wait for creating results

Our Solution

User → (Domain Knowledge → automatized Chemometric Software) → many Computers → the best models

==> User’s time used to study the best models and reasoning about his product / process

Note that the “Domain Knowledge” here does perfectly support the User’s product and process knowledge to get the things done right and efficient.

Scaling at three layers

  • Knowledge : use the domain knowledge to drive the Chemometric Software
  • Chemometric Software : support many machine learning algorithms and data pre-processings and make it automatic
  • Computer : support multi-core calculations and scale it to the cloud

The hard part in doing this, is of course the aggregation of the needed domain knowledge and transform it into software. The Domain Knowledge for building Chemometric NIR Spectroscopic models is well known and it’s huge and spreads multiple disciplines. Knowledge-driven software for computing helps to find the gold needle in the haystacks. It’s all about scaling that makes it possible. See Proof of Concept.

New possibilities

  • NIR users can get help working more efficient and getting better models.
  • New types of applications for NIR can be discovered.
  • Evaluation of NIR Applications to replace conventional analytical methods.
  • Hopeless calibrations development efforts can be re-started.
  • Higher model accuracy and robustness can be delivered.
  • Automate the experimental data part of your application study.
  • Person independent optimization will show new solutions, because it’s not limited by a single mindset => combining all the aggregated knowledge and its combinations.
  • Software independent optimization will show new solutions, because none of vendor specific limitations and missing algorithms are present => combining all open available algorithms and there permutations.
  • Computing service is included.

Contact us for trial

Your NIR data is modeled by thousands of different useful calibration models and you get the best of them! That was not possible before in such a easy and fast way! See How it works

Proof of Concept

Chemometric software competitions (aka shootouts) are a good way to check algorithms, software and knowledge against all other experts in the field.

Imagine that the prediction results can be produced with any kind of software and newest algorithms.

And we just use PLS right to generate models that can be used on all NIR software systems, because PLS is a quasi standard, supported in all major chemometrics software.

Our software framework reached very good results, got gold (rank #1) and silver (rank #2) during well known international NIR Chemometric software shootouts* so far, the competitions are held bi-annual.

Rank / competitors Competition / Conference Year
#1 / 1 ** Kaji / ANSIG 2014
#1 / 150 Kaji / ANSIG 2012
#2 / ??? IDRC / IDRC 2012
The Kaji Competition

A set of NIR spectral data will be available for downloading from the ANISG website and contestants will be asked to find and explain a “best” chemometric model to robustly predict samples of the same type.
A panel will select the three “best” entries based on the predicted results and spectroscopic explanation of the products and attributes of interest.


The IDRC Competition

The Software Shootout has been a staple of the IDRC. It is a competition amongst participants of the conference that aims at determining the person who developed the best model and obtained the lowest prediction error for a particular problem.
Every IDRC, a new challenge is proposed to participants. The challenge consists of a data set with calibration, test and a validation set.
Participants are given target values for the calibration and test sets but must do their best to develop a model that will predict the validation set as accurately and precisely as possible. Challenges from all sorts of fields of NIRS have been used (agriculture, biomedical, pharmaceutical, soil, …).


*) The author was unable to present the results at the conferences, so this ranking was not official but confirmed by the shootout organizers. Thanks go to Benoit Igne, IDRC 2012 shootout organizer and Steve Holroyd, Kaji Competition organizer at ANISG Conference 2012.


Our chemometric software framework can significantly reduce the time spent for NIR method development and fine optimization. The time saving can be achieved through highly automated experiments and the usage of cloud computing. Calibrations are built and evaluated using automated good practices protocols resulting in useful, precise and robust Calibrations. The high number of experiments enables a deep screening of the solution domain to find the optimum calibration settings, something currently unavailable in standard chemometric software.

**) We were the only participator that got the 4 competition tasks (4-times more than usual) completed in that short time and submitted the fully documented results. After the competition, the information was given, that the data was originated from forages and the constituents were dry matter, organic matter digestibility, protein and ash. Thanks go to Daniel Cozzolino, Kaji 2014 Competition organizer.

NIR Kalibrationsentwicklung (Teil 2)

( zu Teil 1 )

Alle folgenden Kategorien werden durch die Verwendung mehrerer verschiedener Algorithmen und Formeln umgesetzt, was zu vielen unterschiedlichen Kalibrierungen führt.

Arbeitsschritte bei der Modell Erstellung
  • Daten Bereinigung – (schlechte Daten, fehlende Werte, Duplikateliminierung, spektrale Qualität / Intensität / Rauschen, Eingabewert Tippfehler, …)
  • Initial Kalibrierung einrichten – Auswahl der Kalibrierungs-, Validierungs- und Test-Sets
  • Wellenlängen Auswahl
  • Datenvorverarbeitung, Datenvorbehandlungen
  • Method Berechnung
  • Die Wahl der Anzahl der Hauptkomponenten / Latente Variablen / Faktoren
  • Validierung des Kalibrierungs Modell / Performance Statistiken – (Genauigkeit, Präzision, Linearität, Wiederholbarkeit, Reichweite, Verteilung, Robustheit / Stabilität, Empfindlichkeit, Einfachheit, etc.)
  • Ausreißer Untersuchung und Beseitigung

Das Problem der Wahl der optimalen Anzahl von Faktoren, um das Optimum zwischen Unterfittung und Überfittung zu finden, wird gelöst durch mehrere implementierte Methoden und Protokollen, was zu mehreren Kalibrierungen führt.

Die Auswertung und die Auswahl der besten Kalibrierung basiert auf vielen einzelnen statistischen Werten, einschließlich der beliebtesten RMSEP, SEP, Bias, SEC, R2 und PCs usw.

Ergebnisse und Berichte

Eine detailliertes Kalibrierprotokoll wird bereitgestellt, das die beste verfügbare Kalibrierung detailliert mit allen Kalibrierparameter Einstellungen und Statistiken der Vorhersage Leistung des Kalibrier-Sets, des Validierungs-Sets und des Test-Sets beinhaltet. Eine visuelle Betrachtung der Kalibrierung wird mit den wichtigsten Grafiken zur Verfügung gestellt.

Unser Service funktioniert mit jedem quantitative NIR-Spektren Daten Satz im Standardformat JCAMP-DX-Format und verwendet hauptsächlich PLS und PCR um kompatibel zu sein mit anderen chemometrischen Kalibrierungssoftwaren.

Summary of the NIR Chemometric survey polls

Summary of the NIR Chemometric survey polls (as of end of Sept. 2013)

The interesting finding is that most of the answers fit the following pattern. The most companies that use NIR have one NIR Instrument and only one employee that is able to develop NIR calibrations. For that the most common off-the-shelf chemometrics program is used and spent 2 hours or over a month and therefore gets no calibration training about the complex topics like Chemometrics and NIR Spectroscopy or only once (introduction). The calibration maintenance ranges from never to 3 times a year. Interestingly, there was no one who uses portable NIR instruments. We continue our surveys, for the discovery of new trends. Conclusion Seeing this picture, we think that there is huge potential to improve the calibrations. Advanced knowledge can help individuals to build the calibrations with best practices and improve their models accuracy and reliability. Once the decision and investment in NIR technology is done, you should get the best out of your data, because this extra NIR performance can be given by calibration optimization. We offer this as an easy to use and independent service.

Angepasste NIR Kalibrationen

Steigern Sie Ihren Gewinn mit optimierter NIR Genauigkeit

Wir helfen Ihnen, die optimalen Einstellungen für eine höhere NIR Genauigkeit und Zuverlässigkeit zu finden.

Sie können Ihre eigenen NIR-Kalibrierungs Modelle mit diesen optimierten Einstellungen erzeugen.

Wir bieten einen quantitative NIR-Kalibrierung und Optimierungs Service.

Neu: White Paper (English) über die Details, was dahinter steckt.

NIR Messgenauigkeit Verbessern

  • näher an Ihre Produkt Spezifikationsgrenzwerte gehen und Rentabilität maximieren
  • Optimierung Ihrer Modelle ergeben eine Prozessoptimierung und Optimierung der Produktivität
  • Wettbewerb gegen andere NIR-Anbieter in einer Machbarkeitsstudie

Einfach anzuwenden

  • kompatibel mit jedem NIR Anbieter
  • keine Installation, kein Lernen
  • quantitative NIR Calibration Development as a Service


  • hilft häufige Fehler bei der Methodenentwicklung zu vermeiden
  • bevor Sie Ihre Lösung validieren und freigeben für den Einsatz in der Produktion:
    • überprüfen Sie ob eine bessere Kalibrierung gefunden werden kann
    • vergleichen Sie Ihre Kalibrierung mit Lösungen anderer Experten


  • keine umständliche Versuch-und-Irrtum Modellierungs Schritte
  • Rechenzeit auf unseren Hochleistungs-Infrastruktur auslagern
  • schnelle Ergebnisse, Kalibrierungen innerhalb weniger Tage entwickelt


  • Fixkosten, hängt nur von Datengröße ab (nicht Stundensatz für Service)
  • enorme Einsparung bei den Methodenentwicklungs Kosten
  • einfach zu planen
Mehr Vorteile, für wen und wo, erfahren Sie mehr, Kontakt

(English) Meet us at the NIR 2013 – 16th International Conference on Near Infrared Spectroscopy (ICNIRS 2013)

Meet us at the NIR 2013 – 16th International Conference on Near Infrared Spectroscopy (ICNIRS 2013) in Montpeiller, France , 2-7 June 2013.

If you are interested in analysis and optimization of your data during the conference, please take a JCAMP export of your data on a USB-memory stick with you.

We will also present a poster P129 :

A novel intelligent knowledge-based Chemometric Software Framework for quantitative NIR Calibration Modeling‘ by Roman Bossart

NIR Kalibrationsentwicklung

Die Mehrheit der NIR Kalibrierungen werden unter Verwendung einer kleinen Anzahl von verschiedenen Parametereinstellungen erzeugt und allzu oft eingeschränkt durch die zu Verfügung stehende Zeit die ein Benutzer hat, deren spektroskopisches und chemometrisches Fachwissen und die Fähigkeit (mühsames bedienen der Software) alle möglichen Parametereinstellungen zu wählen und zu kombinieren, die für gute Kalibrierungen erforderlich sind.

Es gibt viele veröffentlichte Normen und Richtlinien (Protokolle) für die Entwicklung von NIR-Kalibrierungen von Normierungsbehörden wie ASTM, EMEA, ICH, IUPAC, ISO, USP, PASG etc. sowie viele gute Empfehlungen und Richtlinien die in verschiedenen Lehrbüchern und Fachbeiträgen gefunden werden können.

Die Schwierigkeit mit so vielen ‘Protokollen’ für den NIR Benutzer besteht darin, dass sie alle verfügbar und in ihren Denkprozessen präsent sind während der Kalibrierungs Arbeit und zusätzlich beim Ausführen, Überprüfen und Bewerten aller manuell erzeugten Kalibrierungen. Dies ist zeitaufwendig und manchmal langweilig wiederholende Arbeit.

Um dies für die Person die NIR-Kalibrierung entwickeln zu vereinfachen, haben wir die guten Praktiken Protokolle gesammelt und sie in unseren Service integriert, der die Kalibrierungs Erstellung und das Evaluierungsverfahren automatisiert.

zu Teil 2

NIR Spektroskopie und Chemometrie Umfragen, Erhebungen und Wertungen (Teil 2)

5. Calibration Precision

Was glauben Sie, können NIR-Kalibrierung Modelle genauer sein als die Referenzwerte?

6. Calibration Maintenance

Wie oft aktualisieren Sie Ihre quantitative Kalibrierungen pro Jahr?

7. Quantitative Calibrations

Wie viele quantitative (%) Kalibrierungen haben Sie im Einsatz?

8. Quantitative Parameters

In allen Ihrer quantitative Kalibrierungen, wie viele Parameter (Eigenschaften) haben Sie insgesamt?

9. Qualitative Calibrations

Wie viele qualitative (Identifikation) Kalibrierungen haben Sie im Einsatz?

Bitte stimmen Sie und sehen Sie die Einschätzungen unten.

Calibration Precision
What do you believe, can NIR calibration models be more accurate than reference method?
Calibration Maintenance
How often do you update your quantitative calibrations per year?
Quantitative Calibrations
How many quantitative (%) calibrations do you have in use?
Quantitative Parameters
In all your quantitative calibrations, how many parameters (properties) you have in total?
Qualitative Calibrations
How many qualitative (identification) calibrations do you have in use?

Teil 1

Neueste weiterentwickelte chemometrische Methoden

Sie suchen nach den neusten weiterentwickelten chemometrischen Methoden, um bessere NIR-Kalibrierungs Modelle zu erstellen? Methoden und Algorithmen wie:
  • Künstliche Neuronale Netze (KNN, ANN)
  • Allgemeine Regression Neural Networks (GR-NN)
  • RBF Neuronale Netze (RBF-NN)
  • Support Vector Machines (SVM)
  • Multiway Partial Least Squares (MPLS)
  • Orthogonale PLS (OPLS), (O-PLS), OPLS-AA, OPLS-ANN
  • Hierarchische Kernel Partial Least Squares (HKPLS)
  • Random Forest (RF)
  • usw.
und Daten-Vorverarbeitungs Methoden wie
  • Erweiterte Multiplikative Signal Correction (EMSC)
  • Orthogonale Signal Correction (OSC)
  • Dynamische orthogonale Projektion (DOP)
  • Fehlerbeseitigung durch orthogonale Subtraktion (EROS)
  • Externe Parameter Orthogonalisierung (EPA)
  • usw.
die z.T. erhältlich sind als Module für Software-Pakete wie Matlab, Octave, R-Project, usw. Warum viel Zeit und Geld investieren in neue Werkzeuge? Haben Sie es wirklich ausgiebig versucht, Ihre Kalibrierungen mit Standard-Methoden zu optimieren? Zu den chemometrischen Standard-Methoden gehören Partial Least Squares (PLS), Principal Component Regression (PCR) und multiple lineare Regression (MLR), diese sind verfügbar in nahezu allen chemometrischen Software-Paketen. Sind Sie sicher, dass Sie alle guten Regeln und Optimierungsmöglichkeiten versucht haben? Verwenden Sie einfach die üblichen kompatiblen Standard-Methoden, wir sind auf die Optimierung und Erstellung von NIR-Kalibrierungen spezialisiert, lassen Sie uns helfen, kontaktieren Sie uns!

Der Ghost Kalibrator

Um unseren Service in einer anderen Art und Weise zu erklären, verwende ich eine Analogie zwischen einem Buch und einer Kalibrierung. Das Erstellen guter Kalibrierungen ist wie das Schreiben eines guten Buches (ein Bestseller). Sie können mit einer anspruchsvollen Textverarbeitung (der Chemometrie Software), die eine Grammatikprüfung (Ausreißer-Detektion) hat in einer Fremdsprache (Chemometrie) schreiben.

Aufgrund der Komplexität der Fremdsprache (Chemometrie) und die Schwierigkeit des gewählten Buch Themas (die Daten) und der unvollständigen automatischen Grammatikprüfung, können Sie nie sicher sein, ob die Grammatik korrekt ist und es nicht zu Missverständnissen (schlechte Prognose Performance) führen kann. Der beste Weg ist, den Text von einem Muttersprachler überprüfen und korrigieren zu lassen.

Auf diese Weise (die Analogie), können Sie uns auch als Ghostwriter (Ghost Kalibrations Entwickler, ghostcalibrator) sehen, der Ihnen hilft das Buch zu schreiben (mit langjähriger Erfahrung, fundiertes Wissen, Zeitersparnis, eine Reihe von Vorteilen).
Die Analogie passt sehr gut, weil Sie das Thema des Buches (mit Ihren Daten) definieren können. Zum Schluss besitzen Sie die Kalibration und Sie haben den vollen Einblick, wie es gemacht wird. Sie haben es unter voller Kontrolle.