Wir machen NIR Chemometrie einfach

Hi, we’re CalibrationModel. Our aim is to transform your NIR data to superior calibration models. We do this by using knowledge driven software applying good practices and rules from literature, publications, regulatory guidelines and more. Our service is used by NIR specialists to deliver a valuable model for their NIR analysis measurements. With CalibrationModel services, NIR specialists can find out how their NIR Data can be robust and optimally modeled by which data preprocessing and wavelength selection, etc. You can implement CalibrationModel in a matter of minutes using our contact form and send your NIR data to receive optimized model settings as a blueprint.
NIR specialists (Spectroscopist, Chemometricians) love perfect models. They’re curious about how to improve their models even further, because all NIR models need continuous maintenance and updates.
Using CalibrationModel services, NIR Specialists can deliver real value to their measurement results through powerful model optimization capabilities.
CalibrationModel We make NIR Chemometrics easy. Near-Infrared Data Modeling Calibration Service

Arbeitsweisen zur NIR Kalibrierung – Erstellung von NIRS-Spektroskopie Kalibrierungskurven

Kennen Sie den Effekt, dass Sie bevorzugt ihre Lieblings-Datenvorbehandlungen in Kombination durchprobieren und oft die gleichen Wellenlängen-Selektionen anhand der visualisierten Spektren ausprobieren?

Man probiert z.B. sechs bis zehn Kombinationen aus, bis man davon sein favorisiertes Kalibrationsmodell auswählt, um es dann weiter zu optimieren. Da fallen dann plötzlich Ausreisser (Outlier) auf, weil man in die Tiefe geht, also mit den Daten vertraut ist, man kennt mittlerweile die Spektren-Nummern der Ausreisser und ist mit den Extremwerten vertraut.

Jetzt fokussiert man sich auf die Hauptkomponenten (Principal Components, Latent Variables, Faktoren) und achtet darauf nicht zu über-fitten und nicht zu unter-fitten. Das ganze dauert ein paar Stunden und schliesslich begnügt man sich mit dem gefundenen Modell.

Was wäre nun, wenn man in all den zu Beginn ausprobierten Varianten, die gefundenen Ausreisser entfernt und nochmals berechnet und vergleicht? Wären die Ergebnisse besser als die von der bisherigen Modell Wahl? Man probiert es nicht aus? Weil es mühsam ist und wieder Stunden dauert?

Wir haben eine Software entwickelt die dies so vereinfacht, dass auch die Anzahl der Modell Variationen beliebig erhöht werden kann. Die Varianten Erzeugung läuft automatisiert mit einem intelligenten Regelsystem, so auch die Optimierung und das Vergleichen der Modelle und schliesslich die finale Auswahl des Besten Kalibrations Modell.

Unsere Software beinhaltet alle üblichen bekannten Datenvorbehandlungs Methoden (Preteatments) und kann diese sinnvoll kombinieren. Da viele Preteatments direkt abhängig sind von der Wellenlängen Selektion, so z.B. die Normalisierungen die innerhalb eines Wellenlängen-Bereiches die Skalierungsfaktoren ermittelt, um die Spektren damit zu normieren, werden die Pretreatments mit dem Wellenlängen-Bereichen kombiniert. So kommt eine Vielzahl von sinnvollen Modell Einstellungen zusammen die alle berechnet und optimiert werden.

Für die automatische Auswahl der relevanten Wellenlängen Bereiche kommen verschiedene Methoden zum Einsatz, die sich an den Spektren Intensitäten orientieren. So werden z.B. Bereiche mit Totalabsorption nicht verwendet, oftmals störende Wasserbanden entfernt oder beibehalten.

Über all die berechneten Modell Variationen können so zusammenfassende Outlier Analysen gemacht werden. Werden durch die gefahrenen Versuche neue Outlier (Hidden Outlier) entdeckt, können alle bisherigen Modelle automatisch ohne diese Ausreisser nachberechnet, optimiert und verglichen werden.

Aus dieser Vielzahl berechneter Modelle mit deren Statistischen Güte Bewertungen (Prediction Performance) kann nun die optimale Kalibration ausgewählt werden. Dazu wird nicht einfach nach dem Vorhersage Fehler (Prediction Error, SEP, RMSEP) oder nach dem Bestimmtheitsmaß (Coefficient of Determination r2) sortiert, sondern mehrere Statistik- und Testwerte gemeinsam zur umfänglichen Beurteilung der optimalen Kalibration herangezogen.

Somit haben wir eine Plattform geschaffen, die es ermöglicht hochgradig automatisiert das zu tun, was ein Mensch niemals mit einer handelsüblichen Software tun kann.

Wir bieten damit die grösste Anzahl auf Ihr Applikations-Problem angepasste Modellierungs-Berechnungen und wählen die beste Kalibration für Sie aus!

Das heisst, unsere Ergebnisse sind schneller, genauer, robuster und objektiv ausgewählt (Personen unabhängig) und für Sie ganz einfach anzuwenden.

Die Kontrolle über die von uns gelieferten Modelle haben Sie vollumfänglich, denn wir liefern einen klar strukturierten und detaillierten Bauplan der  kompletten Kalibration, mit allen Einstellungen und Parametern, mit allen notwendigen Statistischen Kenngrössen und Grafiken.

Anhand dieses Bauplans können Sie das quantitative Kalibrations Modell selbst in der von Ihnen verwendeten Software nachstellen, nachvollziehen und vergleichen. Sie haben so alles im Griff, für die Modell-Validierung und die Modellpflege.

Der Datenschutz ist uns sehr wichtig. Die NIR Daten, die Sie uns für die Kalibrations-Erstellung kurzzeitig zu Verfügung stellen bleiben selbstverständlich Ihr Eigentum. Ihre NIR Daten werden nach Abschluss des Auftrags bei uns gelöscht.

Interessiert, dann zögern Sie nicht uns zu kontaktieren.

NIR Spectroscopy Calibration Report for quantitative predictive models

When you send your quantitative NIR spectra data to our NIR Calibration Model Service, you get a detailed calibration report (calibration protocol) of the found optimal calibration settings, so you are able to see all insights and easily re-build the model in your NIR/Chemometric software.

Here is a part of our calibration report, that exactly describes the data used in the calibration set (CSet), the validation set (VSet) and the test set (TSet). The numbers are the number ids of the spectra in your delivered NIR data file.


The calibration method settings and parameters are
Waveselection : the variable selection or wavenumber selection or wavelength selection
Pretreatments : the spectral data pre-processing
PCs : the number of Principal Components (PC) or Latent Variables (LV)
Method : the modeling method algorithm used, e.g. PLS

Then the statistical analysis of the PLS model by the different sets (CSet, VSet, Tset).

Calibration Report

Statistical analysis of calibration, validation and test results : 1 Name, 2 Unit, 3 N : number of spectra, 4 N : number of samples, 5 Average spectra count per sample, 6 Reference values, 7 Min, 8 Mean, 9 Median, 10 Max, 11 Standard deviation, 12 Skewness : left (-) or right (+) lack of symmetry, 13 Kurtosis : flat (-) or peaked (+) shape, 14 Model statistics, 15 RPD, 16 R², 17 RMSEC, RMSEP, RMSET : root mean square of prediction errors, 18 SEC, SEP, SET : standard error (bias corrected), 19 Bias, 20 Skewness of prediction errors, 21 Kurtosis of prediction errors, 22 Intercept, 23 Slope, 24 Intercept (reverse), 25 Slope (reverse), 26 Sample Prediction Repeatability Error, 27 Sample Prediction Repeatability Error (of Missing data MSet)

This shows how we deliver the optimal settings. With the statistical values, the NIR model predicted values of all spectra and additional plots you are able to compare with your re-built model to verify that the models perform nearly equally.

Wie werden Nahinfrarotspektroskopie Kalibrierungen im 21. Jahrhundert entwickelt?


The Problem

Calibration modeling is a complex and very important part of NIR spectroscopy, especially for quantitative analysis. If the model is badly designed the best instrument precision and highest data quality does not help getting good and robust measurement results. And NIR Spectroscopy requires periodically recalibration and validation.


How are NIR models built today?

In a typical usage in industry, a single person is responsible to develop the models (see survey). He or she uses a Chemometric software that has a click-and-wait working process to adjust all the possible settings for the used algorithms in dialogs and wait for calculations and graphics and then to think about the next modeling steps and the time is limited to do so. Do we expect to find the best use-able or optimal model that way? How to develop near-infrared spectroscopy calibrations in the 21st Century?


Our Solution

Why not put all the knowledge a good model builder is using into software and let the machines do the possibilities of calculations and presenting the result? Designing the software that way, that the domain knowledge is built-in, not just only the algorithms for machine learning and make it possible to scale the calculations to multi-core computers and up to cloud servers. Extend the Chemometric Software with the Domain Knowledge and make as much computer power available as needed.

As it was since the beginning

User → Chemometric Software → one Computer → some results to choose from

==> User’s time needed to click-and-wait for creating results

Our Solution

User → (Domain Knowledge → automatized Chemometric Software) → many Computers → the best models

==> User’s time used to study the best models and reasoning about his product / process

Note that the “Domain Knowledge” here does perfectly support the User’s product and process knowledge to get the things done right and efficient.


Scaling at three layers

  • Knowledge : use the domain knowledge to drive the Chemometric Software
  • Chemometric Software : support many machine learning algorithms and data pre-processings and make it automatic
  • Computer : support multi-core calculations and scale it to the cloud

The hard part in doing this, is of course the aggregation of the needed domain knowledge and transform it into software. The Domain Knowledge for building Chemometric NIR Spectroscopic models is well known and it’s huge and spreads multiple disciplines. Knowledge-driven software for computing helps to find the gold needle in the haystacks. It’s all about scaling that makes it possible. See Proof of Concept.


New possibilities

  • NIR users can get help working more efficient and getting better models.
  • New types of applications for NIR can be discovered.
  • Evaluation of NIR Applications to replace conventional analytical methods.
  • Hopeless calibrations development efforts can be re-started.
  • Higher model accuracy and robustness can be delivered.
  • Automate the experimental data part of your application study.
  • Person independent optimization will show new solutions, because it’s not limited by a single mindset => combining all the aggregated knowledge and its combinations.
  • Software independent optimization will show new solutions, because none of vendor specific limitations and missing algorithms are present => combining all open available algorithms and there permutations.
  • Computing service is included.

Contact us for trial

Your NIR data is modeled by thousands of different useful calibration models and you get the best of them! That was not possible before in such a easy and fast way! See How it works

Summary of the NIR Chemometric survey polls

Summary of the NIR Chemometric survey polls (as of end of Sept. 2013)

The interesting finding is that most of the answers fit the following pattern. The most companies that use NIR have one NIR Instrument and only one employee that is able to develop NIR calibrations. For that the most common off-the-shelf chemometrics program is used and spent 2 hours or over a month and therefore gets no calibration training about the complex topics like Chemometrics and NIR Spectroscopy or only once (introduction). The calibration maintenance ranges from never to 3 times a year. Interestingly, there was no one who uses portable NIR instruments. We continue our surveys, for the discovery of new trends. Conclusion Seeing this picture, we think that there is huge potential to improve the calibrations. Advanced knowledge can help individuals to build the calibrations with best practices and improve their models accuracy and reliability. Once the decision and investment in NIR technology is done, you should get the best out of your data, because this extra NIR performance can be given by calibration optimization. We offer this as an easy to use and independent service.

Wozu wird eine NIR-Kalibrierung verwendet?

NIR Kalibrationen werden zur NIR Inhaltsanalyse als produktive analytische Methode verwendet. Das ist ein zweistufiges Verfahren.

  • Erstens wird mit einem NIR-Spektrometer eine zerstörungsfreie optische Abtastung einer Probe vorgenommen, das ein gemessenes Spektrum innert Sekunden liefert.
  • Zweitens kann ein NIR-Kalibrierungs Modell eine quantitative Vorhersage (analysieren, bestimmen, schätzen) von mehreren Bestandteilen, Inhaltsstoffen, Inhalten, Analyten, Assay, API und andere Parameter und Attribute (chemische, physikalische, biologische, biochemische, sensorisch) zusammengefasst Eigenschaften, aus einem einzigen Spektrum innert Millisekunden liefern.

Die NIR-Analyse ist eine sehr schnelle, zerstörungsfreie Analyse-Methode, die

ein Ersatz oder Ergänzung langsamer Methoden sein kann, wie nasschemische Analyse, Chemielabor, sensorischen Panels oder Rheologie (Viskosität).

Oder eine NIR Kalibration öffnet die Tür zu neuen Möglichkeiten der Analytik, Qualitätssicherung und Prozesskontrolle, durch die neu Entwicklung von Kalibrationsmodellen für Parameter die unmöglich scheinen, weil sie auf die menschliche Wissen, Erfahrungswerten oder sensorische, wie Geschmack Bewertung beruhen.

Wenn Sie eine NIR-Instrument besitzen, dann können Sie Ihre Proben systematisch vermessen und damit Ihre eigene Kalibrierung Modelle entwickeln.

Was sind vorentwickelte NIR Vor-Kalibrierungen?

Es gibt eine Menge von Begriffen, die das gleiche bedeuten, Vorkalibrierung oder NIR-Starter-Kalibrierung oder vorgefertigte Kalibrierung oder vorinstallierte Kalibrierung oder Kalibrierung Paket oder vorentwickelte Kalibrierungen oder NIR Vorkalibrierung oder globale Kalibrierungen oder NIR Global Kalibrations Paket oder lokale Kalibrierungen oder ready-to-use NIR-Kalibrierungen oder Werkskalibrierungen oder Starter Kalibrierung oder Kalibrierungen von der Stange oder werkseitig kalibriert oder vorberechnete Modelle oder Start-up-Kalibrierungen Kalibrierungsgleichungen oder vorgefertigte NIR-Kalibrierungen oder Kalibrierungs Bibliothek oder mathematisches Modell. Es sind Kalibrierungs Modelle, die bereitgestellt und entwickelt wurden von einem Kalibrierungs Spezialisten. Diese haben eine Menge von Proben über Jahre gesammelt und mit NIR vermessen und mit Referenzmethoden analysiert. Die NIR-Spektren werden dann gegen die Referenzwerte kalibriert. Dies nennt man eine NIR-Kalibrierung oder Eichungs-Modell oder manchmal Kalibrierkurve oder Kalibrierungsgleichung. Normalerweise wird eine Vorkalibrierung als Datei die kompatibel zur verwendeten NIR-Analyse-Software geliefert. Eine solche Kalibrierung Datei enthält weder die Spektren noch die Referenzwerte.

Also wie kann das funktionieren?

Das einzige was die Datei enthält ist eine Beschreibung, wozu es verwendet wird (z.B. Eiweiß in Futtermitteln) und das Chemometrische Modell, repräsentiert als gespeicherte Liste von Vektoren und Matrizen. Sie können diese nicht zu visualisieren, es ist eine Black-Box-Datei. Sie haben keinen Einblick, wie die Kalibrierung erfolgt ist, wie die Einstellungen sind, wie die Vorhersage Leistung ist. Sie können die Kalibrierung nicht mit Ihren Daten erweitern um sie Ihrem Produkt oder Spezialitäten anzupassen. Meistens sind die Pre-Kalibrierung Dateien geschützt, so können Sie es nur mit einer kostenpflichtigen Lizenz mit der Software Nutzen oder sogar auch nur auf einem bestimmen Instrument z.B. via Serien-Nummer. Dies sind einige (nicht so bekannte) Beschränkungen. Aber solche Starter-Kalibrierungen sind sehr nützlich, um einen schnellen und einfachen Start mit einem neuen NIR-Spektrometer zu haben. Das ist der Hauptgrund, warum Vor-Kalibrierungen zur Verfügung stehen. Der zweite Grund ist, weil eine Sammlung von Spektren wiederverwendet werden kann, um solche Vor-Kalibrierungen zu bauen.

Die Zukunft vorhersagen?

Sind sehr alte Spektren nützlich, die Zukunft vorherzusagen? Um ein Kalibrierungs Modell mit neu gesammelten Daten anzupassen, wächst die Kalibrierung und enthält immer mehr und mehr Redundanz. Das heisst, sie besteht aus sehr ähnlichen Spektren aus dem gleichen Konzentrationsbereich. Also welche Spektren können entfernt werden, um die Kalibrierung zu verbessern? Sie stellen sich diese Frage vielleicht nicht, weil Sie oft hören, dass je mehr Spektren in ein Modell aufgenommen werden, desto besser wird es sein. Warum einige Spektren entfernen?
  • Nicht benötigte Redundanzen
  • Macht die Kalibrierung kleiner und weniger komplex
  • Passt die Kalibrierung besser an die aktuelle jetzige Situation und der nahen Zukunft an
  • Entfernen von längst vergangenen Saison Daten bei natürlichen Produkten, weil die Natur sich verändert
  • Und natürlich schlechte Ausreißer entfernt werden sollten

Benutzerdefinierte NIR Kalibrierung

Bauen Sie Ihre eigenen Kalibrierungen die perfekt angepasst sind an die spezielle Probenmatrix Ihrer Produkte und die von Ihnen bevorzugten Rohstoffe von Ihren lokalen Zulieferern. Die Natur wächst unterschiedlich, je nach geographischer Region, durch die Jahreszeiten und von Jahr zu Jahr. Wie Sie wissen, ist NIR-Spektroskopie keine absolute Methode, darum muss man darüber nachdenken, diese aktuellen wechselnden Effekte in Ihre Modelle zu kalibrieren. Wenn Sie die Spektren und die Referenzwerte besitzen dann sind Sie in der Lage, Ihre eigenen Kalibrierungs Modelle zu bauen und zu re-kalibrieren wenn nötig. So haben Sie die volle Kontrolle über Kalibrations Updates (auch als bewegte Modelle bekannt).

Schlussfolgerung

Ein NIR-Gerät kann nur NIR-Spektren messen. Also die Nützlichkeit von NIR kommt mit den Kalibrierungen. Das ist sehr wichtig zu wissen beim Kauf eines solchen Instruments. Für einen schnellen Start können Sie vorgefertigte Kalibrierungen verwenden. Gute zuverlässige Kalibrierungen werden von Drittanbietern zu  relativ hohen Preisen angeboten, im Bereich eines günstigen NIR-Instruments! Um erfolgreich voranzukommen wird dringend empfohlen, Ihre eigene Multivariate Kalibrierung mit Ihren eigenen Daten von Ihren eigenen Produkten zu entwickeln, vor allem bei Verwendung von natürlichen Rohstoffen. Daher müssen Sie das nötige Wissen über Chemometrie, Multivariate Analysis (MVA), Spektroskopie und der verwendeten Software erlangen um gut optimierte Kalibrierungen erstellen zu können. Es lohnt sich eigene Kalibrationen zu erstellen, denn so können Sie auch Produkt Eigenschaften kalibrieren, die nicht mit den angebotenen Pre-Kalibrationen abgedeckt sind.

Was ist JCAMP-DX ?

JCAMP-DX ist ein elektronischer Daten Standard für die langfristige Speicherung und Übertragung von chemometrischen Informationen. Der Standard ist die Entwicklung von der International Union of Pure and Applied Chemistry (IUPAC)

JCAMP-DX ist eine Abkürzung für Joint Committee on Atomic and Molecular Physical data – Data eXchange.

Es ist ein von Menschen lesbares Dateiformat, das Nah-Infrarot-Spektrometrie Daten (und andere wie Raman, UV, NMR, Massen, Röntgen, Chromatogramme, Thermogramme) und zugehörige chemische und physikalische Informationen speichert und wird seit den späten 80er Jahren verwendet.

Fast alle NIR-Software-Pakete können die Spektren einschließlich der Referenzwerte als JCAMP-DX exportieren. Eine einzelne Datei kann mehrere Spektren und Referenzwerte enthalten. Ein JCAMP Dateiname sieht aus wie “sample.dx“, “sample.jdx” oder “sample.jcm“.

Alle Daten werden als markierte Felder variabler Länge mit druckbaren ASCII-Zeichen gespeichert. Solche Dateien können in einem Text-Editor geladen werden, um den Inhalt zu überprüfen:


##TITLE= Indene (FILE: AFIR2.DX)
$$ FILE AFIR2.DX ( derived from TFIR2.DX)
$$ ABSORBANCE
$$ FIXED FORM
$$ INCREASING ABSCISSA
$$ RATIONAL ABSCISSA SPACING
##JCAMP-DX= 4.24 $$ Encoded by INTTODX 1.04 (RS McDonald)
##DATA TYPE= INFRARED SPECTRUM
##ORIGIN= JCAMP-DX Test Disk 1.04
R.S.McDonald, 9 Woodside Dr., Burnt Hills, NY 12027, 518-399-5145
##OWNER= Public Domain
##RESOLUTION= 2.0
##DELTAX=1.00000000
##XUNITS= 1/CM
##YUNITS= ABSORBANCE
##XFACTOR= 1.000000000
##YFACTOR= 0.000100000
##FIRSTX= 400.000
##LASTX= 4.000E+03
##NPOINTS= 3601
##FIRSTY= 3.487E-1
##XYDATA= (X++(Y..Y))
400 3487 3355 3264 3198 3153 3143 3182 3298 3520 3845 4262
411 4783 5449 6304 7383 8684 10209 12041 14123 16003 16162 14191
422 11791 9674 7943 6540 5406 4528 3874 3397 3045 2780 2584
433 2446 2354 2290 2246 2212 2187 2165 2135 2087 2022 1945
444 1865 1786 1713 1649 1596 1550 1512 1478 1448 1422 1401
:

Der Standard kann hier heruntergeladen werden: “JCAMP-DX: A Standard Form for the Exchange of Infrared Spectra in Computer Readable Form“, ROBERT S. McDONALD and PAUL A. WILKS, JR. , Appl. Spectrosc. 42(1), pp151-162, 1988

Was ist NIR-Spektroskopie? (einfache Erklärung, einfach erklärt)

In den meisten Fällen leuchtet eine gewöhnliche Halogen Lampe deren harmlose Strahlung auch den Nah-Infrarot (NIR) Bereich beinhaltet auf die Probe und das reflektierte Licht wird gemessen. Das Licht verliert etwas Energie an und in der Probe, abhängig von deren physikalischen Beschaffenheit und chemischen (Molekular) Struktur. Der fehlende Teil des Lichts ergibt ein Fingerabdruck der Probe, der mathematisch analysiert wird mittels vorgefertigten NIR Kalibrationsmodellen (erzeugt mit chemometrischen Methoden) basierend auf bekannten Proben. Dies ermöglicht es, gleichzeitig mehrere physikalische- und chemische Eigenschaften (Bestandteil, Zutaten,  Analyt) innert wenigen Sekunden und für die Proben zerstörungsfrei zu bestimmen.

Der Ghost Kalibrator

Um unseren Service in einer anderen Art und Weise zu erklären, verwende ich eine Analogie zwischen einem Buch und einer Kalibrierung. Das Erstellen guter Kalibrierungen ist wie das Schreiben eines guten Buches (ein Bestseller). Sie können mit einer anspruchsvollen Textverarbeitung (der Chemometrie Software), die eine Grammatikprüfung (Ausreißer-Detektion) hat in einer Fremdsprache (Chemometrie) schreiben.

Aufgrund der Komplexität der Fremdsprache (Chemometrie) und die Schwierigkeit des gewählten Buch Themas (die Daten) und der unvollständigen automatischen Grammatikprüfung, können Sie nie sicher sein, ob die Grammatik korrekt ist und es nicht zu Missverständnissen (schlechte Prognose Performance) führen kann. Der beste Weg ist, den Text von einem Muttersprachler überprüfen und korrigieren zu lassen.

Auf diese Weise (die Analogie), können Sie uns auch als Ghostwriter (Ghost Kalibrations Entwickler, ghostcalibrator) sehen, der Ihnen hilft das Buch zu schreiben (mit langjähriger Erfahrung, fundiertes Wissen, Zeitersparnis, eine Reihe von Vorteilen).
Die Analogie passt sehr gut, weil Sie das Thema des Buches (mit Ihren Daten) definieren können. Zum Schluss besitzen Sie die Kalibration und Sie haben den vollen Einblick, wie es gemacht wird. Sie haben es unter voller Kontrolle.