Spektroskopie und Chemometrie Neuigkeiten Wöchentlich #43, 2016

Chemometrics

SWIR region contains chemical spectral info. Chemometrics differentiate 4 sugars. Realtime spectral processing LINK


Near Infrared

Using advanced NIR sensors, our hygenic TS line measures fluid absorption for FoodandBeverage applications: LINK!

“NIR penetrates much further into samples and, unlike Raman, is unaffected by fluorescence.” | Env… LINK

Qualitätskontrolle während der Extrusion – Folie Fremdpolymeren NIRAnalyse Inspektionssystem LINK

Pre-grazing significantly boosts first cut silage quality | NIRanalycer NIRmachine via LINK


Infrared

Selective Weighted Least Squares Method for Fourier Transform Infrared Quantitative Analysis LINK

Multivariate Analysis of Hemicelluloses in Bleached Kraft Pulp Using Infrared Spectroscopy LINK


Hyperspectral

Combining hyperspectral and lidar is a great approach to identify & monitor invasive plants species… LINK


Environment

DETECTION OF CANNABIS PLANTS BY HYPER-SPECTRAL REMOTE SENSING MEANS LINK


Pharma

US FDA Purchases Transmission Raman for Quantitative Analysis of Tablets & Capsules – European Pharmaceutical Review LINK


Laboratory

“Washington State University (WSU) portable smartphone spectrometer laboratory detects cancer” LINK

Spectroscopy Outside the Lab: LINK


CalibrationModel.com

Spectroscopy and Chemometrics News 42, 2016 | NIRS Spectroscopic Chemometric Software LINK

Spektroskopie und Chemometrie Neuigkeiten Wöchentlich 42, 2016 | NIRS Spektroskopie Chemometrie Kalibration LINK

Spettroscopia e Chemiometria Weekly News 42, 2016 | NIRS Spettroscopia Chemiometria news LINK


Wir machen NIR Chemometrie einfach

Hi, we’re CalibrationModel. Our aim is to transform your NIR data to superior calibration models. We do this by using knowledge driven software applying good practices and rules from literature, publications, regulatory guidelines and more. Our service is used by NIR specialists to deliver a valuable model for their NIR analysis measurements. With CalibrationModel services, NIR specialists can find out how their NIR Data can be robust and optimally modeled by which data preprocessing and wavelength selection, etc. You can implement CalibrationModel in a matter of minutes using our contact form and send your NIR data to receive optimized model settings as a blueprint.
NIR specialists (Spectroscopist, Chemometricians) love perfect models. They’re curious about how to improve their models even further, because all NIR models need continuous maintenance and updates.
Using CalibrationModel services, NIR Specialists can deliver real value to their measurement results through powerful model optimization capabilities.
CalibrationModel We make NIR Chemometrics easy. Near-Infrared Data Modeling Calibration Service

Arbeitsweisen zur NIR Kalibrierung – Erstellung von NIRS-Spektroskopie Kalibrierungskurven

Kennen Sie den Effekt, dass Sie bevorzugt ihre Lieblings-Datenvorbehandlungen in Kombination durchprobieren und oft die gleichen Wellenlängen-Selektionen anhand der visualisierten Spektren ausprobieren?

Man probiert z.B. sechs bis zehn Kombinationen aus, bis man davon sein favorisiertes Kalibrationsmodell auswählt, um es dann weiter zu optimieren. Da fallen dann plötzlich Ausreisser (Outlier) auf, weil man in die Tiefe geht, also mit den Daten vertraut ist, man kennt mittlerweile die Spektren-Nummern der Ausreisser und ist mit den Extremwerten vertraut.

Jetzt fokussiert man sich auf die Hauptkomponenten (Principal Components, Latent Variables, Faktoren) und achtet darauf nicht zu über-fitten und nicht zu unter-fitten. Das ganze dauert ein paar Stunden und schliesslich begnügt man sich mit dem gefundenen Modell.

Was wäre nun, wenn man in all den zu Beginn ausprobierten Varianten, die gefundenen Ausreisser entfernt und nochmals berechnet und vergleicht? Wären die Ergebnisse besser als die von der bisherigen Modell Wahl? Man probiert es nicht aus? Weil es mühsam ist und wieder Stunden dauert?

Wir haben eine Software entwickelt die dies so vereinfacht, dass auch die Anzahl der Modell Variationen beliebig erhöht werden kann. Die Varianten Erzeugung läuft automatisiert mit einem intelligenten Regelsystem, so auch die Optimierung und das Vergleichen der Modelle und schliesslich die finale Auswahl des Besten Kalibrations Modell.

Unsere Software beinhaltet alle üblichen bekannten Datenvorbehandlungs Methoden (Preteatments) und kann diese sinnvoll kombinieren. Da viele Preteatments direkt abhängig sind von der Wellenlängen Selektion, so z.B. die Normalisierungen die innerhalb eines Wellenlängen-Bereiches die Skalierungsfaktoren ermittelt, um die Spektren damit zu normieren, werden die Pretreatments mit dem Wellenlängen-Bereichen kombiniert. So kommt eine Vielzahl von sinnvollen Modell Einstellungen zusammen die alle berechnet und optimiert werden.

Für die automatische Auswahl der relevanten Wellenlängen Bereiche kommen verschiedene Methoden zum Einsatz, die sich an den Spektren Intensitäten orientieren. So werden z.B. Bereiche mit Totalabsorption nicht verwendet, oftmals störende Wasserbanden entfernt oder beibehalten.

Über all die berechneten Modell Variationen können so zusammenfassende Outlier Analysen gemacht werden. Werden durch die gefahrenen Versuche neue Outlier (Hidden Outlier) entdeckt, können alle bisherigen Modelle automatisch ohne diese Ausreisser nachberechnet, optimiert und verglichen werden.

Aus dieser Vielzahl berechneter Modelle mit deren Statistischen Güte Bewertungen (Prediction Performance) kann nun die optimale Kalibration ausgewählt werden. Dazu wird nicht einfach nach dem Vorhersage Fehler (Prediction Error, SEP, RMSEP) oder nach dem Bestimmtheitsmaß (Coefficient of Determination r2) sortiert, sondern mehrere Statistik- und Testwerte gemeinsam zur umfänglichen Beurteilung der optimalen Kalibration herangezogen.

Somit haben wir eine Plattform geschaffen, die es ermöglicht hochgradig automatisiert das zu tun, was ein Mensch niemals mit einer handelsüblichen Software tun kann.

Wir bieten damit die grösste Anzahl auf Ihr Applikations-Problem angepasste Modellierungs-Berechnungen und wählen die beste Kalibration für Sie aus!

Das heisst, unsere Ergebnisse sind schneller, genauer, robuster und objektiv ausgewählt (Personen unabhängig) und für Sie ganz einfach anzuwenden.

Die Kontrolle über die von uns gelieferten Modelle haben Sie vollumfänglich, denn wir liefern einen klar strukturierten und detaillierten Bauplan der  kompletten Kalibration, mit allen Einstellungen und Parametern, mit allen notwendigen Statistischen Kenngrössen und Grafiken.

Anhand dieses Bauplans können Sie das quantitative Kalibrations Modell selbst in der von Ihnen verwendeten Software nachstellen, nachvollziehen und vergleichen. Sie haben so alles im Griff, für die Modell-Validierung und die Modellpflege.

Der Datenschutz ist uns sehr wichtig. Die NIR Daten, die Sie uns für die Kalibrations-Erstellung kurzzeitig zu Verfügung stellen bleiben selbstverständlich Ihr Eigentum. Ihre NIR Daten werden nach Abschluss des Auftrags bei uns gelöscht.

Interessiert, dann zögern Sie nicht uns zu kontaktieren.

Wie werden Nahinfrarotspektroskopie Kalibrierungen im 21. Jahrhundert entwickelt?


The Problem

Calibration modeling is a complex and very important part of NIR spectroscopy, especially for quantitative analysis. If the model is badly designed the best instrument precision and highest data quality does not help getting good and robust measurement results. And NIR Spectroscopy requires periodically recalibration and validation.


How are NIR models built today?

In a typical usage in industry, a single person is responsible to develop the models (see survey). He or she uses a Chemometric software that has a click-and-wait working process to adjust all the possible settings for the used algorithms in dialogs and wait for calculations and graphics and then to think about the next modeling steps and the time is limited to do so. Do we expect to find the best use-able or optimal model that way? How to develop near-infrared spectroscopy calibrations in the 21st Century?


Our Solution

Why not put all the knowledge a good model builder is using into software and let the machines do the possibilities of calculations and presenting the result? Designing the software that way, that the domain knowledge is built-in, not just only the algorithms for machine learning and make it possible to scale the calculations to multi-core computers and up to cloud servers. Extend the Chemometric Software with the Domain Knowledge and make as much computer power available as needed.

As it was since the beginning

User → Chemometric Software → one Computer → some results to choose from

==> User’s time needed to click-and-wait for creating results

Our Solution

User → (Domain Knowledge → automatized Chemometric Software) → many Computers → the best models

==> User’s time used to study the best models and reasoning about his product / process

Note that the “Domain Knowledge” here does perfectly support the User’s product and process knowledge to get the things done right and efficient.


Scaling at three layers

  • Knowledge : use the domain knowledge to drive the Chemometric Software
  • Chemometric Software : support many machine learning algorithms and data pre-processings and make it automatic
  • Computer : support multi-core calculations and scale it to the cloud

The hard part in doing this, is of course the aggregation of the needed domain knowledge and transform it into software. The Domain Knowledge for building Chemometric NIR Spectroscopic models is well known and it’s huge and spreads multiple disciplines. Knowledge-driven software for computing helps to find the gold needle in the haystacks. It’s all about scaling that makes it possible. See Proof of Concept.


New possibilities

  • NIR users can get help working more efficient and getting better models.
  • New types of applications for NIR can be discovered.
  • Evaluation of NIR Applications to replace conventional analytical methods.
  • Hopeless calibrations development efforts can be re-started.
  • Higher model accuracy and robustness can be delivered.
  • Automate the experimental data part of your application study.
  • Person independent optimization will show new solutions, because it’s not limited by a single mindset => combining all the aggregated knowledge and its combinations.
  • Software independent optimization will show new solutions, because none of vendor specific limitations and missing algorithms are present => combining all open available algorithms and there permutations.
  • Computing service is included.

Contact us for trial

Your NIR data is modeled by thousands of different useful calibration models and you get the best of them! That was not possible before in such a easy and fast way! See How it works

Summary of the NIR Chemometric survey polls

Summary of the NIR Chemometric survey polls (as of end of Sept. 2013)

The interesting finding is that most of the answers fit the following pattern. The most companies that use NIR have one NIR Instrument and only one employee that is able to develop NIR calibrations. For that the most common off-the-shelf chemometrics program is used and spent 2 hours or over a month and therefore gets no calibration training about the complex topics like Chemometrics and NIR Spectroscopy or only once (introduction). The calibration maintenance ranges from never to 3 times a year. Interestingly, there was no one who uses portable NIR instruments. We continue our surveys, for the discovery of new trends. Conclusion Seeing this picture, we think that there is huge potential to improve the calibrations. Advanced knowledge can help individuals to build the calibrations with best practices and improve their models accuracy and reliability. Once the decision and investment in NIR technology is done, you should get the best out of your data, because this extra NIR performance can be given by calibration optimization. We offer this as an easy to use and independent service.

Angepasste NIR Kalibrationen

Steigern Sie Ihren Gewinn mit optimierter NIR Genauigkeit


Wir helfen Ihnen, die optimalen Einstellungen für eine höhere NIR Genauigkeit und Zuverlässigkeit zu finden.

Sie können Ihre eigenen NIR-Kalibrierungs Modelle mit diesen optimierten Einstellungen erzeugen.

Wir bieten einen quantitative NIR-Kalibrierung und Optimierungs Service.

Neu: White Paper (English) über die Details, was dahinter steckt.


NIR Messgenauigkeit Verbessern

  • näher an Ihre Produkt Spezifikationsgrenzwerte gehen und Rentabilität maximieren
  • Optimierung Ihrer Modelle ergeben eine Prozessoptimierung und Optimierung der Produktivität
  • Wettbewerb gegen andere NIR-Anbieter in einer Machbarkeitsstudie

Einfach anzuwenden

  • kompatibel mit jedem NIR Anbieter
  • keine Installation, kein Lernen
  • quantitative NIR Calibration Development as a Service

Sicherheit

  • hilft häufige Fehler bei der Methodenentwicklung zu vermeiden
  • bevor Sie Ihre Lösung validieren und freigeben für den Einsatz in der Produktion:
    • überprüfen Sie ob eine bessere Kalibrierung gefunden werden kann
    • vergleichen Sie Ihre Kalibrierung mit Lösungen anderer Experten

Geschwindigkeit

  • keine umständliche Versuch-und-Irrtum Modellierungs Schritte
  • Rechenzeit auf unseren Hochleistungs-Infrastruktur auslagern
  • schnelle Ergebnisse, Kalibrierungen innerhalb weniger Tage entwickelt

Festpreisangebote

  • Fixkosten, hängt nur von Datengröße ab (nicht Stundensatz für Service)
  • enorme Einsparung bei den Methodenentwicklungs Kosten
  • einfach zu planen
Mehr Vorteile, für wen und wo, erfahren Sie mehr, Kontakt

NIR Kalibrationsentwicklung

Die Mehrheit der NIR Kalibrierungen werden unter Verwendung einer kleinen Anzahl von verschiedenen Parametereinstellungen erzeugt und allzu oft eingeschränkt durch die zu Verfügung stehende Zeit die ein Benutzer hat, deren spektroskopisches und chemometrisches Fachwissen und die Fähigkeit (mühsames bedienen der Software) alle möglichen Parametereinstellungen zu wählen und zu kombinieren, die für gute Kalibrierungen erforderlich sind.

Es gibt viele veröffentlichte Normen und Richtlinien (Protokolle) für die Entwicklung von NIR-Kalibrierungen von Normierungsbehörden wie ASTM, EMEA, ICH, IUPAC, ISO, USP, PASG etc. sowie viele gute Empfehlungen und Richtlinien die in verschiedenen Lehrbüchern und Fachbeiträgen gefunden werden können.

Die Schwierigkeit mit so vielen ‘Protokollen’ für den NIR Benutzer besteht darin, dass sie alle verfügbar und in ihren Denkprozessen präsent sind während der Kalibrierungs Arbeit und zusätzlich beim Ausführen, Überprüfen und Bewerten aller manuell erzeugten Kalibrierungen. Dies ist zeitaufwendig und manchmal langweilig wiederholende Arbeit.

Um dies für die Person die NIR-Kalibrierung entwickeln zu vereinfachen, haben wir die guten Praktiken Protokolle gesammelt und sie in unseren Service integriert, der die Kalibrierungs Erstellung und das Evaluierungsverfahren automatisiert.

zu Teil 2

Neueste weiterentwickelte chemometrische Methoden

Sie suchen nach den neusten weiterentwickelten chemometrischen Methoden, um bessere NIR-Kalibrierungs Modelle zu erstellen? Methoden und Algorithmen wie:
  • Künstliche Neuronale Netze (KNN, ANN)
  • Allgemeine Regression Neural Networks (GR-NN)
  • RBF Neuronale Netze (RBF-NN)
  • Support Vector Machines (SVM)
  • Multiway Partial Least Squares (MPLS)
  • Orthogonale PLS (OPLS), (O-PLS), OPLS-AA, OPLS-ANN
  • R-PLS, UVE-PLS, Rüve-PLS, PLS LOCAL
  • Hierarchische Kernel Partial Least Squares (HKPLS)
  • Random Forest (RF)
  • usw.
und Daten-Vorverarbeitungs Methoden wie
  • Erweiterte Multiplikative Signal Correction (EMSC)
  • Orthogonale Signal Correction (OSC)
  • Dynamische orthogonale Projektion (DOP)
  • Fehlerbeseitigung durch orthogonale Subtraktion (EROS)
  • Externe Parameter Orthogonalisierung (EPA)
  • usw.
die z.T. erhältlich sind als Module für Software-Pakete wie Matlab, Octave, R-Project, usw. Warum viel Zeit und Geld investieren in neue Werkzeuge? Haben Sie es wirklich ausgiebig versucht, Ihre Kalibrierungen mit Standard-Methoden zu optimieren? Zu den chemometrischen Standard-Methoden gehören Partial Least Squares (PLS), Principal Component Regression (PCR) und multiple lineare Regression (MLR), diese sind verfügbar in nahezu allen chemometrischen Software-Paketen. Sind Sie sicher, dass Sie alle guten Regeln und Optimierungsmöglichkeiten versucht haben? Verwenden Sie einfach die üblichen kompatiblen Standard-Methoden, wir sind auf die Optimierung und Erstellung von NIR-Kalibrierungen spezialisiert, lassen Sie uns helfen, kontaktieren Sie uns!

NIR Daten Bereinigung

Die NIR Daten werden auf verschiedenste Aspekte, logische Konsistenz und Kriterien hin untersucht, um im Vorfeld auszuschliessen, dass schlechte Daten Teil der NIR Kalibration werden. Gibt es Kopien der Spektren als Duplikate im Datensatz? Haben die Duplikate unterschiedliche Referenzwerte? Decken alle Spektren den gleichen Wellenbereich ab? Durch Data Cleaning wird verhindert, dass schlechte oder falsche Daten mit ungeeigneten Behandlungen und ungewolltem Überfitten zu scheinbar guten Ergebnissen führen. Wenn auf der Basis einen solchen NIR Modelles Outlier entfernt werden, sind das dann oftmals nicht die schlechten Daten selbst, weil das Modell die schlechten Daten gelernt hat.

NIR Kalibrationen erweitern (Re-Kalibration)

Wie soll man bestehende NIR Kalibrationen mit neu gemessenen Spektren zu einer neuen Kalibration vereinen?

Wichtig dabei ist, nicht stur an den Einstellungen des bestehenden chemometrischen Modelles festzuhalten, sondern die ganze Datenmenge neu zu bewerten und neu zu Modellieren, um so bessere Performance zu ermöglichen.

In der Praxis ist es so, dass neue NIR Daten die Lücken im Basismodell stopfen, Konzentrations Bereichs-Erweiterungen mit sich bringen, die Rohstoffe oder der Prozess sich etwas verändert hat und somit eine neu Optimierung sicher sinnvoll ist.

Da die zusätzlichen neuen Variationen im Datenpool ein völlig neues Bild ergeben, so kann eine andere Datenvorbehandlung und eine modifizierte Wellenlängen Auswahl eine viel bessere und robuste Kompensation unerwünschter Effekte bieten und erhöht dadurch auch die gesamte Kalibrierung Performance und verbessert die Modell Genauigkeit.