NIR Data cleaningNIR Daten BereinigungPulizia dati NIR

The data are examined on various aspects, logical consistency and criteria to rule out in advance that bad data is part of the NIR calibration. Are there duplicate copies of spectra in the data set? Do the duplicates contain different reference values? Do all the spectra cover the same wave range? Data cleaning will prevent that bad or incorrect data is fitted with inappropriate treatments and unwanted over-fitting to seemingly good results. If outliers are removed on the basis of such a NIR model, which are often not the bad data itself, because the model has learned the bad data.Die NIR Daten werden auf verschiedenste Aspekte, logische Konsistenz und Kriterien hin untersucht, um im Vorfeld auszuschliessen, dass schlechte Daten Teil der NIR Kalibration werden. Gibt es Kopien der Spektren als Duplikate im Datensatz? Haben die Duplikate unterschiedliche Referenzwerte? Decken alle Spektren den gleichen Wellenbereich ab? Durch Data Cleaning wird verhindert, dass schlechte oder falsche Daten mit ungeeigneten Behandlungen und ungewolltem Überfitten zu scheinbar guten Ergebnissen führen. Wenn auf der Basis einen solchen NIR Modelles Outlier entfernt werden, sind das dann oftmals nicht die schlechten Daten selbst, weil das Modell die schlechten Daten gelernt hat.I dati sono analizzati sotto diversi aspetti: coerenza logica e criterio per escludere i dati superflui che fanno parte della calibrazione NIR. Ci sono duplicare copie spettri nel set di dati? Avere i duplicati diversi valori di riferimento? Coprire tutti gli spettri della stessa banda? La pulizia dati eviterà che dati non validi o non corretti vengano sottoposti in modo inappropriato a trattamenti matematici e diano risultati apparentemente buoni. Se valori anomali vengono rimossi in base a tale modello NIR, in cui spesso non sono i dati di per sé anomali, è perché il modello ha imparato quali sono i dati non validi.

Extend NIR calibrations (re-calibration)NIR Kalibrationen erweitern (Re-Kalibration)

How to extend a NIR calibration with new measured sample spectra and optimize the calibration again? The important thing is not stubbornly cling to the existing chemometric model settings, but to evaluate the whole data set and newly re-modeling, so as to enable better performance. In practice, it is so that new NIR data fill the gaps in the base model, bring in concentration range extensions with them, the raw materials or the process has changed somewhat, and thus a new calibration optimization is certainly useful. Because the added new variations in the data pool generates a totally new picture, so that a different pre-processing and a modified wavelength selection can provide a much better and robust compensation for unwanted effects and increase the overall calibration performance and improve the models accuracy.

Wie soll man bestehende NIR Kalibrationen mit neu gemessenen Spektren zu einer neuen Kalibration vereinen?

Wichtig dabei ist, nicht stur an den Einstellungen des bestehenden chemometrischen Modelles festzuhalten, sondern die ganze Datenmenge neu zu bewerten und neu zu Modellieren, um so bessere Performance zu ermöglichen.

In der Praxis ist es so, dass neue NIR Daten die Lücken im Basismodell stopfen, Konzentrations Bereichs-Erweiterungen mit sich bringen, die Rohstoffe oder der Prozess sich etwas verändert hat und somit eine neu Optimierung sicher sinnvoll ist.

Da die zusätzlichen neuen Variationen im Datenpool ein völlig neues Bild ergeben, so kann eine andere Datenvorbehandlung und eine modifizierte Wellenlängen Auswahl eine viel bessere und robuste Kompensation unerwünschter Effekte bieten und erhöht dadurch auch die gesamte Kalibrierung Performance und verbessert die Modell Genauigkeit.

BenefitNutzenBenefici

The NIR Calibration service offers the following benefit: Saving money
  • Improving the accuracy and reliability of already used NIR calibration models have high potential in various manufacturing processes as well as in quality assurance.
  • increased accuracy of analysis => better control of the production process => optimum process flow => better quality => less waste => more throughput.
  • quick and inexpensive to create professional NIR calibration models.
  • relief of their own staff
Time savings
  • for data cleaning (increasing data quality) - missing data, outlier search, wrong data (conflicting information), outlier removal
  • for the search for the optimal NIR model parameter settings (calibration set, wavelength selection, data pretreatments, factor selection)
  • for the calculation of different variations of the model
  • for the validation, evaluation and selection of the optimal model (error, SEP, RMSEP, RMSEC, RPD, fit, R2, bias, slope, ...)
  • time-consuming calculation of huge calibration models
  • no long trial and error and waiting in the used NIR software until the calibrations seems to work
NIR analytical accuracy
  • higher reliability due to accuracy and robustness of NIR calibration models
  • the possibility of comparison with your own created or already existing or purchased NIR calibrations
  • what performance increase of analytical accuracy is possible
  • improvement of robustness with respect to change of the product matrix and possible instruments drift
Professional NIR calibration models
  • decades of experience in chemometrics for NIR spectroscopy
  • based on theoretical and applied good practice and know-how
  • application of various guidelines and rules
  • application of vendor-independent NIR chemometric software
  • outsourcing of NIR calibration method development and calibration equation maintenance
  • improving the robustness of NIR prediction model
  • avoid traps and pitfalls of the complicated chemometrics
Detailed results
  • The service provides optimal calibration settings for your NIR data.
  • You get full insight into the NIR calibration, as it is produced and detailed statistical values as a performance index assisted with graphics.
Der NIR Kalibrations Service bietet Ihnen folgende Vorteile: Geldersparnis
  • Die Verbesserung der Genauigkeit und Zuverlässigkeit bereits eingesetzter/angewandter NIR Kalibrationsmodelle hat hohes Einsparpotenzial bei verschiedenen Produktions Prozessen wie auch in der Qualitätssicherung.
  • Erhöhte Analysen Genauigkeit => den Produktionsprozess besser im Griff => optimaler Prozessablauf => bessere Qualität => weniger Ausschuss => mehr Durchsatz
  • Schnell und günstig professionelle NIR Kalibrations Modelle erstellen.
  • Entlasten von eigenem Personal
Zeitersparnis
  • beim Datenbereinigung (Steigerung der Datenqualität) - Fehlende Daten, Ausreisser Erkennung, fehlerhafte Daten (widersprüchliche Informationen), Ausreisser Elimination
  • beim Suchen nach den optimalen Parameter Kombinationen für das Modell (calibration set, wavelength selection, data pretreatments, factor selection)
  • beim zeitintensiven Berechnungen von diversen Variationen des Modells
  • bei der Validation, Bewertung und Auswahl des optimalen Modells (error, SEP, RMSEP, RMSEC, RPD, fit, R2, bias, slope, ...)
  • Nicht lange rumprobieren in der verwendeten NIR Software bis die Kalibration einigermassen funktioniert.
NIR Analysen Genauigkeit
  • höhere Zuverlässigkeit durch Genauigkeit und Robustheit der NIR Kalibrations Modelle
  • Vergleichsmöglichkeit mit ihren eigenen erstellten oder schon vorhandenen oder gekauften NIR Kalibrationen
  • was ist an Performance Steigerung der Analysen Genauigkeit möglich
  • was ist an Robustheit bzgl. ändernder Produkt Matrix, Instrumenten Drift möglich
Professionelle NIR Kalibrations Modelle
  • Jahrzehnte lange Erfahrung in Chemometrics for NIR-Spectroscopy
  • basierend auf theoretischer und angewandter Good Practice und Know How
  • Anwendung verschiedenster Richtlinien und Regeln
  • Anwendung von Hersteller unabhängiger NIR Chemometrie Software
  • Auslagerung (Outsourcing) der NIR-Kalibrations Methoden Entwicklung und NIR Kalibrations Pflege
  • Verbesserung der Robustheit von NIR-Kalibrationen
  • Vermeidung von Fallstricken und Fallgruben der komplexen Chemometrie
Detaillierte Ergebnisse
  • Der Service liefert die optimalen Kalibrations Einstellungen für ihre NIR Daten.
  • Sie erhalten vollen Einblick in die NIR Kalibration, wie sie erzeugt wird und detaillierte statistische Werte als Performance Übersicht unterstützt mit Grafiken.
Ein weiterer Aspekt des chemometrischen Modellierung Services.Il servizio di calibrazione NIR offre i seguenti vantaggi: Risparmiare soldi
  • Migliorando la precisione e l’affidabilità di modelli di calibrazione NIR pre-esistenti si possono aumentare le potenzialità in vari processi di produzione, nonché la garanzia di qualità.
  • Maggiore accuratezza dell’analisi assicura un miglior controllo del processo produttivo, flusso di processo ottimale e meno scarti di produzione.
  • Velocità e poco costo per creare modelli di calibrazione professionali.
  • Sollievo del personale.
Risparmiare tempo
  • Ripulendo i dati e aumentandone la qualità – dati mancanti, ricerca di valori anomali, dati errati (informazioni contraddittorie), rimozione di valori anomali.
  • Ricercando impostazioni ottimali dei parametri del modello NIR (set di calibrazione, selezione lunghezza d'onda, pre-trattamentidi dati, selezione fattore).
  • Calcolando diverse varianti del modello.
  • Facendo valutazioni di convalida e selezione del modello ottimale (errore, SEP, RMSEP, RMSEC, RPD, fit, R2, bias, slope, ...).
  • Per il calcolo dei modelli di calibrazioni enormi.
Precisione analitica NIR
  • Maggiore affidabilità grazie alla precisione e robustezza dei modelli di calibrazione NIR.
  • Possibilità di confronto del metodo creato e quello eventualmente da acquistare.
  • Aumento della performance di accuratezza analitica quanto possibile.
  • Miglioramento della robustezza cambiando matrice e possibile derivata.
Modelli di calibrazione NIR professionali
  • Decenni di esperienza nella chemiometria per la spettroscopia NIR.
  • Su base teorica e applicata di buone tecniche e know-how.
  • Applicazione di linee guida.
  • Presenza di venditori indipendenti di software chemiometrici NIR.
  • Manutenzione equazione di taratura.
  • Migliorare la solidità del modello di predizione NIR.
  • Evitare trappole e trabocchetti della complicata chemiometria.
Risultati nel dettaglio
  • Il servizio fornisce le impostazioni di calibrazione ottimali per i vostri dati NIR.
  • È possibile avere una piena conoscenza della calibrazione NIR, in quanto vengono forniti in modo dettagliato valori statistici come indice di performance assistita e relativi grafici.
Un ulteriore aspetto dei servizi di modellazione chemiometrica.