NIR Data cleaningNIR Daten BereinigungPulizia dati NIR

The data are examined on various aspects, logical consistency and criteria to rule out in advance that bad data is part of the NIR calibration. Are there duplicate copies of spectra in the data set? Do the duplicates contain different reference values? Do all the spectra cover the same wave range? Data cleaning will prevent that bad or incorrect data is fitted with inappropriate treatments and unwanted over-fitting to seemingly good results. If outliers are removed on the basis of such a NIR model, which are often not the bad data itself, because the model has learned the bad data.Die NIR Daten werden auf verschiedenste Aspekte, logische Konsistenz und Kriterien hin untersucht, um im Vorfeld auszuschliessen, dass schlechte Daten Teil der NIR Kalibration werden. Gibt es Kopien der Spektren als Duplikate im Datensatz? Haben die Duplikate unterschiedliche Referenzwerte? Decken alle Spektren den gleichen Wellenbereich ab? Durch Data Cleaning wird verhindert, dass schlechte oder falsche Daten mit ungeeigneten Behandlungen und ungewolltem Überfitten zu scheinbar guten Ergebnissen führen. Wenn auf der Basis einen solchen NIR Modelles Outlier entfernt werden, sind das dann oftmals nicht die schlechten Daten selbst, weil das Modell die schlechten Daten gelernt hat.I dati sono analizzati sotto diversi aspetti: coerenza logica e criterio per escludere i dati superflui che fanno parte della calibrazione NIR. Ci sono duplicare copie spettri nel set di dati? Avere i duplicati diversi valori di riferimento? Coprire tutti gli spettri della stessa banda? La pulizia dati eviterà che dati non validi o non corretti vengano sottoposti in modo inappropriato a trattamenti matematici e diano risultati apparentemente buoni. Se valori anomali vengono rimossi in base a tale modello NIR, in cui spesso non sono i dati di per sé anomali, è perché il modello ha imparato quali sono i dati non validi.