Der Hauptvorteil von Normreferenztests besteht darin, dass sie Informationen darüber liefern können, wie die Leistung einer Person im Test im Vergleich zu anderen in der Referenzgruppe ist.
Eine schwerwiegende Einschränkung von Normreferenztests besteht darin, dass die Referenzgruppe möglicherweise nicht die aktuelle interessierende Population darstellt. Wie auf der Website des International Personality Item Pool des Oregon Research Institute angegeben, sollte man bei der Verwendung von Dosen sehr vorsichtig sein. Normen, „weil es nicht offensichtlich ist, dass man jemals eine Population finden könnte, von der die vorliegende Stichprobe eine repräsentative Untergruppe darstellt. Die meisten“ Normen „sind irreführend und sollten daher nicht verwendet werden. Weitaus vertretbarer sind lokale Normen, die man entwickelt sich selbst. Wenn man beispielsweise Mitgliedern einer Klasse von Schülern Feedback geben möchte, sollte man die Punktzahl jedes Einzelnen mit den Mitteln und Standardabweichungen in Beziehung setzen, die von der Klasse selbst abgeleitet werden. Um die Informativität zu maximieren, kann man die Schüler bereitstellen mit der Frequenz Cy-Verteilung für jede Skala, basierend auf diesen lokalen Normen, und die Individuen können dann ihre eigenen Bewertungen für diese relevanten Verteilungen finden (und einkreisen). “
Normreferenzierung stellt nicht sicher, dass ein Test gültig ist (dh dass er das Konstrukt misst, das gemessen werden soll).
Ein weiterer Nachteil normreferenzierter Tests besteht darin, dass dies nicht möglich ist den Fortschritt der Gesamtbevölkerung nur dort messen, wo Einzelpersonen in die Gesamtheit fallen. Vielmehr muss man sich an einem festen Ziel messen, um beispielsweise den Erfolg eines Bildungsreformprogramms zu messen, mit dem die Leistung aller Schüler gesteigert werden soll.
Bei einem normbezogenen Test wurde traditionell die Klassenstufe festgelegt auf dem Niveau festgelegt, das durch die mittleren 50 Prozent der Punkte festgelegt wird. Im Gegensatz dazu ist die National Children s Reading Foundation der Ansicht, dass es wichtig ist, sicherzustellen, dass praktisch alle Kinder in der dritten Klasse auf oder über der Klassenstufe lesen, ein Ziel, das mit einer normbezogenen Definition der Klassenstufe nicht erreicht werden kann.
Normen implizieren nicht automatisch einen Standard. Ein normbezogener Test versucht nicht, die Erwartung zu erzwingen, was die Testteilnehmer wissen oder können sollten. Er misst das aktuelle Niveau der Testteilnehmer durch Vergleich der Testteilnehmer mit ihre Altersgenossen. Ein rangbasiertes System liefert nur Daten, aus denen hervorgeht, welche Schüler durchschnittlich abschneiden, welche Schüler besser und welche schlechter abschneiden. Es wird nicht ermittelt, welche Testteilnehmer in der Lage sind, die Aufgaben auf einem für eine Beschäftigung oder Weiterbildung akzeptablen Niveau korrekt auszuführen.
Das letztendliche Ziel der Einstufung von Kurven besteht darin, den Einfluss von Abweichungen zwischen den Aufgaben zu minimieren oder zu beseitigen verschiedene Ausbilder desselben Kurses, um sicherzustellen, dass die Schüler einer bestimmten Klasse im Verhältnis zu ihren Kollegen bewertet werden. Dies umgeht auch Probleme, die mit der Verwendung mehrerer Versionen einer bestimmten Prüfung verbunden sind, eine Methode, die häufig angewendet wird, wenn die Testverwaltungsdaten zwischen den Klassenabschnitten variieren. Unabhängig von tatsächlichen oder wahrgenommenen Unterschieden im Schwierigkeitsgrad gewährleistet die Benotungskurve eine ausgewogene Verteilung der akademischen Ergebnisse Klasse. Die Schüler sind im Allgemeinen am meisten verärgert, wenn die Kurve ihre Note im Vergleich zu dem, was sie erhalten hätten, wenn keine Kurve verwendet worden wäre, gesenkt hätte. Um sicherzustellen, dass dies nicht geschieht, bemühen sich die Lehrer normalerweise, sicherzustellen, dass der Test selbst schwierig genug ist, wenn sie eine Bewertungskurve verwenden möchten, sodass sie erwarten würden, dass der durchschnittliche Schüler eine niedrigere Rohpunktzahl erhält als beabsichtigt wird im Durchschnitt der Kurve verwendet, um sicherzustellen, dass alle Schüler von der Kurve profitieren. Daher können gekrümmte Noten nicht blind verwendet werden und müssen im Vergleich zu Alternativen wie der kriterienbezogenen Einstufung sorgfältig abgewogen und überlegt werden. Darüber hinaus kann ein ständiger Missbrauch der gekrümmten Benotung die Noten bei schlecht gestalteten Tests anpassen, während die Bewertungen so gestaltet sein sollten, dass sie die vom Ausbilder festgelegten Lernziele genau widerspiegeln.