Das Wort Nagelprobe meint ursprünglich die Prüfung eines leergetrunkenen Trinkgefäßes. Das Trinkgefäß wird umgedreht. Falls aus dem Gefäß mehr Flüssigkeit herausläuft, als auf einem Daumennagel Platz findet, gilt das Gefäß nicht als leergetrunken und die Nagelprobe ist nicht bestanden.

Erstmals ist die Prüfung des Trinkgefäßes durch die Nagelprobe in der Hoftrinkordnung des Kurfürsten Christian II. von Sachsen (1583 bis 1611) belegt. Dort wurde es von dem Spruch „So hatten es auch die Alten im Brauch“ begleitet. Auch heute noch wird das Ritual der Nagelprobe im Brauchtum der mitteleuropäischen Studentenverbindungen gepflegt. Hier gibt es den sogenannten "Bierjungen", eine Art Wetttrinken, zu dessen Abschluss teilweise eine Nagelprobe vorgenommen wird, um festzustellen, ob die Kontrahenten ihre Gläser jeweils vollständig geleert haben. Auch in das Brauchtum der englischsprachigen Welt hat die Nagelprobe als "drinking on the nail" Einzug gehalten.

In jüngerer Zeit werden auch andere Prüfverfahren als Nagelprobe bezeichnet, beispielsweise die Ermittlung der Anordnung der Zellstofffasern von Papier, die Überprüfung der Trocknung einer frisch mit Druckfarben bedruckten Fläche. In der Medizin wird mit Hilfe einer Nagelprobe erniedrigter Blutdruck beziehungsweise die Unterversorgung des betreffenden Arms oder Beins mit Blut festgestellt. Der Nagel des Daumens beziehungsweise der großen Zehe gewinnt normalerweise binnen kürzester Zeit seine rosige Farbe zurück, nachdem Druck auf ihn ausgeübt wurde. Sollte dies einmal nicht der Fall sein, ist die betreffende Gliedmaße unterversorgt.