Знак (значок) "Отличный пограничник" учреждён постановлением Совета Министров СССР в 1949 году. Награждались солдаты и сержанты погранвойск МГБ, МВД, КГБ СССР, образцово несущие службу по охране Государственной границы Советского Союза, качественно выполняющие специальные задачи, добившиеся отличных показателей в боевой и политической подготовке, показывающие пример в дисциплине.

Награждение знаком производилось до 1969 года.

Существует несколько типов и разновидностей, изготавливался из жёлтого металла, с применением серебрения и эмалей.