C'est le château le plus hanté du pays. C'est la résidence royale depuis longtemps. La princesse Margareth, sœur de la reine Élisabeth II y est née en 1930.
Parmi les nombreux fantômes du château on trouve une dame grise, une inconnue qui erre de temps en temps vers la chapelle et une dame blanche, qui était Janet Douglas. Elle était la femme de John, sixième Lord de Glamis, au VI ème siècle. Après la mort de John, Janet se remaria et s'installa avec son nouveau mari, Campbell de Skipness à Glamis. Le roi de l'époque, James V, détestait le clan Douglas et fit emprisonner Janet, son mari et leur fils pour sorcellerie, dans le château d'Édimbourg. Après plusieurs années, Janet fut brûlée vive. Son mari péri noyé en tentant de s'échapper et leur fils, Lors Glamis, resta en prison jusqu'à la mort de James V.
Un des autres fantômes est appelé Beardie. Il est lié au mystère de la pièce secrète qui est célèbre au château depuis des siècles. On ne connaît pas vraiment son identité, mais il est sûr que c'était un homme violent qui adorait jouer de l'argent. Il avait cependant de la difficulté à trouver des partenaires à sa mesure.
Un jour, un étranger se présenta à la porte du château. Il désirait jouer aux cartes avec le propriétaire. Celui-ci, très intéressé, fit entrer l'étranger. Les domestiques furent étonnés d'entendre des cris et des injures pendant plusieurs jours. Leur maître, qui devait être en train de tout perdre, et l'étranger ne sortaient jamais.
L'un des domestiques, trop curieux, ouvrit légèrement la porte de la pièce pour voir ce qu'il s'y passait. Aveuglé par une lumière très brillante, il ne vit rien, mais son maître sortit peu après de la pièce, furieux de cette interruption. Quand Beardie retourna jouer, l'étranger était parti.
Certains disent que cet étranger était le Diable, car après son départ, Beardie avait comme perdu son âme. Il semblait condamné à jouer pour toujours, car même après sa mort, cinq ans après la visite de l'étranger, la pièce était toujours rempli des bruits et des insultes des joueurs.
Après quelques années, on décida de sceller la pièce, afin de faire cesser les bruits. Mais Beardie apparaît encore de temps en temps dans le château, et continue seul sa partie.
Cette pièce sellée est celle de la légende. Elle a été cherchée pendant des années, et personne, malgré tout ce qui a été essayer, n'a pu la trouver. Chercher la pièce secrète est d'ailleurs l'une des attractions de la visite du château. Il paraît que seuls trois personnes dans le monde savent où se trouvent cette pièce et qu'un grand danger plane sur eux si jamais ils révèlent leur secret à quelqu'un d'autre. Le secret ne se transmet qu'à certaine personne.
Glamis est également la demeure du premier fantôme noir d'Écosse. On pense que c'est un petit garçon noir, employé au château comme domestique. Son maître lui demandait souvent d'aller s'assoire dehors, sur une pierre, et d'attendre qu'on lui dise quoi faire ensuite. Craintif et obéissant, l'enfant s'asseyait sur cette pierre, où il passa la majeure partie de sa vie. Un soir, on l'oublia là, et il mourut de froid pendant la nuit. C'est vers cette pierre que son fantôme apparaît de temps en temps.
Il y a également dans ce château le fantôme d'une femme sans langue, qui traverse le bâtiment la bouche ouverte et sanglante, celui d'un être en uniforme militaire, et celui connu sous le nom de "Jack the runner", qui arpente les sous-sols en courant