Le musée est aménagé dans l'hôpital des chevaliers.

Sa construction commença en 1440 sous le magistère de Jean Bonpart de Lastic, dont les armoiries, supportées par deux anges surplombent le portail.

Les malades et les blessés soignés à l'hôpital venaient de toute l'Europe chrétienne.

Les 7 arcades du rez- de- chaussée, donnant sur la place du Musée, s'ouvraient sur des dépôts. A l'étage, se trouvait la chapelle de l'hôpital.