En la circonstance on se comporta très bien à l'hôtel de Clermont-Mont-St-Jean puisque l'administration impériale conserva, avec la plupart de ses collaborateurs ayant opté pour le nouveau statut, le titulaire sarde de la Direction de Chambéry qui s'y trouvait alors, M. Vignet, lequel quitta ainsi, sans changer de fauteuil, le service du roi de Sardaigne pour passer à celui de l'empereur des Français. L'hôtel de Clermont-Mont-St-Jean reçut alors, avec les nouveaux sceaux, registres et imprimés de l'Empire,

La fièvre du changement de régime étant tombée, l'hôtel de Clermont-Mont-St-Jean ne connut plus d'autres vicissitudes que celles inhérentes aux changements de ses occupants, certains directeurs apportant à l'immeuble quelques améliorations de détail, tel celui, fastueux, qui avança de ses propres deniers le prix de la réfection, en belles lames de chêne, du plancher du salon et n'obtint que longtemps après, et par paiements échelonnés, le remboursement d'une dépense jugée excessive en haut lieu, et en tout cas irrégulièrement engagée ! La chute de l'Empire, la guerre de 1914 passèrent sans laisser de traces sensibles sur l'hôtel qui, conservant sa grâce un peu hautaine, semblait défier les atteintes du temps. Pourtant, l'année 1939 marquait le centenaire de l'installation définitive des Douanes et Gabelles sardes dans l'hôtel, et l'année 1941, celui de son acquisition en toute propriété par la même administration. Mais qui pensait à des commémorations plus ou moins officielles en ces jours d'angoisse et de deuil ? Durant l'occupation allemande, le vieil hôtel de Clermont-Mont-St-Jean abrita comme beaucoup de maisons françaises, les espoirs du pays opprimé. Un jour de janvier 1944, il reçut la visite des soldats nazis venus arrêter le directeur régional, son chef de bureau, et un certain nombre de ses collaborateurs soupçonnés, non sans raison, de complaisance envers les maquisards qui, la veille, avaient emporté les armes et les chaussures des douaniers de la circonscription, emmagasinés à la Direction. L'aventure faillit tourner au tragique.

Un autre jour, le 26 mai 1944, ce furent les avions américains, avant-coureurs de la Libération, mais qui, pour atteindre leur but, semaient aveuglément la mort et la destruction... Les bombes tombèrent dans la cour d'honneur, arrachèrent pilastres, grilles et portail, écrasèrent le petit pavillon du garde-magasin, brisèrent les fenêtres et démolirent les cloisons de l'immeuble principal... L'alerte finie, le personnel remonté des caves où il s'était réfugié, resta frappé d'une stupeur douloureuse en présence du désastre atteignant l'élégante maison qui lui paraissait symboliser la pérennité d'une vénérable administration et qu'il lui fallait quitter, il le craignait alors, pour toujours. On sait ce qu'il en advint. L'hôtel de Clermont-Mont-St-Jean a été heureusement réparé, le pavillon reconstruit. On en a profité pour aménager les locaux de manière à procurer aux employés, rapidement réinstallés, des conditions de travail meilleures, dans des pièces claires et spacieuses.