De style néo-florentin, le bâtiment adopte un plan rigoureusement symétrique. Gaspard André avait souhaité rendre hommage aux architectes de la renaissance italienne, qu’il reconnaissait comme ses maîtres. Les tourelles à belvédère qui prolongent les escaliers de service rappellent la villa Médicis de Rome ; le grand escalier central prend pour modèle celui dessiné par Michel-Ange pour la bibliothèque Laurentine de Florence ; en outre, s’inspirant d’un escalier dessiné par le Bernin au Vatican, les murs du grand escalier s’écartent légèrement au fur et à mesure de l’élévation, en même que la courbe de la voûte s’écrase, ce qui a pour effet de créer une illusion optique qui accroît la majesté de l’ensemble.
Gaspard André remanie son projet jusqu’à sa mort, survenue à Cannes en 1896. Quatre architectes lui succèdent: Charles Melley pour l’aile sud, Louis Bezencenet et Charles Girardet pour le corps central, et enfin Francis Isoz pour l’aile nord. La construction débute en septembre 1898.
Inauguration
Le Palais de Rumine est inauguré en 1902, mais il n’est réellement achevé qu’au printemps 1906, en même temps que le percement du tunnel du Simplon, qui était alors le plus long tunnel ferroviaire du monde. Cette coïncidence permet au Conseil fédéral d’organiser l’inauguration du tunnel au palais de Rumine le 28 mai 1906, en présence de 800 convives. Deux "souvenirs" du percement du Simplon se trouvent au palais de Rumine, à l'extrémité de la terrasse nord: une perforatrice et une porte blindée, pesant plus de 5 tonnes, qui servit à contenir une masse d'eau chaude qui avait fait irruption pendant les travaux de percement.