Il palazzo si trova agli inizi di Via Canelles, nel quartiere Castello di Cagliari, di fronte al Bastione Santa Caterina. Venne fatto costruire dalla nobile famiglia Viale (nella ringhiera del primo piano compariva il loro stemma nobiliare) a cui appartenne fino ai primi decenni del XIX secolo.
Successivamente fu di proprietà del Generale Luigi Castelli che, alla sua morte, lo trasmise ad una nipote della moglie, Francesca Puddu, moglie del Conte Michele Pes. Attualmente il palazzo è di proprietà degli eredi Pes.