Sorge sulle fondamenta di un primitivo nucleo fortificato, la cui costruzione si fa risalire ad Offredo di Monaldo III, conte di Nocera, amico dell'imperatore Ottone III (980-1002), che ne fece il primo feudatario e il capostipite di questa famiglia. Con il succedersi delle generazioni, gli Alviano s'imparentarono con le più importanti famiglie della zona: i Baschi-Carnano, gli Offreduzzi di Guardea, i Montemarte di Lugnano. Nel 1208 gli Alviano mediarono la pace tra Todi e

Amelia; san Francesco fu loro ospite e predicò nel castello facendo tacere le stridule rondini. Nel 1220 Ugolino I d'Alviano ricopri la carica di podestà di Todi; nel 1289, nel 1292 e nel 1298 Offreduccio II d'Alviano ottenne la podestaria eugubina e nei 1306 quella perugina; il 30 giugno del 1305, insieme a Filippo I di Giacomo I Bigazzini, entrò a Foligno mettendo in fuga Corrado e Gerardo Anastasi che si rifugiarono a Todi: l'avvenimento portò all'elezione a capitano del popolo di Nallo di Corrado I (chiamato anche Trincia I) dal quale iniziò l'egemonia dei Trinci che si sarebbe protratta per 134 anni. Nel 1285 Ugolino II divenne podestà d'Orvieto (nel 1313 anche capitano del popolo) e nel 1301 podestà d'Amelia, carica che gli Alviano mantennero per oltre un secolo. Nel 1308 Carlo e Offreduccio II d'Alviano furono cacciati dai ghibellini amerini che v'insediarono Bindo dei Baschi (1313). La rocca ritornò in possesso di Francesco d'Alviano che vi stabili la propria residenza. Francesco sposò Isabella degli Atti e dalla loro unione nacque a Todi nel 1455 Bartolomeo, il più illustre esponente di questa famiglia, condottiero ed architetto militare, che combatté anche al servizio di Venezia (dal 7 ottobre 1498). Di piccola statura fisica, ma di vivace intelligenza e di un coraggio senza limiti, fu proclamato anche signore di Pordenone e ricostruì la potente rocca dopo che nel 1495 il vecchio castello era stato distrutto dai chiaravallesi; fece anche decorare alcune sale con fregi da Giovanni Antonio de Sacchis, detto il Pordenone.
L'imponente struttura fu innalzata come una sontuosa residenza baronale a somiglianza del castello di Bracciano; Bartolomeo, che era solito trascorrervi brevi periodi di vacanze, vi mise tutta la sua esperienza di militare, fortificandola nei punti strategici secondo i principi della nuova architettura militare ideata da Leon Battista Alberti (1404-72). Prese in moglie Bartolomea di Napoleone I Orsini (t 1480), sorella di Glarice (1453-88) sposata con Lorenzo de' Medici (1449-92); rimasto vedovo nel 1497, Bartolomeo sposò in seconde nozze a Perugia l'anno successivo Pantasilea Baglioni, sorella di Giampaolo. Sul finire del secolo, mentre Bartolomeo combatteva in Toscana, Vittorio Chiaravalle da Canale occupava Todi compiendovi stragi e distruzioni; appreso l'accaduto, il celebre condottiero ritornò in patria, recuperò Todi e catturò Vittorio che fece languire per tre anni nella rocca d'Alviano. Nel 1500 la possente fortezza divenne la sede di una fonderia di cannoni tra le più importanti nell'Umbria per opera del figlio Bernardino, esperto fonditore. Bartolomeo morì il 7 ottobre 1515 a Ghedi (Brescia) a causa d'ernia strozzata, dopo aver conosciuto anche l'onta di una lunga prigionia di quattro anni in Francia (dal 1509 al 1513). Nel 1537, alla morte di Livio di Bartolomeo d'Alviano (nato nel 1514), ultimo erede maschile, Paolo III (Alessandro Farnese, 153449) obbligò Pantasilea Baglioni e le figlie Porzia e Isabella a sottomettere i castelli di Alviano, Guardea e Attigliano alla Camera apostolica: questi possedimenti andarono ad ingrandire il ducato di Castro del quale ne era signore Pierluigi Farnese, figlio del papa, che nominò come suo luogotenente Paolo Pietro II Monaldeschi della Cervara, marito di Porzia; l'altra figlia Isabella aveva sposato nel 1531 il conte Giovanni Giacomo Cesi. L'atto di cessione del castello venne formalizzato nel 1543 e Isabella ebbe in permuta Acquasparta e Portaria. Perduto il feudo che detenevano dal 993, gli Alviano cambiarono il proprio cognome in Liviani.
Con il passare degli anni la rocca perse la sua importanza militare tanto da essere data in affitto ai Clementini, originari di Rimini; nel 1592 il Consiglio generale, però, condannava a morte Carmelo Clementini e così la proprietà ritornò sotto il diretto dominio della Chiesa. Nel 1644 il feudo d'Alviano fu venduto per 250.000 scudi al marchese Raimondy di Genova che lo tenne per alcuni anni; nel 1654 fu acquistato all'asta per 265.000 scudi da donna Olimpia Maidalchini, patrizia romana, moglie di Panfilio Pamphilj e cognata di Innocenzo X (Giambattista Pamphilj, 1644-55), considerata come la donna più ricca dell'epoca ma che morì di peste nel 1657 .
Olimpia, donna di grande scaltrezza, consigliera del papa durante la guerra di Castro, ricevette da Francesco e Antonio Barberini un'ingente somma per convincere Innocenzo X a togliere i sequestri sui beni da loro posseduti, rendendoli responsabili soltanto in sede civile del loro operato. I Pamphilj di Roma discendevano dall'eugubino Antonio, padre di Angelo Benedetto, capostipite del ramo principesco, chiamato a ricoprire la carica di procuratore fiscale da Sisto IV nel 1479. I coniugi Pamphilj ebbero tre figli: Maria, sposata con il principe Andrea Giustiniani; Costanza, sposata con il principe Nicolò Ludovisi; Camillo, prima cardinale e poi sposato con Olimpia II Aldobrandini. Alla morte di Camillo (t 1760) la signoria passò alla figlia Anna Pamphilj sposata con il generale Giovanni Andrea Doria Landi il quale portava il doppio cognome dal matrimonio avvenuto nel 1627 tra Gian Andrea Doria e Polissena di Federico Landi. I Doria Pamphilj Landi furono, quindi, i nuovi signori del castello che il 18 ottobre 1816 fu ereditato dal principe don Andrea II Doria Pamphilj Landi.

A pianta trapezoidale, circondata dal nucleo abitativo, la possente rocca fu realizzata tenendo conto sia della primordiale struttura, della quale furono utilizzate le fondamenta e alcune torri, sia dell'asperità del terreno. È costituita da quattro torri angolari circolari bastionate, da un nucleo residenziale a tre piani, più attico coperto a falde lignee con manto di coppi, da una porta d'ingresso ornata da un leone e da una

testa di medusa. All'interno si trova la cappella gentilizia con affreschi del secolo XVII che illustrano la vita di san Francesco e un cortile quadrato perimetrato da archetti che in estate ospita rappresentazioni teatrali. È attuale sede del municipio, di un centro congressi, del Museo della civiltà contadina e del Centro di documentazione dell'Oasi di Alviano.