Sobre la persona del Conde de Ofalia pesaron dos destierros a la Provincia de Almería, el primero fue en julio de 1819. Ofalia había conseguido ser considerado buen español tras el regreso del absolutismo de Fernando VII, se le admite como buen vasallo del Rey y puede regresar a sus actividades diplomáticas, entra en el Ministerio de Estado y en 1817 fue destinado a Estados Unidos entrando en la negociación de acuerdos de límites con la potencia norteamericana, logran saldar cuentas económicas cediendo tierras en Florida y Luisiana a Estados Unidos, lo cual conllevó diferencias con altas personalidades de Estado, con Lozano de Torres, pues Ofalia se opuso a negocios particulares con tierras que pudiesen perjudicar los intereses de nuestra patria.

En 1819 Ofalia formaba parte de una Comisión que trataba sobre acuerdos, reformas, clemencia, respecto a sublevaciones liberales, Lozano de Torres actuó con venganza, desacredita ante los absolutistas realistas a Ofalia, que cae en desgracia y sufre destierro en Almería, ya que durante la noche del 12 de julio de 1819 entra en su casa el Corregidor de Madrid, se apodera de sus papeles y se le destierra a Almería (Narciso de Heredia –nieto del Conde de Ofalia- “Escritos del Conde de Ofalia”, Bilbao, 1894). El Conde de Ofalia pudo reingresar en cargos de confianza del sistema fernandino venciendo dificultades, durante la invasión francesa tuvo amistad con el Ministro afrancesado Azanza, no siendo considerado Ofalia patriota por el Gobierno liberal español refugiado en Cádiz.

Almería, ciudad donde residía su padre, además sus hermanas realizaron casamientos con importantes y nobles casas almerienses, los Torre Alta y Torre-Marín, posibilitando que fuesen llevaderos sus dos destierros de la Corte, donde Ofalia tenía su casa.

Con el triunfo liberal en 1820, las autoridades del trienio le conceden libertad y puede volver a Madrid, recibiendo reconocimientos, la Orden americana de Isabel la Católica, por sus trabajos diplomáticos en América desde 1801. Vuelto el Absolutismo en 1823 Ofalia tiene una brillante carrera, consigue la amistad de Ugarte, amigo del Rey y miembro de su camarilla. Le protege el Marqués de Casa de Irujo, pues estuvo en América y dirigió algunas de las acciones diplomáticas de Ofalia; en diciembre de 1823 Ofalia fue Ministro de Gracia y Justicia y con la muerte de Casa de Irujo fue Ministro de Estado, pero en mayo de 1824 los decretos favorables al perdón de liberales, le suponen la enemistad de Ugarte y de Fernando VII, además los Ultras le culpan de los levantamientos liberales que se suceden, es tenido por permisivo, siendo destituidos el Ministro de la Guerra, General Cruz, y el Conde de Ofalia el 11 de julio de 1824, Ofalia nuevamente sería desterrado en Almería.

Narciso de Heredia estaba casado desde 1803 con María Soledad Cerviño y Pontejos, enviuda en 1816, tenía dos hijas; casó en 1823, segundas nupcias, con María Dolores Salabert Torres, hija del Conde de Torrecillas, con lo cual mejoraba su estatus económico y conseguía el título de Conde de Ofalia, por el que fue conocido en la diplomacia, usándolo, por mandato Real, después de quedar viudo en 1831.

Con el triunfo liberal en 1820, las autoridades del trienio le conceden la libertad

Resultó que la política transigente y de clemencia hacia el liberalismo de los Ministros Cruz y Heredia en 1824 tuvo sus enemigos, ya que se acusó a Heredia de ser partidario de un entendimiento con los franceses, que dieron concesiones al liberalismo, la carta otorgada en Francia, mientras que Ugarte y Ultras eran partidarios de la intransigencia aconsejada por Rusia. Las intentonas liberales en Tarifa y Almería perjudicaron a los exministros Cruz y Heredia, uno sufre prisión, Heredia es desterrado el 3 de septiembre de 1824 a Almería; los acontecimientos vividos en agosto en Almería hacían peligrosa la ciudad para un personaje, que aunque desterrado, recientemente había sido Ministro de la Monarquía Absolutista y podía tener represalias en un lugar apartado de la Corte y con recientes acontecimientos sangrientos de armas entre liberales y realistas.

Fernando VII.

Ofalia primeramente estuvo en Granada, pero en esta ciudad tenía enemigos, así el Escribano Puga, muy amigo del Gobernador Pedrosa, absolutistas furibundos. Se impone que el 16 de septiembre de 1824 marchase Ofalia hacia Almería, el viaje resultó muy peligroso, pues aunque caminaban por el Camino Real, portaban pasaporte de Su Majestad, le acompañaba escolta de caballería, cinco jinetes facilitó el Capitán General de Granada, mas cerca de Gádor eran aprisionados por Voluntarios Realistas de Almería, unos 40 hombres desarmaron y desmontaron a la escolta del Conde de Ofalia, hicieron preso al exministro por orden del Gobernador de Almería Sebastián Pírez Feliu.

En la entrada de Gádor otra partida realista, de esta población, se enfrenta a los realistas de Almería que capitaneaba el oficial Aguado, existen insultos entre ellos y hubo tiros, uno de ellos pasó cerca del Conde de Ofalia. Finalmente durmieron en Gádor, donde a Ofalia le esperaba su cuñado Antonio María de Aguilar Amat, casado con María Mercedes Heredia, hermana de Ofalia ( el 20/9/1824 Ofalia escribe una carta a su esposa María Dolores Salabert, relata su viaje de Granada a Almería, se recoge en el libro editado por Narciso de Heredia, nieto del Conde de Ofalia, en 1894).

La llegada de Ofalia a Almería fue el 19 de septiembre de 1824, no viajaron por la noche, pues era peligroso, le hacen entrar en la ciudad escoltando su coche caballería realista, realizan un gran recorrido por la ciudad, el normal de las procesiones, para mostrarlo al pueblo, recorrieron la calle de las Huertas (actualmente Alcalde Muñoz), Puerta de Purchena, Plaza Marín, Plaza de la Catedral, Calle Empedrada (posiblemente Eduardo Dato), calle Real hasta la casa del Gobernador. El Conde de Ofalia relató a su esposa, en la carta anteriormente citada, el noble comportamiento del vecindario de Almería, pues no escuchó ni una sola voz, ni un solo insulto de los almerienses. Feliu era un antiguo Gobernador liberal, buscaba el favor Real.

El Gobernador Militar Feliu humilló en la calle a Ofalia, le hizo esperar media hora para recibirlo, después examinó el pasaporte de Ofalia, comprobó que se encontraba en regla, se excusó manifestando que había ordenado a las fuerzas realistas detenerle, caso de que no aportase pasaporte valido. Entonces se conocía que el General Cruz sufría prisión, y recelaban que el Conde de Ofalia pasase a Gibraltar y después a Estados Unidos, para evitar ser detenido por los absolutistas. Las ideas transigentes y de perdón de Cruz y Ofalia hacia los liberales se vieron perjudicadas por los ataques revolucionarios contra Tarifa y Almería en Agosto de 1824. Había un barco norteamericano en Cabo de Gata, estaba detenido por malos vientos, decían que esperaba al Conde de Ofalia, al cambiar los vientos siguió viaje.