Durante este período de más de dos centurias, sin embargo, los Carvajales no dieron el impulso que se requería para que la administración de la correspondencia fuera lo más expedita posible. Junto a ello, comenzaron a reunir un creciente poder, varios títulos de nobleza y un ingente patrimonio, lo que produjo cierto recelo en la Corona española. Estas tres razones esgrimió Carlos III para privar a Fermín Francisco de Carvajal-Vargas de su cargo hereditario y retornarlo al gobierno.
El rey, atendidas todas estas circunstancias, pactó un convenio de resarcimiento (que constó de quince artículos) por los posibles perjuicios a la calidad y patrimonio de la familia de Fermín Francisco y le otorgó el título de I duque de San Carlos (1780).
Casó con su prima hermana consanguínea Joaquina Ana María Josefa Magdalena de Brun y Carvajal-Vargas, viicondesa del Puerto, vcondesa de Castillejo, hija de Tomás de Brun y Normante y de su esposa Catalina Isidora de Carvajal-Vargas y Hurtado de Quesada, ivcondesa de Castillejo. Le sucedió, de su hijo Mariano Joaquín de Carvajal y Brun, viii conde del Puerto, vi conde de Castillejo, el hijo de ambos, por tanto su nieto paterno:
Casó con María del Rosario de Silva Cebrián y Fernández-Miranda. Sin descendientes.
Casó en segundas nupcias con María Eulalia de Queralt y de Silva, hija del conde de Santa Coloma y la condesa de Cifuentes. Le sucedió, de su segundo matrimonio, su hijo:
José Fernando de Carvajal y Queralt (Alfaro, 1808 - Madrid, 1872), III duque de San Carlos.
Casó con María Luisa Dávalos y Portillo. Sin descendientes.
Le sucedió, de su hermano Luis Joaquín de Carvajal y Queralt, iiiconde de la Unión, que había casado con María Andrea Dávalos y Portillo, condesa viuda de Villagonzalo. La hija de éstos, por tanto su sobrina paterna:
María Luisa de Carvajal y Dávalos (Madrid, 11 de febrero de 1853 - Madrid, 22 de febrero de 1947), IV duquesa de San Carlos, x condesa del Puerto (por rehabilitación en 1897, cedido a su hija María de la Encarnación de Silva y Carvajal, en 1898), viiicondesa de Castillejo, iv condesa de la Unión.
Álvaro Fernández-Villaverde y Silva (n. en 1943), VI duque de San Carlos, v duque de Santo Mauro, xvi marqués del Viso (desde 1961), V marqués de Pozo Rubio (desde 1989), xv marqués de Santa Cruz, xiii marqués de Villasor, xii conde de Castillejo.
Casó con Estrella Bernaldo de Quirós y Tacón, hija de Ana María Tacón y Rodríguez de Rivas, V duquesa de la Unión de Cuba.
Casilda de Silva y Fernández de Henestrosa y su esposo, fueron distribuyendo a lo largo de su vida, los títulos familiares, otorgando a su hijo mayor, Álvaro, los más representativos:
Álvaro Fernández-Villaverde y Silva, v duque de Santo Mauro, vi duque de San Carlos, xvi marqués del Viso (desde 1961), v marqués de Pozo Rubio (desde 1989), xv marqués de Santa Cruz, xiii marqués de Villasor, xiiiconde de Castillejo.
Casilda Fernández-Villaverde y Silva, desde 1976, iii condesa de Carvajal.
José Carlos Fernández-Villaverde y Silva, desde 1972, vii conde de Estradas.
Rafael Fernández-Villaverde y Silva,desde 1985, xii marqués de Arcicóllar.