Son los edificios más antiguos del casco urbano junto a la Iglesia de San Miguel Arcángel. En la actualidad están siendo utilizados como Casa Consistorial y como Centro Social, solo conservando algún elemento, como la señorial puerta de entrada en el primero y de toda la fachada, en el caso del segundo.
Juan II concede antes entre 1440 y 1450 el señorío de los Torrejón el Rubio a un excelente consejero suyo: Dr. Garci Lope de Carvajal, miembro del Consejo Real. A partir de ese momento y hasta la primera década de esa época se produce una importante labor constructora por parte de esta familia. Es precisamente Garci Lope de Carvajal quien comienza la construcción de la Casa Fuerte de los Señores de Torrejón. Es así como su sucesor, Francisco de Carvajal, encargado de su terminación, es como la denomina en 1488 cuando funda el mayorazgo en favor de su hijo Garci López de Carvajal II. Esta casa fuerte, a diferencia de los palacios, tiene una construcción más sobria y sencilla, muy delimitada todavía por una función defensiva, dada las constantes disputas entre los nobles de la zona.
La fachada está compuesta de dos zonas. La superior, acabada en ladrillo, donde se sitúa tres arcos rebajados de medio punto, siendo uno de los cúlmenes de la fachada, y la inferior, acabada en distinta mampostería de la zona.
La puerta principal está coronada por un escudo en mármol de la familia Carvajal. La casa fuerte ha tenido numerosos usos: Casa nobiliaria, posada (siglo XIX), Escuela (Siglo XIX), Cuartel de la Guardia Civil (XX) y Centro Social (Actualidad). Todo ello, al abandono que por parte de los señores de Torrejón el Rubio, a partir de finales del siglo XVII, se sufrió, la casa fuerte ha estado en varias ocasiones “medio arruinado”, tal y como se refiere a él Madoz en 1848, en el que afirma que esta Casa Fuerte se ha transformado en una posada.
Todo ello ha provocada numerosas reformas que afortunadamente no han afectado a la fachada, pero si a la estructura interna.
Igual sucede con el actual ayuntamiento. En una reciente obra se ha encontrado una interesante puerta de sillería de granito, realizada en el mismo material que el escudo situado en la parte superior. Ese escudo pertenece a D. Francisco de Carvajal y Manrique de Lara, VI señor de la villa y nombrado primer conde el 31 de enero de 1602, a un año escaso de su muerte. De ello deducimos que esa parte de la Casa Fuerte si fue un palacio condal, precisamente eregido por el primer conde de Torrejón, un señor de gran importancia en la época de Felipe III. Precisamente, la obra efectuada en la fachada ha descubierto el lamentable estado de las fachadas exteriores. Precisamente, por ello, debido a las referencias históricas que poseemos y la ubicación de los mismos, durante el siglo XVIII se transformó en un hospital totalmente inhabitable, tal y como se asegura en 1753 y 1789, y por el que señor recibía una importante cantidad de dinero, pese a estar destrozado.
Ambos lugares tienen un gran interés, muy especialmente, por la importancia de los señores que los mandaron construir y las historias que entorno a ellos, como con la Iglesia, suceden en la localidad entre los siglo XV y XVII. Con la decadencia de los señores de Torrejón comienza también el abandono y la pérdida de un patrimonio que a todas luces, dado “el pedigree” de los Carvajal, muy interesante.