La finca perteneció en origen a los reyes de España. En 1563, Ana Martínez vendió a Federico Ricarde una casa huerta situada lindante a la dehesa de la Arganzuela. Su hijo Policiano Ricarde la vendió a Juan Carrero quien, a los cuatro días se la vendió a un genovés llamado Simón Sauli, quien, con el tiempo se hizo jesuita y dejó la casa a la Compañía de Jesús. La casa huerta de Simón Sauli fue denominada por sus nuevos propietarios como casa huerta de San Miguel, pero los madrileños la conocían popularmente como Casa - Puerta porque suprimieron el San Miguel y sustituyeron la «h» de huerta por la «p» de Puerta. En 1669 los jesuitas vendieron la propiedad y en 1695 la adquirió Pablo Spínola Doria, mayordomo mayor de la reina y marqués de los Balbases y duque de Sesto. En 1775 fue adquirida por el duque de Híjar. En su jardín había un palacete cuyos techos habían sido pintados por Claudio Coello, Jordán y Carreño. Las tropas francesas habitaron el edificio quedando completamente destrozado.
Se dice que este palacete fue refugio amoroso de Luis Candelas. En 1817, la hija y heredera del duque de Híjar vendió la casa de labor —que era lo único que quedaba en pie — al ebanista Mariano Rejón. Tras muchos años de abandono y siendo utilizada por vagabundos fue conocida por la « casa del Duende ». En 1879, la posesión de Casa - Puerta fue expropiada para la construcción de la línea de ferrocarril a Ciudad Real.
En estos terrenos se construyó un coso taurino, la primera plaza circular de Madrid, con proyecto a cargo de Pedro de Ribera en 1737 a petición de la Archicofradía Sacramental de San Isidro para poder subvencionar la reconstrucción del pontón de San Isidro que facilitaba el paso a la ermita del Santo. El diámetro del ruedo era de unos cincuenta metros con una capacidad de unos 10 900 espectadores.
