Der heutige Madison Square Garden wurde ab 1963 über den Gleisanlagen des Bahnhofs Pennsylvania Station errichtet, dessen vom Architekturbüro McKim, Mead, and White entworfenes Gebäude im „Beaux-Arts“-Stil hierfür 1964 abgerissen wurde. Der Komplex besteht heute aus Kongresszentrum, Kino, Theater und Sportfeld.