佔地一千多平米（四百坪）的「大公館」，是在一九二一年建造的。當時，主人為猶太商人Ray Joseph，他因常年從事跨國貿易而發財，在上海虹口、徐匯等地擁有不少房產。
篤信風水的Ray Joseph為建立上海的貿易根據地，請了法國設計師Davis和Brooke，在當時著名的霞飛路邊風水寶地，建了這座精美的花園，並取名「大公館」。建成後，成為富豪鉅賈、文化名人造訪的重鎮。
一九三○年代，一位上海聞名的大亨─杜月笙的門人，因承包航空彩票賺得暴利，便以重金購下大公館獻給杜月笙，當時因而被稱為「杜公館」。一九四六年，杜月笙又將大公館轉贈紅極一時的國民黨軍統特務戴笠，藉此賄賂他，冀望能獲得上海市長寶座。
沒想到戴笠得了房子不久便遭遇空難，杜月笙的市長夢也就破滅了。據傳，戴笠得到「大公館」後，曾將房產轉讓當紅明星胡蝶名下。期間，大公館內國民黨首腦及蔣、宋、孔、陳四大家族的嫡親、政府要員、中外各界名流雲集，可謂賓朋滿座，鶯歌燕舞。
做為軍統特務頭子，戴笠一生譭譽參半，尤其在「玩女人」方面相當令人訾議。胡蝶當時是當紅明星，與上海警備司令楊虎及杜月笙熟識，戴笠便透過杜月笙及楊虎，促成了與已婚的胡蝶一段戀情。
一九四九年中共建政後，「大公館」這幢歷史建築被市政府接收，列為文化歷史保護建築。五○年代初期，曾一度成為蘇聯駐華文化代辦處駐地。後來成為上海市府外事接待活動中心，接待過各國名流政要。
時任上海市第一任市長的陳毅，也經常在此接待貴賓。一九七二年，《中美聯合公報》中不少談判便在大公館中秘密舉行。如今，周恩來和尼克森坐過的椅子，仍原封不動的保留。《中美聯合公報》中提出的「海峽兩岸」詞彙，便是在此商談提出，也首次在中共外交檔案確認下來。
外界一般認為，杜月笙的故居是新樂路一六七號的東湖賓館。這並沒錯，東湖濱館當時確曾一度屬於杜月笙，不過，他一天都沒住過，因為杜月笙相當迷信，認為那房子「有邪氣」。
從「大公館」門廊進入這幢文藝復興式的花園別墅，黃色牆體給人一種沉靜覺。兩根粗壯立柱撐起寬大的門檐，予人雍容華貴的感覺。儘管經過八十年歲月，「大公館」格局並沒有打破，門、柱、護牆板皆為原色，彫花精緻。「大公館」如今月租金達二十萬人民幣（約九十萬台幣），但顯然上海業者經營有成，才能營造它不輟的光彩。
