追溯其歷史，它是城市建築初期最早修建的幾座大型建築之一。１８９９年１０月，在今哈爾濱站行李房的位置臨時搭起一座小房子，作為站長室、電報室和行車人員休息室。１９０３年哈爾濱老火車站站舍始建，１９０４年旅客候車室即遷入新站舍。
哈爾濱老火車站的選址是經過精心考慮的。它位於南崗區與道裡區的交界處，成為分隔並聯繫這兩個行政區的紐帶。由車站街（今紅軍街）、鐵路街（今曲線街）、松花江街及醫院街（今頤園街）相交而成半圓形的廣場，交通便捷。這個半圓形廣場為欣賞建築提供了良好的視距和視點。每當廣場上鮮花盛開，繁茂的樹木成為襯托建築的綠色飄帶，建築優美而舒展的豐資則盡現眼前。火車站與中心廣場的聖．尼古拉教堂遙遙相望，互為對襯。這兩個廣場，兩座優雅的建築連成為一條景觀軸線，二者同時成為哈爾濱的標誌性建築。
作為火車站建築，從功能上看，其平面布局比較嚴謹而合理。建築由一、二、三等候車室、中央門廳、餐廳及處於最右端的中國人候車室等五個大廳構成，圍繞著這五個大廳分別佈置了售票室、行李房服務員室、警察室、站長室、小賣部及衛生間等輔助用房，總面積為１６１９．７８平方米。
建築正中是中央門廳，高９．０７米，寬敞明亮。門廳作為整個建築的核心，其它幾個候車室通過門廳聯繫在一起，成為流動而連續的空間。各候車室有獨立的出入口及檢票口，便於人流的集散。
令人難以忘懷的是建築優雅而生動的造型。建築的立面設計非常精彩，是典型的「新藝術」風格。據記載，哈爾濱老火車站的設計方案是在俄國完成的。哈爾濱作為中東鐵路線的重要樞紐，其站舍成為沙俄藉以炫耀其所謂進步文化及強大國力的手段，因而建築風格採用西歐及俄羅斯盛行的「新藝術」風格。哈爾濱老火車站極盡生動之勢，比之西歐及俄羅斯同時期「新藝術」設計有過之而無不及。一眼望去，建築通體的柔軟曲線裝飾令人眼花繚亂－－曲線的門窗、曲線的牆墩、曲線的鑄鐵線條裝飾、曲線的女兒牆甚至曲線的車站名稱，猶如各種自由曲線的海洋，如一首歡快的樂曲，叮叮咚咚，跳躍著，盤旋著，時而高昂，時而低回，節奏感極強。
建築正立面明顯地分三個層次，以主入口及兩個次要入口為構圖中心，其中主入口即門廳入口是整個建築的焦點。循著寬闊的石階而上，入口兩側豎起高大的柱墩，飾有雙層線腳，上半部分向內收縮，呈類似瓶狀，「瓶頸」部分各有一個，以柔和曲線貼臉裝飾的矩形條窗，劃分為細小的方格；柱墩頂部「瓶口」部分線腳豐富，均為柔滑的曲線，正是這些曲線做法使原本尺度較大的柱墩顯得活潑豐富。兩個柱墩之間即是主入口，主入口下部是兩扇飾有曲線門欞的大門，門與門之間飾以圓環狀線腳；大門上方是一尺度較大的扁圓形窗，柔美自然，飾以曲線的貼臉，牆面上刻劃曲線的站名字母，然後又是弧度一致的幾層曲線線腳，豐富而不凌亂，柔美而不誇張，極好地烘托出主入口的空間個性。另外，從柱墩頂端如行雲流水般瀉下曲線形牆墩，使整個入口處理更加均衡完美。其它兩個次要入口的設計相對簡潔但是同樣以曲線的門窗貼臉及鑄鐵的曲線裝飾，利用厚重的牆面與門窗的輕盈及鐵件的柔美形成對比，渲染出適宜的空間氛圍。
當你觀賞哈爾濱老火車站，除了會被挺拔鮮明的入口空間所吸引，建築活潑的窗子及豐富的牆面裝飾同樣會吸引你的視線。窗的形式有扁圓窗、半圓窗、矩形窗以及飾以曲線貼臉的矩形窗。窗間牆飾以同心圓環與三條豎線結合的抹灰裝飾。這種裝飾更多地出現在牆面的裝飾上，或呈同心圓環與三條豎線合的形式，或呈與水平線條結合的形式這種裝飾後來廣為其他「新藝術」建築所結效仿，成為哈爾濱「新藝術」的構圖要素之一。
當你駐足於建築之前，每個細節都是那樣生動奇異建築舒展而大方，作為哈爾濱留給異鄉人的第一印象，它是當之無愧的。可惜的是一九五九年火車站擴建時老站舍被拆毀了。在今天的新站舍設計中依稀有些老建築的痕跡，而老站舍的迷人風采已隨風而逝了。
