追溯其历史，它是城市建筑初期最早修建的几座大型建筑之一。１８９９年１０月，在今哈尔滨站行李房的位置临时搭起一座小房子，作为站长室、电报室和行车人员休息室。１９０３年哈尔滨老火车站站舍始建，１９０４年旅客候车室即迁入新站舍。
哈尔滨老火车站的选址是经过精心考虑的。它位于南岗区与道里区的交界处，成为分隔并联系这两个行政区的纽带。由车站街（今红军街）、铁路街（今曲线街）、松花江街及医院街（今颐园街）相交而成半圆形的广场，交通便捷。这个半圆形广场为欣赏建筑提供了良好的视距和视点。每当广场上鲜花盛开，繁茂的树木成为衬托建筑的绿色飘带，建筑优美而舒展的丰资则尽现眼前。火车站与中心广场的圣·尼古拉教堂遥遥相望，互为对衬。这两个广场，两座优雅的建筑连成为一条景观轴线，二者同时成为哈尔滨的标志性建筑。
作为火车站建筑，从功能上看，其平面布局比较严谨而合理。建筑由一、二、三等候车室、中央门厅、餐厅及处于最右端的中国人候车室等五个大厅构成，围绕着这五个大厅分别布置了售票室、行李房服务员室、警察室、站长室、小卖部及卫生间等辅助用房，总面积为１６１９．７８平方米。
建筑正中是中央门厅，高９．０７米，宽敞明亮。门厅作为整个建筑的核心，其它几个候车室通过门厅联系在一起，成为流动而连续的空间。各候车室有独立的出入口及检票口，便于人流的集散。
令人难以忘怀的是建筑优雅而生动的造型。建筑的立面设计非常精彩，是典型的“新艺术”风格。据记载，哈尔滨老火车站的设计方案是在俄国完成的。哈尔滨作为中东铁路线的重要枢纽，其站舍成为沙俄借以炫耀其所谓进步文化及强大国力的手段，因而建筑风格采用西欧及俄罗斯盛行的“新艺术”风格。哈尔滨老火车站极尽生动之势，比之西欧及俄罗斯同时期“新艺术”设计有过之而无不及。一眼望去，建筑通体的柔软曲线装饰令人眼花缭乱－－曲线的门窗、曲线的墙墩、曲线的铸铁线条装饰、曲线的女儿墙甚至曲线的车站名称，犹如各种自由曲线的海洋，如一首欢快的乐曲，叮叮咚咚，跳跃着，盘旋着，时而高昂，时而低回，节奏感极强。
建筑正立面明显地分三个层次，以主入口及两个次要入口为构图中心，其中主入口即门厅入口是整个建筑的焦点。循着宽阔的石阶而上，入口两侧竖起高大的柱墩，饰有双层线脚，上半部分向内收缩，呈类似瓶状，“瓶颈”部分各有一个，以柔和曲线贴脸装饰的矩形条窗，划分为细小的方格；柱墩顶部“瓶口”部分线脚丰富，均为柔滑的曲线，正是这些曲线做法使原本尺度较大的柱墩显得活泼丰富。两个柱墩之间即是主入口，主入口下部是两扇饰有曲线门棂的大门，门与门之间饰以圆环状线脚；大门上方是一尺度较大的扁圆形窗，柔美自然，饰以曲线的贴脸，墙面上刻划曲线的站名字母，然后又是弧度一致的几层曲线线脚，丰富而不凌乱，柔美而不夸张，极好地烘托出主入口的空间个性。另外，从柱墩顶端如行云流水般泻下曲线形墙墩，使整个入口处理更加均衡完美。其它两个次要入口的设计相对简洁但是同样以曲线的门窗贴脸及铸铁的曲线装饰，利用厚重的墙面与门窗的轻盈及铁件的柔美形成对比，渲染出适宜的空间氛围。
当你观赏哈尔滨老火车站，除了会被挺拔鲜明的入口空间所吸引，建筑活泼的窗子及丰富的墙面装饰同样会吸引你的视线。窗的形式有扁圆窗、半圆窗、矩形窗以及饰以曲线贴脸的矩形窗。窗间墙饰以同心圆环与三条竖线结合的抹灰装饰。这种装饰更多地出现在墙面的装饰上，或呈同心圆环与三条竖线合的形式，或呈与水平线条结合的形式这种装饰后来广为其他“新艺术”建筑所结效仿，成为哈尔滨“新艺术”的构图要素之一。
当你驻足于建筑之前，每个细节都是那样生动奇异建筑舒展而大方，作为哈尔滨留给异乡人的第一印象，它是当之无愧的。可惜的是一九五九年火车站扩建时老站舍被拆毁了。在今天的新站舍设计中依稀有些老建筑的痕迹，而老站舍的迷人风采已随风而逝了。
