胡雪岩是个风流成性的寻花老手，他常自谓:"一不做官，二不图名，但只为利，娶妻纳妻，风流一世，此生足矣!"因此，对于合其心意的女子，他一般不会轻易放过。当然，作为一名成功商人，胡雪岩在情场不忘商场。他在创业期间所遇到的女人，几乎都是为他的事业服务的:有的成为被他所用的 "牺牲品";有的非常幸运地被他收为小妄，但纳其为妻的先决条件是此女子必须有益于他将来事业的开拓。从某种意义上来说，胡雪岩能够成长为一代 "红顶商人"，这些具有 "帮夫命"的小妾们起到了极大的作用。
在创业初期，胡雪岩偶遇因父亲入狱被卖入"梨花春"的官宦人家千金小姐芸香，并被其美貌所吸引，但胡深知以当时自己的身份，无福消受美人。他在万般懊恼之时，灵机一动，把芸香做顺水人情送给了自己的靠山王有龄巡抚。这样做，胡雪岩虽然失去了芸香，但却得到了王有龄的器重，得到了芸香这个忠心的眼线，从此掌握了王巡抚的行踪，在某种意义上可以说是控制了王有龄，使其为胡所用。这桩交易做得无懈可击，芸香成了胡走向成功的第一个筹码。
俗话说:"舍不得孩子套不住狼。"在商言商，为了自己的长远利益。胡雪岩一次次忍痛割爱，把自己的所爱像商品一样 "一件件"送给了别人。为了傍上江苏省学政何桂清这棵大树，他又将自己的爱妾 "阿巧姐"作为又一件礼物送给了何。虽然胡雪岩一再强调感情与生意应该截然分开，二者不可以混淆，但他与阳琪的结合，却更看重了感情对生意的促进作用。与阳琪成亲后，阳琪立刻成了胡的左右手，令胡如虎添翼，有力地促进了胡雪岩事业的进一步发展。只可惜，阳琪过早地逝世了。这多少留给胡雪岩一些遗憾。但不久，胡雪岩就遇到了另一位与阳琪极其相似，极具商业头脑的姑娘。她就是胡雪岩身边最重要的一位女子，陪伴胡雪岩走完人生的翠环姑娘，即当时小有名气的“罗四太太”。胡雪岩虽然已成为红极一时的商人，但家中妻子肚中无货，上不得台面，这一直是胡雪岩心中的一大遗憾，以至胡雪岩常叹知音难求，心中十分孤独。翠环的出现，令胡雪岩眼前一亮。凭惜其敏锐的眼光，胡雪岩认为翠环即是上得厅堂、入得内室，自己寻觅已久的贤内助、红颜知己。于是胡雪岩打定主意要赢得翠环姑娘的青睐，非娶她为妻不可。后经过努力，以 "两头大"的形式，娶翠环力妻。翠坏果然精明能干，很快成为胡的左膀右臂。她的心思又极其细密，很会迎合丈夫的心意，为胡雪岩连娶十二房姨太太，使胡雪岩感激不尽。作为回报，胡雪岩将其扶正，使其登堂人室，成为胡府的 "掌印夫人"。
胡雪岩娶的这十二位姨太太个个正值花季，美若天仙，号称 "东楼十二钗"。胡雪岩对这十二位姨太太其宠爱，在她们身上挥霍掉大量的金钱。他为这些姨太太建造了休憩场所——娇楼，使姬妾分室而居，而他则像皇帝一样，每晚随手拈牌招姬妾入寝，生活极其奢靡。单是娇楼，就极其奢华，耗资数万。该楼金碧辉煌，四周风景秀丽，又以人工西湖，蓬莱仙阁"等景点巧妙地点缀，更是令观者目不暇接、心旷神怡。自此，胡雪岩便整日泡在娇楼之中，沉溺于温柔女儿乡。正如汪康年在《庄谐选录》中所写:"杭人胡某，富坷封君，为近今数十年所罕见。而荒淫奢侈，迹迥寻常所有，后卒以是致败。"胡雪岩荒淫而奢靡的生活习性，与他最终的失败有着密切的关系。胡雪岩破产后，先前那些为其钱财嫁人胡家的美妾们，一改往日争先恐后己结胡氏的嘴脸，温情顿失，纷纷要求携带自己的私房钱离开;留在胡氏身边的，只有罗四太太。在罗四太太的陪伴下，靠着胡庆余堂的微薄收人，胡雪岩凄凉地度过了他的晚年，于道光十一年 (公元1831年)，黯然离世。
