其实这望江楼有名的原因还有一点，望江楼每层都有100间的房屋，一层二层多是客栈，三层是各种戏曲小调、杂耍的乐园，这四楼被称为玉女轩，是西南最富盛名的烟柳之地，也集中了西南有名的名妓佳人。域内外的商贾、才子都以能住一宿望江楼、看一眼活龙活现的表演、撷一夜鸾凤颠倒，而引以自豪。
只不过随着前朝末年张闯王过境，几乎杀遍了山城百姓，望江楼中的近100名红牌女子都被洗劫一空，更是被不懂风情的官兵糟蹋后，全部被杀，血水染红了坨坨河。自此以后望江楼的诸类活动才渐趋凋零，但望江楼的名声确是越来越响。如今这望江楼的一、二、三层全部设置为客栈，只在四楼设有戏曲小调和杂耍，当然也有一些红牌女子在此卖艺，不过远没有前朝的时候兴盛。