第一次衰落：清朝中后期，清政府不断加重农民的负担，使农民不堪重负，茶农的经济利益因此受到了很大的损害，茶商也无利可图，许多茶商和马帮只好另走他途，茶农们纷纷丢弃茶园另谋生路，六大茶山的茶叶产量逐年下降。到了清朝末年，由于地方混乱，盗匪蜂起，交通阻塞，商旅畏途，茶叶经营无销路，制茶商号纷纷倒闭，过去那种茶商云集、马帮络绎不绝的景象已经不复存在，六大茶山的茶叶贸易也一蹶不振。