第一次被流放到房州的人数非常巨大，他们就是战国末年，在秦国混的风生水起的丞相吕不韦、假太监嫪毐的亲朋故旧。

公元前238年4月，秦王嬴政21岁，按秦国制度需举行加冕典礼。

这时，吕不韦、嫪毐以太后之印，召各郡兵卒进宫谋反。秦王政对吕不韦和嫪毐的举动早有察觉，并先下手派兵捉拿叛军。

吕不韦、嫪毐事败之后被捉全部处以车裂极刑，他们两个人的家眷、亲戚、朋友千余家约一万四千余人，全部都被流放到了房陵。

从吕不韦、嫪毐的亲朋故旧开始，房州又陆陆续续的收到了一些被流放这里的达官显贵。

这些人分别是赵悼襄王的儿子赵迁，汉高祖刘邦的女婿张敖，汉文帝孙子刘明、刘彭离，还有唐太宗李世民的乘龙快婿，宰相房玄龄之子房遗爱。

在任皇帝流放到房州后又能够重新登上皇帝宝座的，历史上只有唐中宗李显一人，其余将相王候不是老死山林便是被杀死在这里。

李显是武则天的第三个儿子，公元683年12月，在唐高宗李治死后继承了皇位。

此时，早就想当女皇的武则天，一心想废掉皇帝只恨没有机会。

684年2月。皇太后武则天宣旨，召文武百官于干元殿，当众宣旨废黜李显皇位，降为庐陵王贬赴房州。

李显流放房州14年以后，于公元698年3月被召还回宫，并于公元705年重新复位登基。