玄宗实在按捺不住火气，对高力士说：“当年诛杀韦氏，这个贼子就首鼠两端，朕不愿说他。今天竟敢为个婴儿埋怨朕！”

高力士趁机挑唆：“北门那帮奴才个个手握兵权，与王毛仲一条心，不早点除掉恐生大患！”

玄宗不再犹豫，但又确实担心王毛仲会掀起兵变。于是在事隔一个多月后，于开元十五年（731年）正月颁布诏令，以王毛仲胡乱讲话为名，将其贬为瀼州别驾（今广西上思县西南）。

同时，把葛福顺、唐地文等人也都解去军职贬往外地，受到牵连的官员多达数十人。

王毛仲走到永州，被玄宗下令赐死。

经此一事，宦官势力失去了王毛仲的制衡，变得更为强盛。尤其是高力士，玄宗对他到了离不开的程度，多次对旁人说：“力士在我身旁，我才睡的踏实。”

高力士因此常住于宫禁，很少回他自己府第。各地有表章报来，都先交高力士，然后再上奏玄宗。小事高力士当场裁决，权势震动内外。

金吾卫大将军程伯献、少府监冯绍正与高力士结为异姓兄弟。高力士母亲病故，程伯献等人披散头发前来吊唁，那模样比自己爹娘死了还要难受。

高力士娶了吕玄晤的女儿为妻，当然只是名义上的夫妻，立即提拔吕玄晤为少卿，吕氏子弟也都分别授予官职。吕氏不甘心嫁给个太监守活寡，郁郁而终。朝野内外得到消息，争相前来祭奠，从高力士府宅至吕氏墓地之间挤满了探望的车马。

然而与王毛仲相比，高力士为人小心谨慎，作风极为低调，从不在人前显摆炫耀。而且他很有正义感，时常秉公直言，在朝廷享有较高威望，玄宗对他始终格外器重。

王毛仲与高力士，同为伺候人的奴才，结局却大不一样，个中道理无需多说！