这些话传到李林甫那里，李林甫把张九龄恨得咬牙切齿。朔方（治所在今宁夏灵武）将领牛仙客，目不识丁，但是在理财方面，很有点办法。唐玄宗想提拔牛仙客，张九龄没有同意。李林甫在唐玄宗面前说：“像牛仙客这样的人，才是宰相的人选；张九龄是个书呆子，不识大体。”
有一次，唐玄宗又找张九龄商量提拔牛仙客的事。张九龄还是不同意。唐玄宗发火了，厉声说：“难道什么事都得由你作主吗！”
唐玄宗越来越觉得张九龄讨厌，加上听信了李林甫的诽谤，终于借个因头撤了张九龄的职，让李林甫当宰相。
李林甫一当上宰相，第一件事就是要把唐玄宗和百官隔绝，不许大家在玄宗面前提意见。有一次，他把谏官召集起来，公开宣布说：“现在皇上圣明，做臣下的只要按皇上意旨办事，用不到大家七嘴八舌。你们没看到立仗马（一种在皇宫前作仪仗用的马）吗？它们吃的饲料相当于三品官的待遇，但是哪一匹马要是叫了一声，就被拉出去不用，后悔也来不及了。”
有一个谏官不听李林甫的话，上奏本给唐玄宗提建议。第二天，就接到命令，被降职到外地去做县令。大家知道这是李林甫的意思，以后谁也不敢向玄宗提意见了。
李林甫知道自己在朝廷中的名声不好。凡是大臣中能力比他强的，他就千方百计地把他们排挤掉。他要排挤一个人，表面上不动声色，笑脸相待，却在背地里暗箭伤人。
有一次，唐玄宗在勤政楼上隔着帘子眺望，兵部侍郎卢绚骑马经过楼下。唐玄宗看到卢绚风度很好，随口赞赏几句。第二天，李林甫得知这件事，就把卢绚降职为华州刺史。卢绚到任不久，又被诬说他身体不好，不称职，再一次降了职。
