张说多次推荐张九龄做集贤院学士，开元十八年，张九龄转任桂州刺史兼岭南道按察使摄御史中丞。

便道归省，与家人欢聚，开元十九年春，他从桂林乘船顺流巡行按察来到广州。

开元十九年三月，张九龄被召入京，擢秘书少监，兼集贤院学士副知院事。

他奉旨代撰敕文，对御而作，不须草稿，援笔立成，深为玄宗倚重。

在他的文集中，代皇帝起草的敕文多达114篇，两次升任他为中书侍郎。

开元二十年二月转为工部侍郎，兼集贤院学士，八月兼知制诰，张九龄时已55岁，屡乞归养。

玄宗对他加以重用，并不批准，只是把他弟弟张九皋、张九章就近家乡封官，以便照顾老母。

张九皋后官至广州都督兼五府节度经略使，张九章后官至岭南节度使、广州都督，都是统治岭南的封疆大吏。

开元二十一年五月，张九龄升任检校中书侍郎，十二月授中书侍郎同中书门下平章事兼修国史，主理朝政。

张九龄建议于河南屯田，引水种稻，遂兼河南稻田使，当时范阳节度使张守琏因为副将安禄山讨伐奚、契丹失败，捉拿护送他到京城，请求按照朝廷典章执行死刑。

张九龄奏明皇上说：“张守琏的军令一定要执行，安禄山不应该免除死罪。”

皇上特别赦免了他，张九龄上奏说：“

安禄山狼子野心，面有谋反之相，请求皇上根据他的罪行杀掉他，希望断绝后患。”

皇上说：“你不要因为王夷甫了解石勒这个旧例，误害了忠诚善良的人。”

于是唐玄宗放安禄山回到藩地，张九龄为中书令时，天长节百僚上寿，多献珍异，唯九龄进《金镜录》五卷，言前古兴废之道，上赏异之。

张九龄又与中书侍郎严挺之、尚书左丞袁仁敬、右庶子梁升卿、御史中丞卢怡结交友善，挺之等有才干，而交道终始不渝，甚为当时之所称。

开元二十二年五月张九龄迁升中书令集贤院学士知院事修国史，

开元二十三年加封为金紫光禄大夫，累官封他为始兴县伯，食邑四百户。

李林甫自己不学无术，因为张九龄的品行被皇帝赏识，心里非常妒忌他，于是推荐牛仙客担任知政事，张九龄多次说不行，玄宗因此不高兴。

唐玄宗被李林甫的谗言所惑，玄宗遂于开元二十四年迁九龄为尚书右丞相，免去了知政事，后来宰相每次推荐公卿时，皇上一定会问：

“节操、品质、度量能够像张九龄吗？”

旧例，士大夫者要把笏板插在腰带上，然后乘马，张九龄体弱，常派人拿着笏板，朝廷于是设立了笏囊。

笏囊的设立，从张九龄开始，罢相后不久又因他荐举的监察御史周子谅弹劾牛仙客，触怒玄宗，坐“举非其人”，张九龄被贬为荆州长史。