唐玄宗开元年间，设立了碛西、河西、陇右、朔方、河东、范阳、平卢、剑南、岭南九个节度使，范阳（北京地区，即古幽州）节度使是节度使中兵力最大的。
节度使初置时，作为军事统帅，主要掌管军事、防御外敌，而没有管理州县民政的职责，后来渐渐总揽一区的军、民、财、政，所辖区内各州刺史均为其节制，并兼任驻在州之刺史。
安史之乱后，国中遍置节度使，多为安史之乱的叛将和平叛战事中崛起的跋扈将军，各统一道或数州，军事民政，用人理财，皆得自主，父死子继，号为留后而不待朝命，朝廷无力讨伐，往往姑息了事，世称藩镇，迄于唐亡。
五代时期，节度使的权势达到了极点，中央政权的拥立与废弃都取决于节度使，后梁、后唐、后晋、后汉、后周的建立者均为节度使。
宋建立后，宋太祖有惩于唐末五代时期节度使割据一方、相互混战的教训，对各节度使采用了赎买的办法，杯酒释兵权，解除了时任侍卫亲军都指挥使的节度使石守信对中央军队的控制。并派遣文臣知军州事，限制了节度使节制属郡的权力；又以转运使接管了节度使的财政权利；将地方上强壮的兵士编入禁军。凡此种种，节度使徒坐空城而已。