唐代时期，官制中有宏文馆学士和集贤院学士，他们负责掌管文学著作的事务。有时，宰相会兼任这些职务或知馆、院事，这样的高级官员便被称为大学士。这一制度在宋代得以延续，并对学士中资历和声望特别高的人，额外赐予“大”字以示尊崇。

到了明洪武十三年（公元1382年），丞相及中书省被废除，而在十五年时，仿照宋制设立了大学士，作为皇帝的顾问。明成祖即位后，翰林官如侍讲、侍读学士等被允许参与机务，进入内阁。到了明中叶时期，大学士逐渐成为了内阁的长官，他们替皇帝起草诏令、批条奏章、商承政务。虽然大学士的官阶在尚书、侍郎之下，但他们的实际权力却相当重大。

随着时间的推移，尚书、侍郎也开始入阁办事，并兼大学士之职。加官等级甚至可以达到一品，使得这些官员的位望更加尊贵。他们实际上成为了宰相的替代者。然而，到了清代，军机处的设立使得大学士的职权被军机大臣所取代。大学士的称呼仅作为荣衔，授予给军机大臣及内外各官中资历和声望特别高的人。此官职为正一品。

值得一提的是，大学士的称呼都带有殿阁名。明代有中极、建极、文华、武英等殿和文渊阁、东阁大学士，均为正五品且没有固定员额。而清代隆十年（公元1745年）以后，大学士的称呼则专门以三殿（保和、文华、武英）和三阁（文渊、体仁、东阁）入衔，满、汉各设二人。此外，还有协办大学士满、汉各一人。这些均为文臣的最高官位，而汉人除非出身翰林，否则一般不得授予此官职。