太子舍人初设置于秦朝，是执掌东宫宿卫的，后来也兼管秘书、侍从之职。

太子舍人至宋辽时期历朝历代都有设置，官品较低，为七品，北魏时定为五品中，为历朝代最高。太子舍人字面容易视作太子屋下之人，始为宿卫之用。自汉开始，选择德行高尚之人任太子舍人之职，目的是陪伴在太子身边，以其高尚的修养品行影响太子。由于官品不高，其中一些名臣后来被调任太子洗马等职。