“小学”初见于《大戴礼记·保傅篇》：“及太子少长知（女已）色则入于小学，小学者所学之宫也。……古者八岁而就外舍，学小艺焉，履小节焉。”
西周是奴隶社会的全盛时期，人分等级，当时能够接受教育的只是贵族。贵族子弟满八岁，就要入“小学”，学习“小艺”，即六艺，一曰五礼（礼仪），二曰六乐（音乐舞蹈），三曰五射（射箭），四曰五御（驾驭马车），五曰六书（语文），六曰九数（算术）。又“乃教之六仪：一曰祀祭之容，二曰宾客之容，三曰朝廷之容，四曰丧纪之容，五曰军旅之容，六曰车马之容。”换句话说，在周代教育中，“小学”指的是学习小艺（六艺）和小节（六仪）。
到西汉时期，小学含义逐渐缩小至仅指六艺之一的“书”。“书”指的是“六书”，即指事、象形、形声、会意、转注、假借六种造字法。于是，“小学”顺理成章地成了文字学的代名词。