在中国成语大词典中，“不三不四”的解释是“形容不正派，不像样子”。可是，中国的数字除了三和四，十个数字中为啥偏偏说“不三不四”而不说“不一不二”或“不五不六”、“不七不八”呢？
史料记载，古人认为天为一，地为二，天地相加成三。“三”不仅作为一个数的概念，还作为事物整体的象征，所以称宇宙中有三才：天、地、人；天上有三光：日、月、星；帝王中有三皇：伏羲、神农、黄帝；还有夏禹、商汤、周文王；人中有三曹和三苏等。曹操、曹丕、曹植被称为三曹；苏洵、苏轼、苏辙被称为三苏。此外，古代还有奏曲之法叫“三叠”，即古曲咏唱时将某句反复再三，著名的《阳关三叠》为中国十大古琴曲之一。在古今文学作品中亦有许多“三部曲”；汉字组合则有三水成淼、三木成森、三口成品、三金成鑫、三日成晶、三石成磊等。名言中更不乏“三人行必有我师”、“三省吾身”、“三思而后行”等。
关于“四”这个数字，古意则多含有周全、称心，取事事（四四）如意之义。故有“四书”：论语、大学、中庸、孟子；“四诗”：齐诗辕固、鲁诗申公、韩诗韩婴、毛诗毛公。此外，战国有“四君”：孟尝君、平原君、春申君、信陵君；传说有四美女：西施、王昭君、貂蝉、杨玉环；元曲有四大名门：关汉卿、郑光祖、白朴、马致远；文房有“四宝”：纸、墨、笔、砚；文人有“四艺”：琴、棋、书、画。总之，古人多视“四”为吉祥和称心如意之义。
于是，人们将那些不正派、不正经的言行斥为“不三不四”。明代施耐庵在其《水浒全传》第七回中就曾用到过这个成语：“这伙人不三不四，又不肯近前来，莫不要攧洒家。”
