于谦祖籍考城(今河南省民权县)，故里在今民权县程庄镇于庄村。于谦的曾祖于九思在元朝时离家到杭州做官，遂把家迁至钱塘太平里，故史载于谦为浙江钱塘人。于谦少年时即敬佩仰慕文天祥的气节，悬文天祥像于座位之侧，几十年如一日。
于谦七岁时，有个和尚惊奇于他的相貌，说：“这是将来拯救时局的宰相。”八岁时，他穿着红色衣服，骑马玩耍。邻家老者觉得很有趣，戏弄他说：“红孩儿，骑黑马游街。”于谦应声而答：“赤帝子，斩白蛇当道。”下联不仅工整，而且还显露出他非同寻常的气势。
一年清明节，于谦随家中大人去祖坟扫墓，路过凤凰台时，他的叔父出了个上联让他对，联文是：
今朝同上凤凰台;
于谦马上应对：
他年独占麒麟阁。
大人们听了，对这一抱负甚大的对句惊喜不已，他的叔父说：“此小儿，乃是我们家的千里驹啊!”
扫墓返回的路上，经过一座牌坊，上面写着三个字：癸辛街。
于谦的叔父说，这三个字的地名，前面两个字属天干，要对个地名对，恐怕不容易。
不料，小于谦用三国演义中所写到的陕西地名对道：
子午台。
他的叔父和族人们听了更加惊讶欣喜，因为这一地名，前两字正好是地支中的两个字，与癸辛街恰成一佳对。
过了两年，于谦成了县学生员。当时，有一巡按到他家乡的一座寺院游玩。
随从官员中，有一人指着殿中佛像道：
三尊大佛，坐狮、坐象、坐莲花;一时无人对出。
于谦刚好也在场，他随口应道：
一介书生，攀凤、攀龙、攀桂子。
众人无不拍手称妙。