安徒生的玩伴也都是些穷人家的孩子，那些有钱人都不允许自己家的孩子跟穷孩子一块儿玩。有很多穷孩子从小就要帮家里干活，因此很多时候安徒生是一个人。
有一次，父亲看孤独的在家玩，就说：“孩子，爸爸来陪你玩吧!”
安徒生的家够简陋了，只有一间小屋子，破凳烂床把这个小小的空间塞得满满的，没有给孩子留下多大的活动空间。然而，就是这么一间破烂的小屋，父亲却把它布置得像一个小博物馆似的，墙上挂上了许多图画和做装饰用的瓷器，橱窗柜上摆了一些玩具，书架上放满了书籍和歌谱，就是在门玻璃上，也画了一幅风景画……
父亲常给安徒生讲《一千零一夜》等古代阿拉伯的故事，有时则给他念一段丹麦喜剧作家荷尔堡的剧本，或者英国莎士比亚的戏剧本。这些书本中的故事使小安徒生浮想联翩，常常情不自禁地取出橱窗里父亲雕刻的木偶，根据故事情节表演起来。
这还不能让他感到满足，他还用破碎的布片给木偶缝制小衣服，把它们打扮成讨饭的穷人、没人理睬的穷小孩、欺压百姓的贵族和地主等，并根据自己的实际生活体验编起木偶戏来。
为了扩大孩子的眼界，丰富孩子的精神世界，父母亲同意和鼓励安徒生到街头去看油嘴滑舌的生意人、埋头工作的手艺人、弯腰曲背的老乞丐、坐着马车横冲直撞的贵族和伪善的市长、牧师等人的生活，获得各种感性经验。
安徒生在他以后的写作生涯中能够写出《卖火柴的小女孩》、《丑小鸭》、《看门人的儿子》等童话故事，同情劳动人民的苦难，谴责和鞭挞统治阶级的贪婪、残暴，都是与他小时候的这段生活经历有密切联系的。