斯万森说：“如果我再高一些，也许我能成为世界上最棒的球员。”斯万森出生在纽约黑人聚集区布朗克斯，父亲曾是个瘾君子，而母亲和他一样是个袖珍人。斯万森的身高只有1.35米。可是他有灵活的运球技巧，也有精准的投球技能，虽然只有1.35米，可是他的投篮高度可达2米。
斯万森刚会走路的时候就开始接触篮球，当别的小朋友还围着各种玩具转的时候，他就已经沉迷在了篮球的世界里。命运给了他不一样的身躯，可是小小的他并没有向命运低头。只要一有机会你就会看到小小的他抱着篮球冲向公园。由于特殊的身高，斯万森的童年同样忍受了孤独、没有朋友、经常被嘲笑、经常被欺负，孤独让他更加专注于提升自己的篮球技能。他告诉自己“要么拼命打，要么滚回家”。
一次偶然的机会斯万森在健身房遇到了美国橄榄球联盟的明星球员，身高1.91米的欧文斯。同样喜爱篮球的两人相约打了一场比赛，动作灵敏和技能高超的斯万森不断进攻，也不断突破对方的防守，最后以一分的优势获胜。斯万森说：“每个人心底都有一束光，你要么让心底的光照耀他人，要么被别人吹灭。而我的母亲也经常告诉我‘不要拿这个（身高）理由不思上进取，你和别人没什么不一样，只是矮了一点而已’。而我的父亲更是言传身教，靠毅力戒掉了毒瘾。所以，我更加相信我们不能向现实低头，任何人都可以做梦，并让梦想成真。”