男友麦克尔-弗里曼，和他一起住进了廉价的斯特沃德花园公寓，它位于弗吉尼亚州一座叫纽斯特的小城最东边。来到之后，安现这里的环境比哈特福德更糟糕，光天化日之下就能见到毒品交易和枪战。在安18岁那年，她得到了医院赔偿给她母亲的3818美元，但这没能维持多久。随后，安和弗里曼又有了两个女儿———1979年出生的布兰蒂和1991年出生的莉莎（正是由于莉莎的病情，艾弗逊才在1996年下定决心加盟nBa的）。
他们的家境愈窘迫，安不得不四处打工维持生机：当过秘书，开过叉车，搞过电焊。艾弗逊回忆说：“只要是能够挣钱的工作，安都会去做，不过家里还是一团糟，没电、没水、没吃的，下水管还经常破裂，弄得满屋脏水，两个妹妹整天都穿着套鞋。”弗里曼本来还有一份工作，但在1988年的一起交通意外后被解雇了，他的确很想负担起这个家庭，只不过他出入监狱的次数实在是太频繁了。1991年，他因为携带过量毒品被捕，他在法庭辩解说：“我没有卡迪拉克汽车，没有钻戒，没有买任何奢侈品，我只想还债，只想支撑我的家庭。”他最终被判入狱22个月，其后又因为违反假释条例加刑23个月。
那段时间，艾弗逊对弗里曼的所作所为感到异常愤怒，但现在却原谅他了：“他只是想养家糊口。他没有伤害过任何人，比如他，绝对不会去抢劫，因为那样他会失去这个家。我曾经见到他一个人偷偷哭泣，他不想那样过日子。”其实，对艾弗逊而言，更重要的是，弗里曼是他的篮球启蒙者。
生父抛弃了他们，养父又进了监狱，15岁的艾弗逊不得不放弃了学业。“当你成为家中最年长的男人，而母亲比你大不了多少，你还有两个年幼的妹妹时，家里又阴暗又潮湿，你就会知道自己应该做什么了。”外面的生活对年幼的艾弗逊也不容易，贫民区里有着上流社会永远不会理解的游戏规则。艾弗逊的朋友有的贩过毒，有的坐过牢，有的加入了黑帮，但他总能成功地远离那些犯法的事件，因为他知道，也许有一天自己能走向成功。
在一场械斗中，艾弗逊一下子失去了8个朋友，包括和他最要好的托尼。他咬着牙对母亲说：“妈妈，我再也不要做穷人了！”于是，他定下了一个帮助全家走出困境的计划，那就是篮球！在一次接受采访时，艾弗逊道出了那时的想法：“为了全家，我必须成功。周围的人告诉我说去nBa的机会只有万分之一，我回答他们说，‘即使失败了，我也必须尝试，我的家人需要我这么做。’我为我