智侥幸乘乱南逃，大难不死。当方以智在北京誓死不降农民军之事传入江南时，友人皆把他比拟为文天祥。
方以智辗转奔向南京投奔南明弘光政权，仇敌阮大把持南明弘光朝政，不断受到排挤、迫害，于是不得不改名吴石公，流寓岭南、两广一带以卖药为生。不久，南明隆武帝以原官庶吉士相召，方以智不应，取名“三萍”，浪迹于珠江山水间。
随后桂王朱由榔称帝于肇庆，在父亲的朋友瞿式耗的引荐下，方以智参与了拥立永历政权的活动，任左中允，少詹事，翰林院侍讲学士，方以智很快便发觉桂王政权朝不保夕，名不符实，内则门户纷争，奸人当道，外则与广州绍武政权同室操戈，兵戎相见。永历更是胆小如鼠，稍稍闻风鹤即奔走靡常，这一切使方以智心灰意冷，后被人诬劾免职，不得不遁迹于少数民族聚居地湘、桂、粤西一带，过着“曲胘茅屋鸡同宿，举火荒村鬼作邻”的生活。
当清兵大举南下时，他曾联络东南抗清力量抵抗。清兵攻陷广西平乐，方以智被捕，清军在方以智的左边放了一件清军地官服，右边放了一把明晃晃的刀，让方以智选择。方以智毫不犹豫，立即奔到右边，表示宁死不降。满清将领相当欣赏他的气节，于是将他释放。获释后披:u为僧，改名弘智，字无可。
明末五大科学巨匠中，方以智、李时珍、徐光启、徐霞客、宋应星曾被后人并列，其中方以智曾所著的《物理小识》尤为杰出，可算是明末的科学巨著，朱骏也正是因为接触过《物理小识》才记住了方以智，大明光复江南之后，朱骏便派出锦衣卫四处寻访，便是想借助这个堪与牛顿媲美地科学巨匠请来担任一项相当重要的职务。
朱骏知道，方以智之所以说出‘一别经年，皇上已不是从前地那个的皇上’这句话并不是另有所指，早在十年前方以智便是永历皇帝地拥护登基者之一，之后才黯然拂去，如今的朱骏站在方以智面前，自然会说出皇上已不是从前的那个皇上地话来，只是这个皇上只是从前那个贪生怕死的永历，如今在方以智面前是个脱胎换骨、历经图强地中兴君王。
朱骏携着方以智的手，在大批官员地羡慕之下登入衙堂，朱骏坐在上座，从人给方以智搬来锦墩，广东的地方官员只能站在两侧，朱骏开口便问：“方先生的物理小识朕是研读过地，受益良多，如今才知道先生高才，这一次特意请先生来，便是希望先生能够入朝为官，为大明中兴，为天下百姓做些事。”
《物理小识》全书共十二卷，分为十五类，依次为天类、