他们避开元兵的搜查,居无定所,最长的一次是在青田住了两年。接着来到天台东乡,受到王苍溪老人的热情款待。老人钦佩世杰的为人,请舜功作他的子侄的老师,然后把侄女许配给他,还在城里乌石溪畔买了贾府一幢公馆相赠,后来舜功偿还这笔房钱,将父亲殉国的经过写成《训子遗书》,告诫后代世世勿作异族的官宦。
明正统九年(1444),舜功后裔创修家庙。崇祯元年(1628),思宗下旨为张世杰立祠悬像崇祀,并赐“大忠世祀”匾额,大门外挂有这副楹联。这就是现在民主路中段的古老宗词“脱落张”。天台县人民政府批准为第三批重点文物保护单位,将成为对青少年和广大干部群众进行爱国主义教育的场所。这就是天台公馆张氏的来历。