相傳，宋代有個叫單福的石匠，一生給人家造了不少橋，心想也在自己家鄉門口的江上建造一座，但嘆息沒有幫手。他膝下只有一女叫小姣，長得聰明美麗。她知道父親的心思．便要求參加幫助干。但那深山采石，百里運石的苦和累，小女子怎么受得了，所以單福就是不答應。小姣跪在地上苦苦哀求，單福沒奈何，才含淚點頭。他還把三個徒弟找來邦忙，不久就干起來了。由于開山運石的苦和累實在難受，大徒弟和二徒弟先后悄悄地溜了。單福和女兒、三徒弟為修橋鐵了心，繼續風里雨里苦干著。但好几年過去了，運到江邊的石頭只有一小堆．這樣累死苦死，橋也建不起來。小姣一咬牙，請人寫了“捐身修橋”四個大字，插了個草標，坐到江邊石堆旁。一連三天，來看的人無數，但望望滔滔的江水，就都走了。這天，忽然來了個瘸子。身背一把扇子，摘了草標．問小姣愿不愿意跟他走，小姣回答說：“什么時候把大山里開采的石頭全運到江邊，就什么時候踉你走。”這瘸子原來是八仙中的鐵拐李。他擠出人群，騰云駕霧，很快來到百里外的大山，從背上拿下扇子，對著單福和三徒弟開出的石頭就扇。石頭竟都飛了起來，又紛紛都落在江邊。單福和三徒弟也被從山上扇到了造橋工地。鐵拐李還怕不夠，又對身下立著的一塊巨石扇了三扇子，他就站在那巨石上飛到了江邊。只見底下盡是人，未敢讓巨石落下。又聽單福大聲說：“石頭夠了”。他便駕起云頭，飄游起來，游到黃山，見黃山風景秀麗，便將石頭落下。從此，這飛來石就給黃山增添了絕妙的一景。另外還有兩處飛來石，一在翠微峰側，一在古穎林庵前小峰上。