洛阳人常大用，非常喜爱牡丹花，听说曹州牡丹甲齐鲁，一直想去赏玩。后来有事去了曹州，可是花期还没有到，他就借住在一名官宦的后花园里，等待花开，为此，他还做了一百首有关牡丹的绝句。不久，牡丹含苞待放，可是常大用的盘缠用完了，他只得把春装拿去典当，艰苦度日。
这一天清晨，常大用去牡丹园散步，忽然看见一名漂亮的女郎和一位老太婆坐在里面，以为是这户官宦人家的家眷，吓得赶紧回来了。到了傍晚，他又去花园，依然看见两人在里面，就躲在隐蔽处。
常大用见女郎穿着打扮不像人间服装，转念一想，人间怎么会有如此绝色美女，一定是仙女下凡。他就冲出去，跪在女郎面前，说道：“娘子想必是天上的神仙，小生得睹仙容，实乃三生有幸！”
老太婆急步拦在女郎面前，大声呵斥道：“大胆狂徒，休得妄言，小心把你扭送官府。”女郎说：“不要理他，我们走吧。”拉着老太婆走了。
常大用急忙回来，责怪自己过于莽撞，要是冲撞了官宦家眷，传扬出去，声誉就毁了。他想赶快走，却又苦于没有路费，不走吧，要是明天女郎家人来责骂，可就羞死人了。就这样左右为难，辗转反侧，一下子病倒了。他又无钱医治，过了三天，眼看就不行了。
这天夜里，老太婆忽然进来了，捧着一个杯子，说道：“我家葛巾娘子送你毒药，快喝了。”常大用叹口气说：“与其相思痛苦，不如一死了之。”接过来就喝了。老太婆狡黠地一笑，接过杯子走了。
常大用只觉得浑身舒畅，不一会就熟睡了。等他第二天醒来，病已经好了，原来女郎调药救治他，老太婆故意和他开玩笑的。
过了几天，常大用在花园里又遇见了女郎，急忙表达爱慕之意。女郎指着南院说：“夜里过去相会，四面红窗的房子就是。”
常大用大喜，好不容易熬到夜色降临，他迫不及待地搬来梯子爬上去，见墙那边早就放了梯子，就顺梯而下。可是，女郎正在和一名素衣美女下棋，他只得登梯回来。就这样反复三次，三更天客人才走。可是，此时那边的梯子已经搬走了，他只得悻悻而回。
第二天夜里，常大用又过去了，女郎果然等着他。刚说了两句话，昨晚的紫衣女又来了，常大用只得躲在床底下。紫衣女邀女郎去她屋里下棋，女郎推脱不去，紫衣女开玩笑说：“你不去，莫非屋里藏着男子？”
话说到这个份上，女郎只得去了。常大用久等不至，把床头边的一个水晶如意拿走了，当做纪念物，然后回去了。
过了两天的晚上，女郎来到常大用的房间，索要水晶如意，说是紫衣女遗落她屋的。紫衣女名叫玉版，是她的堂妹。常大用把女郎留下来，两人好上了。他发现女郎浑身都散发出一股异香，仍然认为她是仙女。
常大用询问女郎的姓氏，她笑着说：“既然你认为我是仙女，何必留下姓名呢？你就叫我葛巾就行了。”他又问起老太婆，葛巾说是桑姥姥，是她的家仆。临走时，女郎叮嘱他保密两人的亲密关系。
从此，葛巾每隔两三晚就过来一次。
过了一段时间，葛巾忽然说：“最近传出我俩的流言了，此处住不下去了。”她出主意，两人一起逃到常大用的家里。常大用苦于没有盘缠，葛巾拿出五十两银子，让他先走，两人到洛阳会合。
等到常大用到了洛阳，葛巾的马车也到了，还带来了桑姥姥。
街坊四邻都来祝贺，葛巾也不避嫌。常大用担心走漏风声，葛巾笑着说：“你不要过于担心，我是世家女，家里为了遮羞，不敢追过来的。”
常大用有个弟弟叫做常大器，十七岁，本来已经定亲，但是女子还没有过门就死了。葛巾见了他，对常大用说：“你弟弟前途比你好，和我堂妹玉版天生一对。”就让桑姥姥偷偷回家，把玉版悄悄带来了，和常大器拜堂成亲。
常家兄弟俩都娶了天仙一样的美貌媳妇，一时传为佳话，声名远播。从此后，常家渐渐富裕起来。
这一天晚上，忽然来了几十个骑马的强盗，包围了常家。常家全部躲在楼顶，常大用喊道：“我们往日无冤近日无仇，为何要祸害我家？”
强盗说：“答应我们两件事，立马就走。第一件事，让我们见识见识两位夫人的美貌；第二件事，我们一共五十八人，每人五百两银子。”他们把柴火堆在楼下，扬言不答应，就烧死他们。
常大用只答应给银子，强盗不同意。葛巾却说，愿意和玉版下去会会这些强盗。两人盛装下楼，站在台阶上，说道：“我们姐妹都是仙女，你们快走吧，饶你们不死。”然后伸手一抓，一名强盗飞离马背一丈多远。强盗们吓得一哄而散。
两年后，姐妹俩各生了一个儿子。此时，葛巾才透露说：“我家姓魏，母亲是曹国夫人。”常大用暗自揣测，没听说曹州有姓魏的世家啊，再说了，哪有世家丢了女儿，一直不追究的？于是谎说拜会朋友，悄悄去曹州寻访，可是曹州根本没有魏姓世家。
常大用依然借宿在那个官宦之家，偶然看见他家墙壁上题了一首赠曹国夫人的诗，问起曹国夫人是谁？那人呵呵笑着，把他带到一株牡丹花面前，这株牡丹有屋檐高。那人说：“这是葛巾紫的品种，在曹州牡丹中名列第一，故此戏称曹国夫人。”
原来如此，看来葛巾和玉版必是牡丹花妖无疑，哪是什么仙女？
回到家里，常大用不敢直接询问，就讲了那首赠曹国夫人的诗，偷偷观察葛巾的反应。没想到葛巾勃然大怒，说道：“我看你多情，才嫁给你，你如今起了猜忌之心，失去信任，怎能再在一起？”
葛巾和玉版把孩子往地上一抛，两个孩子落地不见，两女也消失了。常大用懊悔不已。
过了几天，孩子消失的地上，长出两株牡丹，当年就开了花，一紫一白，花朵如盘。几年后，长成一大片。把它们移植到别处，又变出不知名的新品种。