在杨家将的故事中，杨七郎与潘豹擂台比武，因潘豹使阴招一怒将其杀死，七郎在众人力保之下免于死罪，潘仁美痛失爱子怀恨在心，这才勾结辽国设计谋害皇帝与杨家将。可以说，潘仁美的儿子是整个杨家将故事发生的起点。
真实历史中并没有发生这样的故事，潘仁美的原型叫做潘美，他也没有名为潘豹的儿子，但潘美的儿子身上却有着另一个不同寻常的故事。
后周与赵匡胤
后周的建立者名叫郭威，他本是后汉的开国功臣，因为受到后汉隐帝的追杀不得已起兵反抗，灭后汉而建立后周。
郭威因为是在没有准备的情况下被迫起兵，在后汉都城中的家属来不及转移全部被汉隐帝杀死，因此在他去世之前，只能让自己姐姐的儿子继位，这就是后周世宗柴荣。
柴荣三十九岁就不幸去世，他八岁的儿子柴宗训继位，不满三十的太后临朝听政。
小皇帝继位的第二年正月初一，北方突然传来契丹入侵的消息。于是朝廷派殿前督点检赵匡胤领兵迎敌，第二天清晨，部队行进至陈桥驿后士兵突然哗变，他们拿着一件龙袍披在赵匡胤的身上拥立他成为皇帝，于是北宋建立，这就是历史上著名的陈桥兵变。
明眼人一看就知道所谓“被迫称帝”其实就是一场精心导演的戏剧。不过比起五代时期那些血雨腥风的政权更迭，赵匡胤的做法显然更加文明和人道。他率军进入开封后严令士兵不许烧杀抢掠，朝中大部分官员也都得以留用，因此虽然被称为“兵变”，实际上却非常和平。
除了对待百姓和官员，赵匡胤对待后周的皇室也十分宽容。他将小皇帝母子二人迁往房州，封柴宗训封为郑王，母亲符太后则仍旧尊称太后，待遇不变。
赵匡胤甚至还在祖庙中立下石碑，要求宋朝所有皇帝不得加害柴氏子孙，除有谋反大罪外不得判处死刑，谋逆罪也只能在狱中赐死，不得当街斩首。相当于赐予了柴家人免死金牌。这也是《水浒传》中小旋风柴进敢于庇护宋江和林冲等人的原因，不过柴进只是虚构人物。
说了这么多，这些和潘美又有什么关系呢？其实和潘美之间的故事发生在柴荣的儿子上面。
柴熙海与潘惟正
周世宗柴荣并非只有柴宗训一个儿子。
史料记载柴荣一共有子七人，其中三人与郭威的家眷一同被后汉所杀，剩下的四人中除了柴宗训外，还有纪王熙谨，曹王熙让和蕲王熙海。而在这三人之中，除了对柴熙谨的去世有所记录外，其余两人便没有了消息，欧阳修在其所修的《新五代史》中写道：“熙让、熙诲，不知其所终。”
元末明初的史学大师胡三省指出，欧阳修的做法是有意避谈二人的下落，这究竟是为什么呢？
南宋人王铚曾在其笔记《默记》中记载了这样一个故事：
陈桥兵变后，周恭帝柴宗训出宫暂居天青寺，赵匡胤则带领手下将领共同进入宫中。进宫后，后宫嫔妃全部前来迎拜，这时赵匡胤注意到其中有两个宫女分别抱着两名幼童，上前询问后才得知他们是柴荣的两个儿子柴熙谨和柴熙诲。
这时赵匡胤回头看了一眼身后的将军后说：“还愣着干什么？”于是便有人出来夺过孩子向宫外走去，此时潘美一只手狠狠掐在柱子上面，低头不语。
察觉潘美的异样后，赵匡胤问道：“你有什么意见吗？”潘美回答：“我怎么会有意见，只是从情理上来说觉得心中不安。”
于是赵匡胤马上命令将抱走孩子的部下召回，将两个孩子其中的一个赐予潘美，之后便再也没有问过此事。潘美将其收为养子，取名潘惟正。潘惟正成年后以潘美为父，却并不以其他家人为亲，而且其子孙也不与潘美的其他后代使用同一字辈。
根据王铚的记述，潘美的第三个儿子潘惟正就是柴荣的儿子，但是这个故事有一点问题。
赵匡胤妥善安置了已经8岁的后周正统皇帝柴宗训，却为何要当着将领和众多嫔妃的面命人处死他的两个弟弟？陈桥兵变后的一系列做法本就是为平息舆论，这样做岂不是将自己辛苦塑造的形象毁于一旦？而且《宋史》、《东都事略》中都明确记载了潘惟正是潘美的第三子，如果勉强说南宋人在写史的时候会帮北宋掩盖事实的话，那么元朝人所记载的前朝历史则根本没有遮掩的必要，因此王铚的记述恐怕未必可信。
那么是否还有关于这件事情的其他记录呢？
答案是有的。
潘惟吉的故事
在王铚之前，北宋人王巩也在其笔记《随手杂录》中记载了类似的故事：
太祖皇帝赵匡胤第一次来到后周的宫殿，见到一名宫女怀中抱着一名婴儿，召来询问之下得知乃是世宗的儿子。当时在场的除了赵匡胤之外还有范质，赵普和潘美等人。赵匡胤问众人该如何处置，赵普等人都建议去除后患，潘美则与一名将军在后面一语不发。赵匡胤询问潘美的意见，潘美不敢作答。于是赵匡胤说：“即人之位，杀人之子，朕下不了手。”
潘美说：“我和陛下都曾经在世宗（柴荣）手下任职，现在我若说杀掉这个小孩，便是辜负了世宗曾经的栽培；若说不杀，则肯定会引起陛下您的怀疑。”
听到这里，赵匡胤便说：“这个孩子就交由你照顾，但是世宗的孩子不能做你的儿子，你就收他做侄子吧。”
后来这个孩子被潘美收养在家中，赵匡胤对此事再不过问，潘美也再不提起。这个孩子便是潘惟吉，后来官至刺史，他也是潘夙的祖先。
潘美本无兄弟，潘惟吉长大之后也只谈论自己的父亲而不提及先祖。
这段记述的最后，王巩还特地说明这是从潘惟吉的后代口中得知的。
相比于《默记》，《随手杂录》的这段记述看来应当更加可靠。首先王巩所处的时代比王铚要早，而且记述来自于潘家后代之口，显然要更加可靠。而且这段记述中赵匡胤的言行比较符合他在陈桥兵变后的一系列做法，逻辑上更为合理。因此可以推断，柴荣的后代应该是潘美的侄子潘惟吉而非潘惟正。
近年来曾发现了潘惟吉之子潘承裕和妻子的合葬墓，而其墓中碑文只记载了其父潘惟吉和叔祖父潘美，却非常奇怪的没有提及自己的祖父，而且碑文所记载的潘惟吉的籍贯也与潘美不同，这些都为王巩的说法提供了印证。
争议
近年来也有一些潘氏族人否定这种说法。根据他们的考证，周世宗的三个儿子中柴熙谨的去世年月在正史中都有记述，与潘惟吉卒年不同，故可证明不是同一人。
而有关柴熙让，则根据一些柴氏的宗谱考证出陈桥兵变后他移居河北沧州，后代移居山西，更有“柴荣创立柴王拳，由五皇子柴熙让传到沧州成为柴氏通背拳，后又传到山西、河南等地”的说法。
关于柴熙诲，则根据《卢姓史话》中所述，由大臣卢琰收养，取名卢璇，并将自己的女儿许配给了他。
这样一看，潘惟吉是柴氏后人的说法似乎被否定了，但这些说法其实也不一定靠谱。
首先用宗谱作为考证依据未必准确。唐末后历经五代，靖康之变和元人灭宋，中原的许多世家大族都遭到了毁灭性打击，很多人的家族已无法考证。而明清两代许多人为了彰显自家门庭，在重修族谱的时候往往会设法将一些历史名人编入谱中，后期甚至出现了专门为人篡改族谱的“谱匠”，这就让许多宗谱的可信度大打折扣。
再者《卢姓史话》中所记述的这位卢琰也有问题。
按照书中说法，卢琰生于公元900年，是汴州玉川人，历任周太宗、周世宗和宋太祖三朝，受封越国公，乾德六年告老还乡。
但在《资治通鉴》中并无此人记录，而《宋史》和《续资治通鉴长编》中倒是有一个名为卢琰的人，却与上述说法大相径庭。按照这些史料的记载，卢琰是淄州淄川人，生于后周显德二年，陈桥兵变之时只有五岁，更不可能向后周太祖郭威进言或者在赵匡胤进宫之时力劝，而且两宋所封国公之中并无一个越国公存在。
因此虽然有过一些否定潘惟吉是柴世后人的考证，但都并不足以推翻这种说法，潘惟吉仍有可能是柴熙诲或者柴熙让两人中的一人。