在很久以前，钟罗山是人间通往天宫的大门，民间经常有人溜到天上，有告状的，有看景的，也有想成仙的。玉皇大帝非常烦恼，为了防止人间凡人随便进入天界，他想选派俩人，去镇守此山。
却说天上原有金、银、铜、铁四口大钟，年深日久修炼成了四位仙女，她们过厌了天上那种枯燥森严的日子，羡慕人间自由自在而富有生气的生活，便产生了思凡之心，只是苦于没有机会，只好寂寞地呆在天上。
这天，玉皇大帝把四位仙女叫到跟前，询问她们谁愿下凡，镇守山门，没想到，四个人争着下界，最后，玉帝选派金钟和银钟，来镇守此山，所以叫钟落山。
却说钟落山北面有个小村子叫寒凉寺，村里有一个小扛活的，从小死了爹妈，撇下他孤苦一人，就给附近村里一姓王的财主家当长工。他白天上山打柴，晚上推磨压碾，困了就睡在牛棚里，就这样王财主也不让他吃饱，还一天赶他拾三挑子柴禾，拾少了回去就是一顿毒打，把他折腾的两根脖筋挑个头。老少爷们谁见了谁心疼，今天这个一碗，明天那个一瓢，粗糠野菜的接济着，总算没饿死，苦熬硬撑长到了十七八岁，出落得一表人材，天天挑着两座小山似的柴火，从山上走来，人们叫他“柴哥”。
这一天，柴哥病了，发大热，王财主又撵着他上山砍柴。到了山上，他连病带饿，实在是支持不住了，一头栽倒在石崖上，就“呼呼”地睡着了。
也不知过了多久，柴哥迷迷乎乎地听着有“叮叮当当”的铃铛声，又听到一阵阵清脆悦耳的歌声。
一个唱道：“银钟妹，银钟妹，世上哪个活受罪？”
另一个接唱：“金钟姐，听我说，世上受罪柴郎哥。”
柴哥一听，吃了一惊，赶忙睁开眼，一看，可了不得了，两个花朵一般的大闺女，一个穿着红裙子，一个穿着白裙子，正在蹦蹦跳跳地唱歌。
柴哥看傻了眼，不小心踢着了一块石头，“哗啦”一声响。那两个姑娘听到响声，说声：“快走！”一打影不见了。
柴哥怪纳闷噢，抬眼看看山顶，就见山顶上有两个东西直放光。他就轻手轻脚地往上爬。爬上来，看看，山顶南旁凹洼处有两个大钟鼻，一个黄的，一个白的，有那么大小啊！
柴哥捞个挑柴禾的扁担插里头去了，一头插金钟鼻里，一头插银钟鼻里。他心想：“我叫那些扛活的穷爷们抬家去，卖了也吃顿饱饭！”他正寻思着，就听有人说：
“柴郎哥，柴郎哥，你放下扁担听我说。”
柴哥好生奇怪，真把扁担抽出来了，这一抽不要紧，“扑腾”一声，钟没有了，坠地里去了，光落两个大坑，大钟窝哩！正看着发呆，忽听身后一阵“咯咯”的笑声，回头一看，正是那两个姑娘。穿红衣裳的姑娘说：“柴郎哥，好心肠，金钟斟酒给你尝。”
穿绿衣裳的姑娘说：“柴郎哥，心实宽，银钟端饭你打尖。”
一会儿，两个姑娘摆出了一桌酒菜，柴哥吃得饱撑撑的，透恣，拾一大挑子柴禾回去了。
第二天，柴哥到山上砍了一挑子柴火，刚要下山，那两个姑娘又来了，摆酒菜给他吃，吃得饱饱的，第三天，第四天，天天两个大姑娘给柴哥送酒送饭，天天吃得稀好，没过几个月就吃得煞白透胖了。王财主怪纳闷，说他回来偷东西吃，柴哥不承认，你想他没干，能承认吗？打一顿，打一顿，他就是不说原因。
王财主心想：“您娘，你天天急巴早地上山，我看看你在山上干什么来着。”
这天，柴哥头里刚走，王财主就轻手轻脚地跟了出来。头一天，王财主跌折了胳膊；第二天，摔崴了脚脖子。你想想，他平时大门不出二门不迈，山高沟深的能不出事吗？可他还是不死心，第三天，他又一瘸一拐地跟柴哥上了山。
到山上，扒着石缝望上看，可了不得了！两个大闺女正陪着柴哥吃饭。看那两个闺女有红似白实在是俊，就跟那天仙女一样。王财主把眼都看直了，他顾不上脚疼，上去就抓那两个姑娘。穿红衣裳的姑娘一闪，他一把抓住穿白衣裳的姑娘了。白衣姑娘拼命挣扎，刹时就现出了原形，成了一个大银钟，就听着 “扑腾”一声，这个大银钟就陷地层下去了，王财主往前一窜，“扑哧”正钻进钟鼻里去了，卡得死死的，可出不来了。
穿红裙的姑娘说：“柴郎哥，柴郎哥，金钟有话实难说，你要不嫌俺长得丑，我，我，我愿与你……”
金钟姑娘话没说完，银钟妹妹从山东边石崖下鼓冒出来了。她听到了金钟姐姐的话，知道了她的一片真心。一心想成全他们，就说：
“金姐好，柴哥实，你俩正好配夫妻。”说得两个人都红着脸，笑了。
金钟姑娘说：“银钟妹，银钟妹，我与凡人来婚配，天帝肯定要怪罪，恐怕于你也连累……”
银钟姑娘说：“金钟姐，你别怕，你带柴郎哥快走吧！玉帝要是知道了，是打是罚我承当。”
金钟姑娘眼含泪水，不忍离去，银钟姑娘一跺脚，口念咒语，刮起一阵大风，把金钟与柴哥刮得像两片树叶，飘飘向东飞去。
银钟姑娘想：让他们去投奔东海龙王去吧！不行，东海龙王是天帝的外甥。哎，有了，让他们去寻“东海孝妇”周青仙吧！周青仙是一位贤良而又刚强的女子，连天帝也敬畏她三分。
主意一定，银钟姑娘用手一指，金钟与柴哥脚踩祥云，飘飘遥遥直奔郯城“孝女庙”。从此，二人在郯城安了家，男耕女织，过上了幸福美满的生活。
银钟姑娘送走了他们以后，心想：天帝怪罪下来，罪责不轻，我也干脆逃了吧！她架起云头，连夜投奔蓬莱仙宫彭仙祖去了。
这钟落山上的土地官儿，一看金银二钟都走了，赶紧一个云头上天去禀报了玉皇。玉皇大帝一听大怒，便派天兵天将下界来捉拿。天兵追到郯城，金钟与柴哥早已躲进孝女庙，天兵不敢贸然闯进，只好去东海抓银钟，怎奈彭仙祖神通广大，法力无边，几番交量，打得天兵大败，只好退去。
玉皇大帝无奈，只得另派铜、铁二钟来镇守此山，而这铜铁二钟的法力比不上金银二钟，玉皇大帝这样做，也是没有别的办法，为了防止再出事端，在铜铁二钟临行之前，玉皇大帝摘下了她们身上的钟铃，这样她们就不能变化成人形了。
在钟落山周围的村庄里流传着这样一首歌谣：
金钟、银钟出了世，
铁钟、铜钟烂断系。
正因为有这个故事传说，所以该山叫钟落山，后来演化为钟罗山。不信你到山顶上细找找，还能找到生锈的钟鼻呢。