《教父》上映后取得票房与艺术上的双丰收，随即续集被派拉蒙提上议事日程。不过与公司急切的心情相反，科波拉并不想执导续集，他表示：一是《教父》已经是个很完整的故事了，二是自己正忙于《不起的盖茨比》的剧本改编和自己公司“美国西洋镜”（American Zoetrope）的新作《窃听大阴谋》（The Conversation，1974）的筹备，根本没时间。而且科波拉打心眼里鄙视公司的贪婪，他说：“他们希望电影也可以像可口可乐一样不断复制出来赚钱，但《教父》可不是连续剧”。于是他向派拉蒙建议续集更换导演，推荐了另一位新好莱坞“电影小子”（Movie Brats）——马丁·斯科塞斯。
派拉蒙听过这个建议后觉得“太疯狂了”（That's crazy!），世上还有比科波拉更适合拍摄《教父》续集的导演吗？那个叫马丁的小子拍过啥玩意？作为第一集的奖赏和开拍续集的鼓励，派拉蒙马上答应送给科波拉一辆高级轿车，所有豪车您随便挑。科波拉说我要大奔！那家伙坐起来感觉跟教皇似的，老有面子了……于是他如愿以偿得到了一辆加长版奔驰600 Pullman轿车。派拉蒙同时应允他几个条件：给予他充分时间去改编《了不起的盖茨比》的剧本并承担《窃听大阴谋》一片日后的发行；《教父2》公映时间可以推后到1974年圣诞节前，影片预算将高达1300万美元，升任科波拉为制片人，付给他100万美元的片酬。科波拉从第一部那个战战兢兢的小媳妇，华丽转身为位高权重的大导演，终于答应接过《教父2》的导筒。
在《窃听大阴谋》杀青后，科波拉投入到《教父2》的拍摄，派拉蒙赋予他极大的权限，使他几乎可以随心所欲地制作影片。罗伯特·埃文斯担任监制，这次他很少指手画脚，更多的是扮演保驾护航的角色。科波拉回忆说，这使得影片拍摄进行的非常顺利，不仅去了多个外景地取景，而且还可以通过双线程来讲述故事。《教父2》其中一条主线是老教父维托·柯里昂艰辛创业的成长史，另一条是新教父迈克·柯里昂扩展家族生意使其合法化。
1901年，9岁（小说中是12岁）的维托·安东里尼（奥莱斯特·巴尔迪尼 Oreste Baldini饰）父母和哥哥因为反抗当地的黑手党头目唐·西西欧（Don Ciccio，Giuseppe Sillato饰）而惨遭杀害，小维托在亲友帮助下逃离家乡前往美国。
西西欧这个人物原型来自弗朗西斯科·库恰（Francesco Cuccia）——西西里巴勒莫（Palermo）市长兼黑手党首领，这位老兄颇有几分传奇色彩。1924年，身为意大利首相的墨索里尼视察该地，一旁陪同的库恰说，我的地盘我做主，到了这儿你就受我保护，要那么多警察干嘛？简直是浪费！不仅如此，在墨索里尼演讲时库恰还安排了不少黑手党党徒大喊：滚蛋吧，元首，别耽误俺们赚钱！紧跟着20多个傻子、乞丐齐刷刷走过来，大呼小叫：赏口饭吃吧，俺的元首……这一切令墨索里尼深感羞辱和愤怒，回到罗马立刻召开国会，歇斯底里地叫嚷道：“我要向西西里那帮土匪发动全面的战争！”。1925年墨索里尼开始着手扫灭黑手党，在这场法西斯与黑手党的较量中，黑手党一败涂地，库恰成为第一个倒霉蛋儿，未经审判就锒铛入狱，饱受酷刑，1928年因缺乏证据被无罪释放。
混迹于小意大利区的法努奇是一个恶棍，自称是黑手党成员，以恐吓勒索街坊四邻为生。维托在杂货铺的工作也被他霸占，不得已只能和克里曼沙（Pete Clemenza）去干些小偷小摸的勾当。维托注意到法努奇只是单独活动，身后似乎并没有组织。在一次街头械斗中，他被三个小混混割破喉咙，虽然尖叫求救，但根本没人援助他（这个场景在电影中被删除）。维托柯里昂意识到一个真正的黑手党大哥身边不可能没有小弟保护，小混混也根本不敢攻击他。在认清法努奇扯虎皮做大旗的真面目、并多次被其勒索后，维托决定干掉他。
小说中写道，在枪杀法努奇后，维托从屋顶逃离，却被儿子桑尼意外发现。当16岁的桑尼因持枪抢劫差点被捕时，维托质问他为什么要这样干？桑尼说自己亲眼目睹了父亲当年杀人和处理枪支的场面，让维托无语。因为这个缘故，桑尼后来逐渐参与到父亲的非法勾当中，成为柯里昂犯罪家族的中坚力量。
小意大利区的人们对于维托干掉法努奇大多心照不宣，心存敬畏，警察对死了一个地痞根本就无所谓，于是小老板们自愿掏出点钱来寻求维托的保护，而维托广结善缘并组建了自己的队伍。通过在禁酒令时代贩私卖酒，他的队伍逐渐壮大起来，称霸一方，维托也开始被人尊为“教父”。
科波拉非常庆幸罗伯特·德尼罗在《教父》中试演桑尼失败，在看过《穷街陋巷》（Mean Streets，1973）后，他就认定德尼罗是青年维托的不二人选。为了扮演这个角色，德尼罗在西西里岛住了四个月学习维托式的西西里方言，在影片中他大部分的对话都是西西里方言。在拍摄维托返回西西里复仇的场景中，德尼罗增肥、蓄须，和马龙·白兰度一样带着口腔道具，活脱脱一个缩小版教父。
唐·汤马西诺（Don Tommasino）是教父在西西里的老朋友，当维托开办橄榄油公司后，他负责从西西里供货。教父返回到西西里老家复仇，汤马西诺协助他干掉西西欧，却不幸腿部中枪留下残疾，只能坐着轮椅送教父一家离去。不过此后汤马西诺成功取代西西欧成为当地黑手党头目，是柯里昂家族半个世纪以来最坚定的盟友。迈克因杀警逃亡到西西里时受到他的庇护；《教父3》中，他又为柯里昂家族和梵蒂冈的合作牵线搭桥，后来不幸被老牌杀手莫斯卡（Mosca）杀害。
迈克在片中最重要的对手是海门·罗斯（Hyman Roth，李·斯特拉斯伯格Lee Strasberg饰），角色原型来自美国历史上著名的黑老大迈耶·兰斯基（Meyer Lansky）。这位绰号“会计师”的犹太裔黑老大出生时的名字叫做海门·萨卓斯基（Hyman Suchowski），因为十分仰慕历史上著名的黑帮赌徒阿诺德·罗斯坦（Arnold Rothstein，美剧《大西洋帝国》中的重要人物），曾经自称海门·罗斯坦。他主要经营博彩业，在拉斯维加斯、古巴、巴哈马和伦敦都拥有赌场。迈耶是为数不多的得以寿终正寝的黑帮大佬，1983年因肺癌死在迈阿密海滨的别墅，死时身边只剩下3.7万美元，但FBI认为他藏匿起来的钱超过3亿美元，可惜至今也没找到。迈耶作为原型人物在《美国往事》（Once Upon A Time In America，1984）、《哈瓦那》（Havana，1990）、《巴格西》（Bugsy，1991）、《暴徒》（Mobsters，1991）、《迷失城市》（The Lost City，2005）和美剧《大西洋帝国》（Boardwalk Empire）中多次出现。
《教父2》里的海门·罗斯和维托·柯里昂是禁酒时代的老相识，教父尊重他，但从没有信任过他——这也是迈克与之合作时一直提防他的主要原因。海门·罗斯老奸巨猾，显然迈克涉足博彩业威胁到了他的利益，而《教父》中被枪杀的赌城大亨蒙·格林曾是他的亲密小弟，因此他处处设计迈克，还唆使迈克的二哥弗雷多做出背叛家门的勾当。最后海门·罗斯在迈阿密机场被迈克的保镖罗可（Rocco Lampone）假扮成记者枪杀。
李·斯特拉斯伯格是美国著名的戏剧表演老师，‘方法派’表演的倡导者，培育出不少伟大的演员，阿尔·帕西诺、詹姆斯·迪恩、达斯汀·霍夫曼、保罗·纽曼、哈维·凯特尔、玛丽莲·梦露、梅丽尔·斯特里普等都曾是他的学生。李的主业是教书育人参演的电影并不多，他能出演海门·罗斯还是阿尔·帕西诺的极力推荐。李在拍摄期间病倒，为了不耽误进度，科波拉顺势将海门·罗斯拍得病病歪歪。老师不负学生的厚望，在第47届（1975）奥斯卡上他和罗伯特·德尼罗、迈克尔·V·格佐（Michael V. Gazzo，饰演法兰基Frankie Pentangeli）共同争夺最佳男配角奖，虽然惜败于德尼罗，但李对角色的把握堪称出神入化。影片上映后，迈耶曾打电话给李抱怨道：“割门，你为啥不能把我演得更有点人情味儿呢？好歹我也是当爷爷的人了。”
转作FBI污点证人的法兰基（Frankie Pentangeli）是《教父2》中新增的人物，是克里曼沙的继承人；这个角色的故事原本属于克里曼沙，但是按照派拉蒙的说法，在《教父》中扮演克里曼沙的演员理查德·卡斯特尔诺（Richard S. Castellano）狮子大开口，公司无法接受只好砍掉他的戏；不过，卡斯特尔诺的妻子有不同的说法，她说那些都是谎言，自己丈夫心脏一直不好，医生建议他的体重控制在200磅以内，但科波拉想要一个胖点的克里曼沙，要求他在《教父2》中再增肥50磅；如果那样的话，丈夫的体重就达到300磅了，身体根本受不了，所以不愿增肥，于是被辞退。两种说法孰真孰假咱也不清楚，只知道卡斯特尔诺1988年55岁时就因心脏病去世了。
马龙·白兰度原本应邀在这个闪回桥段中客串一天，但他临时爽约，科波拉不得已重新修改了剧本，第二天才拍完这场戏。詹姆斯·凯恩也答应了客串，但他要求片方支付给自己等同于《教父》中的片酬（35000美元），片方同意了。科波拉的妹妹塔莉娅·夏尔在拍摄第一部时只得到可怜的1,500美元片酬；第二部时她拿到30000美元，当电影票房突破2750万后，又获得额外的1万美元奖金；而阿尔帕西诺在《教父2》中的片酬则暴涨到50万美金+10%分红；罗伯特·德尼罗片酬不详，应该很低（他在1976年的《出租车司机》中的片酬为35000美元）。
迈克派人杀死二哥弗雷多是被影迷争论最多的话题之一，懦弱的弗雷多虽然背叛过迈克，不过后来悔过怎么看也罪不至死。但是家族利益高于一切、叛徒必须受到惩罚——这是黑道法则，泰西欧、保利（Paulie Gatto，教父的司机兼贴身保镖）、卡洛、法兰基都难逃一死；而且大多数人也或多或少忽视了迈克早已从一个热血爱国青年沉沦为冷血黑帮老大的现实。事实上，这段情节在小说中并没有，共同编剧马里奥·普佐和科波拉就这个情节也产生过分歧，科波拉最后同意迈克应该等到母亲过世后再动手。弑兄是迈克一生中最大的罪孽，这也为《教父3》中的他饱受煎熬埋下伏笔。
影片最后一个镜头，夕阳下的迈克在湖边寂然独坐。实际上这个镜头还有一个结束画面：迈克的儿子安东尼（由一个18岁的演员扮演）宣布不会继承父业。当天那个镜头刚拍到一半，科波拉感觉光线不够了，就宣布停机，结果之后也没能继续把镜头补拍完整。
电影公映前的试映活动囊括了观众提出的一些意见，其中反映最大的问题是青年维托和迈克两个故事间的转换过于频繁，使人感觉混乱。于是科波拉和剪辑组决定加长每段故事的叙述时间，减少两条线的切换频率，这一改动直到公映日前夕才完成。
《教父2》上映后，被媒体和观众视为是影史上如凤毛麟角般可与前集并称经典的电影，有评论认为《教父2》足以媲美《教父》甚至超越了它。在第47届（1975）奥斯卡金像奖颁奖典礼上，《教父2》成为影史上少数以续集电影之姿获得奥斯卡最佳影片奖的电影之一，也是影史上唯一有两部电影获得奥斯卡最佳影片的系列。
柯波拉拍摄的《窃听大阴谋》与《教父2》共同入围最佳影片奖，这是影史上第三次由一位导演执导的两部电影入围同年最佳影片奖（第一次是维克多·弗莱明在1939年的《乱世佳人》和《绿野仙踪》，第二次是希区柯克在1941年的《海外特派员》与《蝴蝶梦》）。继科波拉之后，又有两位导演也取得了相同的成绩：1978年赫伯特·罗斯（Herbert Ross）的《再见女郎》（The Goodbye Girl）和《转折点》（The Turning Point），2001年史蒂芬·索德伯格的《永不妥协》和《毒品网络》。
1993年《教父2》由美国国家影片登记部典藏，和《教父》并列为国宝级电影；2007年《教父2》入选美国电影学院（AFI）有史以来最伟大的百部电影，排名第32位、十大黑帮片中排名第3位。