刘渊，字元海，新兴（今甘肃天水市武山县城西）匈奴人，是汉初冒顿单于的后代。当初，汉高祖刘邦以宗室女子充任为公主，嫁于冒顿单于，相互约为兄弟，所以冒顿单于的子孙也多冒姓为刘氏。
建武初年（汉光武年号），乌珠留若鞮单于之子醢落尸逐鞮单于（即日逐王）自立为南单于，将部落迁徙于西河美稷（今内蒙古准格尔旗西北）一带。
中平年间（东汉灵帝年号），羌渠单于遣子于夫罗率兵相助汉廷，共讨黄巾贼。当时羌渠单于遭部族叛乱，被杀。于夫罗就带着当时随征的部众留在了汉朝，自立为单于。后董卓为乱，于夫罗趁机寇掠太原、河东，并将部族屯于河内（今河南省北部大片地区）。
于夫罗死后，其弟呼厨泉自立为单于，并立于夫罗之子刘豹为左贤王，即刘渊之父。
魏武（曹操）当时为削弱南匈奴的实力，将呼厨泉留在了邺城软禁，并将其部众分成了五部，刘豹被任为左部帅，其余的部帅也皆以刘氏称之。
太康年间（晋武帝年号），朝廷改部帅旧制为都尉。刘氏匈奴五部中：左部居于太原、兹氏（今山西汾阳东南）一带；右部居祁（即祁县，今山西晋中）；南部居蒲子（今山西临汾市隰县）；北部居新兴（今甘肃天水市武山县城西）；中部居大陵（今山西吕梁市交城县西南）。刘氏匈奴虽说分居五部，但这五部其实全部居住在这晋阳汾涧之滨。
刘豹之妻呼延氏，于嘉平年间（魏 曹芳年号）在龙门（今山西运城市河津西北）黄河祭坛祷天祈子，突然看见有一尾大鱼，头顶生有双角，飞跃至祭坛之上，过了很久才又跳下河去。
当时负责祭祀的巫师感到非常诧异，说道：“此为祥瑞。”（鱼跃龙门，头生双角却未化龙，此当为妖异。神州要遭涂炭了）
当夜，呼延氏梦见早上看见的那条鱼现在变化为人，左手拿着一物，似有半颗鸡蛋般大小，那情景非常地奇异，那人将此物递给呼延氏，并说道：“此为日之精华，服下即生贵子。”
呼延氏醒来后，便将此梦境告诉了刘豹，刘豹说道：“此为吉兆，我昔年曾在邯郸张冏的母亲司徒氏那里看相，她说我命中该有贵子，三世中必贵不可言。你刚才所说的和我当年听到的有些相符了。”之后呼延氏怀胎十三个月而生子（时间再长些，岂不是要变成哪吒么），这婴儿左手有纹，形状就像一个‘渊’字，遂以渊为名，是为刘渊，并取字元海。
刘渊自幼便聪慧过人，但七岁时却遭母丧，捶胸顿足，嚎哭不已，四邻听闻也觉哀伤，其宗族部落都叹其为至孝。
当时曹魏司空王昶（太原王氏）听闻此事后，非常地嘉许（古人重孝），并赠吊赙（帛金）。刘渊自幼好学，曾师从上党（今山西长治市上党区）崔游学习，尤其喜读《左氏春秋》、《孙吴兵法》，《史记》、《汉书》及诸子百家也都无所不览。
刘渊曾经对身为同门师兄弟的朱纪、范隆说道：“我每次看书中列传，都非常鄙夷随陆二人不知武事（即随何、陆贾），绛灌二人又不通文墨（即绛侯周勃、灌婴）（‘随陆无武，绛灌无文’的出典处）。 道，是由人来发扬光大的，若有不了解的知识，本就为君子感到羞耻。随何、陆贾遇上汉高祖而不能建起封候的功业，周勃、灌婴跟随太宗（汉文帝）又不能开创教化天下的大业，真是可惜啊！”（是想说学之一物可以不精，但一定要博么？有点道理，也有点偏激）
于是，刘渊同时学习骑射之术，往往精妙出众。他猿臂善射，膂力过人，容姿伟岸，相貌堂堂。身长八尺四寸，胡须长三尺有余（又是位美髯公么），心口处有赤色毫毛三根，长三尺六寸（……这算是鱼须么？）
屯留（今长治市屯留区）崔懿之、襄陵（今临汾市襄汾县襄陵镇）公师彧（不知和之后的公师藩有什么关系）等人，都善于面相，等见到刘渊真人时，都吃惊地说道：“此人的形貌非常，我等从所未见。”于是对刘渊分外崇敬，互相结交。（算是给将来做铺垫，想做个从龙之臣）
太原王浑（见晋（3））也慕刘渊之名待其如友，并命其子王济（见晋（3））拜见他。
咸熙年间（魏 曹奂年号），刘渊做为质子留在了洛阳，晋文帝（司马昭）待其礼遇有加。泰始年间（晋武帝年号），王浑又屡次将刘渊推荐给晋武帝。武帝便召刘渊与其交谈，谈论过后，帝心甚悦，非常赏识刘渊，并对王济说道：“刘元海的容颜仪表，即使是春秋时的由余、汉代时的金日磾也没能高出他。（不论才，只看颜么？）”
王济回复道：“元海的仪表，确实就和陛下您所说的一样。然而他的文武才干却又高出由余、金日磾很多，若是陛下您能委任他统领我朝东南地区政务的话，那么刚刚降服的吴地（东吴）就能长期安定了。〞武帝欣然赞许。（王浑父子俩挺有意思，算是刘渊的伯乐吗？差点让武帝把江南都送出去）
孔恂与杨珧（三杨之一，见前）进谏道：“依臣观察，刘元海的才干，以目前我朝中的人才来说，恐怕还没有一个能与他相比的。但陛下您若是不重用他，他就绝对成不了气候，而若是交给他权柄，树立他的威望。那么在吴地彻底平定后，臣恐怕他就不会再回京了。刘元海与我们不同族，他到时必有异心。现在委任他来治理匈奴本部的事务，我们己是感到心惊肉跳了，若现在还要将天堑险阻之地交给他管理，那肯定是不行的，还望陛下三思。”武帝默然不语。
之后，秦凉二州陷没（晋初河西鲜卑秃发树机能之乱，后为马隆讨平），武帝为择良帅费尽心思，李憙上奏道：“陛下如能征发匈奴五部之众，授刘元海一将军之衔，鼓行向西。则平叛可期。”（又是个不嫌事大的。这也难怪，三国末期及晋初时，良将已经陨落的差不多了）
孔恂急忙出奏道：“李公（李憙）所言之法，并不能完全消除隐患。”
李憙勃然怒道：“以匈奴五部之强悍，刘元海知晓兵机，且又奉了天子之威，还有什么做不到的？”
孔恂忙道：“刘元海若能平定秦凉二州，斩杀秃发树机能的话，我这才真的怕那地方将永无宁日了。蛟龙得了云雨之助，就再非那池中之物了。”武帝听完，这才罢议。
后来王弥（后归附刘渊，为前赵重臣）要离开洛阳回东莱郡（今山东烟台、威海一带），刘渊在黄河九曲河滨旁为王弥设宴饯行，流着泪对王弥说道：“王浑、李憙常在皇帝面前称赞并举荐我，可是他们越是这样，我就越害怕，其结果反而会对我造成危险。我本来也没有要做官的想法（是啊，的确不想做官，就是想当皇帝而已），这一点，我想只有你能明白。恐怕我真的就要死在洛阳了，这次就算我与你的诀别吧。”刘渊当时的情绪非常地激动，尽情喝酒，大声慨叹，放声呼叫，其音嘹亮而悲怆，同席之人闻之都不禁落泪长叹。
齐王司马攸（详见晋（3））当时正巧也在附近，听说了此事后，立刻派人骑上快马前去察看情况，看见刘元海的确在那里，过程也确实如此。
于是司马攸急忙回朝对武帝说道：“陛下，如果现在不除掉刘元海的话，恐怕并州（古九州，今山西，刘渊的大本营）就不能够长治久安了。”
王浑又在这时插话道：“刘元海是位长者，王浑愿为他担保，况且我大晋正要向各部族表明我朝诚信待人的政策，用德政使边远地区的部族归附，现在怎可凭那连影子都没有的嫌疑，来诛杀他族留在我朝的人质呢？”武帝道：“王公说得很对。”
当时正逢刘渊的父亲刘豹去世，武帝任命刘渊代任左部帅。太康末年(290年)，武帝又封刘渊为北部都尉。刘渊在任期间，严明刑法，禁止各种违法乱禁的行为，他不看重财货，平时喜爱散财接济他人，与他人结交时都是推诚相见（西晋‘赛孟尝’，十六国‘及时雨’啊）。就这样，匈奴五部中的豪杰都纷纷投奔到了他的门下，幽州、冀州（今河北）知名的儒生，后学中杰出的人才，也不远千里来到刘渊的驻地游历。
到了晋武帝驾崩，杨骏辅政时，刘渊又被任命为建威将军、五部大都督，封汉光乡侯。自此，刘渊威振朔方一带。
大乱将起……