公元458年正月初一日，北魏文成帝拓跋浚颁布禁酒令。当时连年丰收，官民常常因为酗酒而导致互相殴打，或是借着喝酒在一起议论执政，文成帝对此非常厌恶。所以颁布诏令，酿酒、卖酒、饮酒的人，一律斩首。遇到喜事、丧事的时候，暂时可以开禁，但一定要有日期限制。
文成帝又增加了内外候官，监察各曹、州、镇，有时，内外候官还换上平民百姓穿的衣服，混杂在政府、寺庙等地，以此来寻找文武百官是否有什么过失，一旦发现，有关部门就会严加追究、盘查，抓起来严刑拷打，逼招口供。文武官员接受贿赂赃物，布匹达到两丈，即予以斩首。
文成帝下令兴建太华殿，当时，给事中郭善明生性乖巧善变，他又游说文成帝大肆兴建宫殿。中书侍郎高允劝谏说：“太祖时开始兴建城池街市，兴建时他一定让人利用农闲的时节。何况，我们国家已经建立很久了，永安前殿已经足够在朝会时的使用；宴请、歇息，有西堂和温室也足够了；紫楼足可以用来登高远眺。况且，纵然要扩大建设工程，也应该慢慢进行，不能仓促行事。现在核算一下，起码要抽调民工差役二万人，而那些供应饭食的老弱，又得增加一半。预期半年可以完工，一个农夫不种田，就会有人挨饿，何况现在是动用四万人，劳力和费用是无法计算的，这才是陛下您应该留心的事情啊！”文成帝接受了他的劝谏。
高允喜欢直言进谏，朝廷内有什么事情做得不适当时，他就立刻请求晋见。文成帝常常屏退左右侍从，单独一人和他商谈。有时，二人从早到晚相谈，甚至一连几天都不出来，各位大臣都不知道他们在谈些什么。
有时，高允说话言辞激烈、切中要害，文成帝听不下去，就命令左右侍从把高允搀扶下去，但是他始终对高允很好。
当时，有人上书措辞激烈地批评朝政，文成帝看完后对大臣们说：“君王和父亲是完全一样的，父亲有错，儿子为什么不把它写在纸上，在大庭广众之中进行劝谏，而偏偏私下在隐蔽之处议论？这难道不是不想让他父亲的罪恶彰显在外，让天下人都知道吗？至于说臣子侍奉君王，又何尝不是这样。君主有了什么过失，作为臣子，不能够当面直言劝谏，却要上书进行公开指责，这是想要使君主的短处昭彰于世，显示他自己的正直，这难道是一名忠君之臣所应该做的事情吗？像高允那样的人，才是地地道道的忠君之臣。朕有了过失，他没有不当面直接批评的，甚至有时有些话，朕已经难以接受，但高允并不回避。朕由此知道了自己的过失，但天下人却不知道，难道这不能说是忠心吗？”
与高允同时被征召的游雅等人，全都做了大官，被封为侯，部下们官至刺史，有二千石俸禄的人也有几十成百名了，可是，高允还仍然为著作郎，二十七年从来没有升过官。
文成帝对各大臣说：“你们这些人虽然每天手持刀箭，站在朕身旁伺候，却不过是白白地站着，没有一个人劝谏过我一句话。而只是在看到我心情高兴时，要求赏赐一官半爵。现在，你们全都没有什么功劳，却都做了王公。高允仅用一支笔辅佐治理国家几十年，他的贡献不小，可他仍然不过是个郎官，你们这些人难道不感到惭愧吗？”于是，提升高允为中书令。
当时，北魏的文武百官们都没有俸禄，高允常常让他的儿子们上山砍柴，来维持家里的生计。司徒陆丽对文成帝说：“高允虽然蒙受您的优待，但是，他家的生活却相当贫困，他的妻子和孩子也没有生活来源。”
文成帝怒道：“你为什么不早说，偏偏等朕看重了高允，才告诉我说他很穷。”
当天，文成帝亲自来到高允家里，看见高允家仅有几间草房，几床粗布被褥和用旧麻絮做的棉袍，厨房里也只有一些青菜和盐。文成帝忍不住叹息，赏赐给高允家五百匹绢帛，一千斛粟米，任命高允的长子高悦为长乐太守。
高允竭力推辞，但文成帝不同意，他非常器重高允，平时经常称高允为令公，而不直呼他的名字，从此“令公”的名号远播四方。
游雅常常说：“从前史书上曾经称赞汉代卓茂、刘宽的为人，心地狭窄的人不相信那是真的。我和高允相处为官四十年了，从未看见他把喜怒哀乐表现在脸上。为此，我才知道古人古事都不是假的。高允内心文采光明，外表温和柔顺，就是说话总是慢腾腾的，好像不会表达一样。从前，司徒崔浩曾经对我说：‘高允博学多才，是一代俊杰，他所缺乏的，恐怕只是一点儿刚毅的风骨。’我也是这样认为，直到崔浩犯了罪，不过是因为一些细微小事，可是，皇上亲自审问时，崔浩吓得浑身发抖，声嘶力竭说不出话来。宗钦以下的官员，也都吓得爬在地上，汗流浃背，个个都面无人色。只有高允一个人站在那里详细陈说事件的经过，进一步阐述是非曲直，表达清晰而有条理，阐明的事理清楚有深度，而且声音高亢宏亮，连皇上听着都为之动容，听的人没有不为他捏着一把汗的，这种行为，不是刚毅的风骨又是什么呢？
在宗爱高升把持着朝政大权的时候，其威风凛凛、震撼四海。宗爱曾经召集文武百官到朝堂论事，王公以下的官员，全都小步前进到宗爱面前，向宗爱叩拜，只有高允一人走上台阶，对宗爱长揖了一下。从这件事上看，汉代汲黯可以躺在床上会见卫青，行对等的礼节，有什么不可以的？这难道不是我们所说的高风亮节吗？了解一个人，本来就不是一件容易的事，我已经看错了他的内在品德，而崔浩又看漏了他的外在气质，这就是管仲所以对鲍叔牙的死感到万分悲痛的真正原因啊！”
冬季，文成帝拓跋浚向北巡查，想要讨伐柔然，走到阴山，碰到下大雪，拓跋浚打算回去。太尉尉眷说：“现在，我们发动全军去威震北狄，离开都城还没有多远，却要突然班师回朝，蛮虏们一定怀疑我们国内发生了动乱。所以，将士们虽然感到寒冷，却不能不继续前进。”
拓跋浚接受了劝告，将大军屯扎在车仑山。他亲自率领十万骑兵、十五万辆战车，进攻柔然国。他们穿过大沙漠，旌旗飘扬，绵延千里。柔然可汗郁久闾吐贺珍远远逃走，其支派几千个帐落向北魏投降。拓跋浚在柔然国刻石记下战功，然后班师回朝。
,