刘虞，字伯安。东海郯（今山东郯城）人。汉光武帝刘秀之子东海恭王刘强之后，刘虞的祖父刘嘉曾任光禄勋，父亲刘舒曾任丹阳太守。
刘虞虽然是汉室皇亲，但当时世道衰乱，又与君主疏远，所以一开始他本人也只是担任曹吏，但刘虞能用心做好自己的工作，所以得以获升成为郡吏，最终被举为孝廉当上了郎中，后因累积政绩迁为幽州刺史。
据《英雄记》记载，刘虞以前在担任博平令期间，以公正平和的方式管理地方，境内的百姓因此都高尚纯朴，境内不仅没有盗贼，甚至都不会产生灾害。当时邻近县蝗虫为害，到博平界，居然飞过不入。
而刘虞在担任幽州刺史期间，清静俭约，以礼义教化百姓。百姓与蛮夷被他的仁德所感动，鲜卑、乌桓、夫余、秽貊等部族都按时朝贡，不敢骚扰边境，他也因此受到了百姓的歌颂。
延熹九年（166），南宫发生火灾，在张让、赵忠等人的游下灵帝要求收田亩税十钱，以修宫室，后来甚至只要州郡的官吏升官补缺，都要求资助修治宫室的钱，有的一千万，有的二千万，富有的人开始动用自己的私财，有的人则搜刮老百姓的钱以备用，贫穷而清廉的人，无以充调，有的甚至自杀。而灵帝因为刘虞清贫，特别没有让他出钱。
后来刘虞因为公事被免去了幽州刺史一职，转为甘陵相，在此期间刘虞因病回家。
刘虞回到老家之后，并没有因为曾居高位而大摆脸谱，反而经常自降身份，与当地百姓一同欢庆节日，一同救助他人，什么事情都和大家在一起，从来不显示自己的特殊身份，因此乡里都非常推崇他。
当时乡里有所申诉，甚至都不去见官，而去找刘虞评判。刘虞以道理和情感为他们分析判断，大家都是十分认可，大大都听从刘虞的，没有人为此感到遗憾和不公正。
当时有一家的牛走失了，因为其骨体毛色和刘虞的牛相似，他就去问刘虞要，刘虞便把自己的牛给了他。后来自家的牛失而复得，牛主人更是亲自来向刘虞道歉。
后来甘陵再次发生动乱，当地的官吏和百姓都因此十分怀念刘虞，刘虞因此被再一次任命为甘陵相，甘陵的情况随即便大为好转。
刘虞后来因功得以拜为尚书令、光禄勋，而且他还是皇亲，礼仪非凡，刘虞最终成为了宗正，负责管理天下的皇亲国戚。
时间到了中平年间（184－189），车骑将军张温率军讨伐凉州贼寇韩遂等人，征调幽州乌桓三千骑兵，但却因军粮供应不上，使得乌桓骑兵都逃回了本国。一开始前中山相张纯自荐为将，但被张温所拒绝，张温反而以公孙瓒为将，于是张纯深恨之。
张纯看到乌桓骑兵纷纷逃走，就对和他同样没有被张温重用的前太山太守张举私下到：“如今乌桓已经背叛，都想作乱。凉州贼人起事，朝廷不能禁止。又有洛阳人的妻子生下的孩子有两个头，这是汉朝气数已尽，天下有两主的征兆啊。你若和我一起率乌桓的部众来起兵，不定可以成就大事业。”
张举因不获张温重用而心生不愤，就听从了张纯的建议。于是两人联合乌桓的首领丘力居，双方结盟背叛了朝廷，张举有武装九千人。
于是他们开始攻打蓟地，焚烧城郭，掳掠百姓，杀护乌桓校尉箕稠、右北平太守刘政、辽东太守阳终等人，部众达到十余万，驻扎在肥如。张举称“天子”，张纯称“弥天将军安定王”，向各州郡传送文书，张举要取代汉朝，让天子退位，命公卿来迎接。张纯又派乌桓峭王等人步骑兵五万，进入青、冀二州，攻破清河、平原，杀害官吏百姓。
朝廷则派遣中郎将孟益率领骑都尉公孙瓒讨伐张纯等人，双方交战良久，互有胜负，但公孙瓒等人最终还是无力阻止叛军和蛮族进犯青、冀、幽、徐四州。
朝廷因为刘虞素来有威信，对北方又有恩德，于是在中平四年（188），灵帝任命刘虞为幽州牧，掌控地方大权，负责镇压叛乱。
刘虞到达蓟城后，不但没有扩充军力，反而精简了部队。他在上任伊始，就派使者去丘力居和乌桓峭王那里，告诉他们朝廷将宽大处理，可以免除他们犯下的罪责，并且晓之以利害，责成他们交出张纯的首级。丘力居等人听刘虞回来了，十分高兴，各派使者去见刘虞，并将部队撤回了各自的领地，公孙瓒害怕刘虞功高过自己，居然偷偷派人杀死丘力居的使者。胡人得知这一消息后，依然没有改变主意，而是派人改道去见刘虞。
在面见了胡人使者之后，刘虞撤回了各路人马，只留公孙瓒带领步、骑近万人，驻守右北平。同时刘虞以幽州牧的名义下令悬赏通缉张举、张纯二人。二人逃到塞外，其余的也都投降或逃跑了。当时张纯丢下妻儿老，只身逃到鲜卑，被他的门客王政所杀，将首级献给了刘虞，王政因此被封为列侯，张举则不知所踪。
就这样在刘虞的威名之下，未动一兵一卒，丘力居和乌桓峭王等外族就悉数投降，张举消失，张纯被部下所杀，北方之乱就此被平息。汉灵帝因此派使者升刘虞为太尉，封容丘侯（一襄贲侯）。
后来董卓控制了朝政，又迁升刘虞为大司马，公孙瓒为奋武将军，封为蓟侯。
关东诸侯联合讨伐董卓之际，由于幽州地处偏僻，所以未能参与，董卓后来把献帝劫持到了长安，然后任命刘虞接替袁傀为太傅，但因为路途遥远，道路堵塞，命令居然最终没能成功的送到刘虞面前。
在三国历史前期，大司马刘虞是那个时代里极个别声望威名还在出身于四世三公的老袁家，关东联军盟主袁绍之上的人物，甚至就连袁绍本人都对其十分的信服，愿意辅助于左右。
可惜的是刘虞并不是光武帝刘秀。