马超割据陇西之后，并没有能在此长期驻扎下去，很快，因为其部下的叛乱，马超再次被曹操军所击败，不得已逃往汉中，投靠张鲁。
马超后企图借助张鲁的力量反攻凉州，但遭遇失利，他在汉中又遭到了张鲁部下的排挤，遂离开汉中逃入氐中，最终被刘备所拉拢。
【败退汉中】
马超夺取凉州后，很多凉州官员并不服他。当时杨阜就内心怀着复仇的志向，只是一时寻不着机会。不久杨阜告假，请求埋葬亡妻。他趁机去外兄姜叙屯兵的历城。杨阜从在姜叙家长大。他见到姜叙和叙母之后，叙了冀城陷落的经过，悲泣不已。姜叙：“何以如此悲恸？”杨阜：“守城却又守不住，君长已死而不能同命，我还有什么脸活着呢？马超背叛父辈，背叛国家，烧杀将士。这何止是我个人怕受人指责，全州士大夫都要蒙受耻辱。您带兵专管一方却没有讨杀贼逆之心，这正是史书上所的‘赵盾弑其君’的情形。马超虽强，却无视信义，部下矛盾重重，所以打败他并非很困难。”
姜叙的母亲很感慨，敦促姜叙听从杨阜的劝。定下计谋后，又与同乡姜隐、赵昂、尹奉、姚琼、孔信，武都人李俊、王灵等联络结盟，共同讨伐马超。又派从弟谟到冀城告诉杨岳内情，并联络了安定的梁宽，南安的赵衢、庞恭等。
他们盟誓以后，于建安十七年（1）九月，杨阜和姜叙在卤城起兵。马超闻讯后亲自率兵出击。赵衢、庞恭等救出杨岳，关闭冀城大门，抓住马超妻儿，并将他们杀害。马超则袭击历城，抓住姜叙的母亲。姜叙母亲骂道：“你是个背叛父亲的逆子，你是杀害君长的叛贼，天地不容，还不早死，还有什么脸见人！”马超大怒，杀死姜叙母亲。
后杨阜与马超作战，五处受伤，宗族兄弟死了七人。马超失去了根据地，进退狼狈，不得已南逃，投奔张鲁。
陇右平定后，曹操封赏讨伐马超的功臣，封侯者十一人。杨阜为关内侯。杨阜推辞：“我杨阜没有保护好州君性①⑨①⑨①⑨①⑨，≦.co↖，他们死后，我也没有尽节报孝。在道义上我应被罢黜，在法律上我应被诛杀。马超又没被杀死。我实无权再受爵禄。”曹操：“你与君臣共创大功，西部百姓至今挂在嘴边，作为美谈。子贡辞让封赏，孔子认为不妥。你尽心报国可嘉。姜叙的母亲劝姜叙早日起兵，实在是明智之举，杨敞的妻子也不过如此。实在贤能！实在贤能！有良史记录忠义，是不会忘记你们的节义的。”
【再战凉州】
马超退到汉中之后，虽然受到了张鲁的重用，但他仍然希望复仇重新夺取凉州，当时马超的亲族已经基本离去，他的父亲马腾和兄弟们在邺城被曹操所杀，妻子和儿子则在冀城因为部下叛变而丧命。
建安十九年（14）春，马超从张鲁处求兵，北取凉州，还围祁山。姜叙等急向夏侯渊求救，诸将认为应当听从曹操调度，而夏侯渊吸取了冀城沦陷的教训，对部下们到：“主公在邺县，往来反复四千里，路程遥远，等收到曹公指令，姜叙等人必败，故此举不适合救急。”
夏侯渊在商议结束后即刻出兵，他先派张郃率步骑兵五千人为先锋，抄近路由陈仓道进兵，自己则督运粮草随后出发。当张郃兵至渭水时，马超率氐、羌数千前来进攻。但双方未交锋马超不战而退（一马超战败而走），张郃于后收整马超军遗留器械。当夏侯渊军到时，诸县都已投降平定。
据《典略》记载，马超在投靠汉中后，被张鲁重用，任命为五斗米道中地位仅次于他的都讲祭酒，还打算把自己女儿嫁给马超做妻子，但是在部下的劝谏下，张鲁最终放弃。后马超妾董氏的弟弟董种来向马超恭贺新年，马超捶胸吐血而：“家门百口余人，全部被杀害，如今我们两个还有什么好相庆祝的？”
【投奔刘备】
马超投靠张鲁之后，骤得高位，又领兵失利，又是被汉中部分将领所排斥，当时杨白等因为害怕马超的才能，想要加害于他，于是马超辞兵逃入氐中。恰逢刘备此时率兵入川，马超知道张鲁不是干大事业的人，于是写密信给刘备，请求归附，刘备派李恢结好马超，马超遂归降刘备。
【凄凉的马孟起】
渭南之战可以是马超人生的一个转折，在这一战前马超是关中的半个主人，甚至周瑜都曾经计划联合马超对抗曹操。
而这一战后，马超则成为了丧家之犬，相继失去了自己的父亲、兄弟、妻子和子女，几乎沦落为孤家寡人，并且还背负上了叛国，叛父的名声，为万人所唾弃。
马超在战前对于韩遂的那一句：“今超弃父，以将军为父，将军亦当弃子，以超为子。”则成为马超弃父的铁一般的证据。然而马超也不是真的想害死自己的父亲，不要忘了当年可就是韩遂杀死了马腾的妻子和儿子，马家和韩遂关系曾经也是敌对数年的。
只不过在利益的面前，以往的仇恨和血浓于水的亲情也只能让步，为了对抗曹操，马超没有其他的选择，他总不能坐视曹操消灭自己吧。而且马腾能成为卫尉，并不是因为他给国家做出了多大的贡献，当年马腾可是叛变的逆贼首领之一啊，他被朝廷看重穿了就是因为马超手里还有着一只强兵，还占据着不的地盘，没有这些力量之后，他们也未必会有好下场。
所以马超决心一战是没有问题的，只要他们打赢了，证明了自己，那么曹操为了安抚他们，马腾等人反而不会有事的，但马超打输了，曹操觉得马腾没用了，这个时候马腾的命运就已经无法改变了，马腾死的时候也未必会恨自己的儿子马超，或许他在恨自己，当年为什么会听张既的花言巧语入朝啊。