经常劝谏李建成把李世民安排到别的地方去，李世民派人把魏徵带问道：“你为什么要离间我们兄弟？”
魏征回答说：“太子要是按照我说的去做，就没有今日之祸了。”李世民见魏征说话直爽，没有丝毫隐瞒，于是赦免魏征，并用魏征为詹事主簿。
但是魏征那刚正不阿的性格也是让人颇为头疼。
贞观元年（627年），李世民登上帝位，任命魏征为尚书左丞。李世民有志建立盛世，多次于卧榻召见魏征询问得失，魏征直言不讳，前后上谏两百多事，李世民全然接纳。
同年，河北一带原太子李建成、齐王李元吉的旧属因玄武门事件搞的人人自危，李世民派魏徵前往河北进行安抚。路上魏征正好碰见太子千牛李志安、齐王护军李思行被押往京城，魏征让将二人释放，仍旧任命官职，这样河北太子旧属才会相信李世民是真的要赦免他们。
贞观三年（629年），魏征被任命为秘书监，开始参预朝政。魏征上奏李世民带领学者将古籍分为四部，并对其进行校定。
贞观五年（631年），李世民与魏征谈及了选人为官一事，魏徵说先要了解他的才能，然后审核他的品德，以及爱好这些。
长乐公主李丽质因长孙皇后所生，李世民对她特别钟爱，将她许配给长孙无忌之子长孙冲。贞观六年（旧唐书魏征传为贞观五年）开始准备嫁妆，唐李世民对众臣说“长乐公主，皇后所生，朕及皇后并所钟爱。
今将出降，礼数欲有所加”。大臣纷纷表示“陛下所爱，欲少加之”，于是进言请求双倍于永嘉长公主，李世民欣然同意。然而魏征对此表示反对。因为永嘉公主乃是长乐公主的姑姑。此举逾越了礼制。李世民回宫把此事告诉了长孙皇后。
长孙皇后得知此事后感叹魏徵能“引礼义抑人主之情”，并对他大加赞赏。特地派人前去赏赐给魏征绢四百匹、钱四百缗，并传口讯说：“听闻你正直，现在见识到了，希望你一直保持，不要改变”。
在李世民并未有所表示的时候，长孙皇后直接对魏征加以赏赐，并暗示自己会给予支持，可谓给魏征注入了强心剂。也正是因为有长孙皇后这样的靠山，魏征的正义直谏才会这般顺利。不久魏徵晋升爵位为郡公。
贞观七年（633年），魏征代王珪任侍中，尚书高官期积压没有判决的诉讼案，李世民命魏征秉公处理。
魏征不大熟悉法律，但能抓住根本原则，依实际情况处理，大家都心悦诚服。