陈国忠（任达华饰）是一个事业走到低潮的资深警探，与当地警察都忌惮三分的黑帮老大王宝（洪金宝饰）有多年恩怨。陈国忠即将退休，所以他一直的愿望就是退休之前想要把王宝缉拿归案，这样王宝的下半生就在监狱中渡过。陈国忠和王宝斗了多年却苦于一直找不到有利的证据。终于有一次，一位证人要出庭指正王宝的罪行，陈国忠马上抓住这个机会，怕证人一家遭到伤害，所以和自己的小组开车接送他们出庭作证，但很可惜路上遭遇杀手阿杰（吴京饰）的杀害，除了证人的女儿，证人一家无一幸免。王宝出庭后，因为证据不足，所以被判无罪释放。那次撞车事件后，陈国忠后脑留下了伤痕，经医生检查，患上了晚期的脑瘤，陈国忠并没有放弃，决心要抓捕王宝，却因为自己年龄与身体的问题而不得不能面临退休问题。陈国忠见证人女儿可怜，因撞车事件造成失忆，加上自己一直以来无妻无子，在证人女儿康复后，便决定收养这个这个女儿为干女儿，想一生一世照顾她。4年后，警司见陈国忠即将退休，所以他便让警队便找来了性格桀骜不驯的曾经一拳把一个疑犯打成白痴的马军（甄子丹饰）接替他的职位。当马军加入了重案组后，便发现该小组一直和王宝暗斗，什么事情都不会通知他不把他当做自己人，陈国忠决定让自己的一个手下加入王宝的组织卧底，终于在卧底的帮助下，陈国忠为首的小组成功破获一起贩毒案，小组其他三个成员阿乐，华哥等人为了照顾陈国忠干女儿，所以私自藏住王宝的钱，没有告知陈国忠。
陈国忠小组接到一个案子，一个丛林中发现男尸，遂小组前去查看，不料一经发现，原来是自己之前安排在王宝内部的卧底，被发现后，惨死荒野。陈国忠悲痛万分，认定是王宝所为，派人拘捕他。可是由于无证据。为了令王宝入罪，陈国忠决定制造假证据。整个重案组都知悉这件事，除了刚刚来到的马军一人不了解内情。然而，当证据神秘消失时，马军发觉自己已被卷入这场陈国忠与王宝之间的对决之中。陈国忠小组的华哥意外发现一个傻子拍下了王宝杀死卧底成员的录像证据，经小组秘密研究后，决定先干掉那个最后开枪杀死卧底的王宝手下，马军见事不寻常，所以暗中跟着他们，最终马军还是未能及时赶到加以阻止，在杀手被他们杀死之后，马军认为他们太过毒辣，所以决定教训他们一顿评理，最终陈国忠一番肺腑之言下，马军决定和他们合作，不张扬事情。
源于陈国忠小组一直和王宝作对，加上刚出生的儿子满月当天被拘捕入狱，父亲节那天，王宝决定打电话让手下杀手阿杰出动，在陈国忠三个成员出警局后，一一将他们残忍杀死。马军未能及时赶到救人，所以三个人全部一一丧命，最终在陈国忠手下华哥的死前知道了他们私自藏王宝的钱就是为了帮陈国忠抚养女儿时，马军内心再为所动，最终决定和陈国忠把钱还给王宝。因证据不足，王宝再次被释放，他打电话给陈国忠让他交出钱，这样事情就算了，不在追究，陈国忠没有等马军回来就私自拿一包假钞前去王宝的俱乐部，想来个同归于尽，最终未果，被制服。马军知道后，决定拿着钱前去还给王宝，和王宝来个一对一的了断......
