1960年，南非警察在沙佩维尔屠杀手无寸铁的非洲人和禁止非国大活动。曼德拉放弃非暴力立场，转而主张采取怠工行动反对南非政权。翌年6月，曼德拉创建非国大军事组织“民族之矛”，自任总司令。1962年8月，曼德拉被捕入狱，当局以政治煽动和非法越境罪判处他5年监禁。1963年，狱中的曼德拉因怠工、叛国、暴力阴谋等罪名在里沃尼亚审判中受审，第二年又被改判为无期徒刑，从此开始了长达27个春秋的铁窗生涯。他在狱中受尽迫害和折磨，但坚贞不屈。
曼德拉像
作为反对种族隔离斗争的代表人物，曼德拉为非洲大陆带来了实现民主的希望。
1990年2月，南非当局迫于内外舆论的压力，宣布无条件释放曼德拉。不久，他被非国大全国执委任命为副主席，又于1991年7月当选为主席。同年，曼德拉被联合国教科文组织授予“乌弗埃-博瓦尼争取和平奖”。1993年10月，诺贝尔和平委员会为表彰他为废除南非种族歧视政策所做出的贡献，授予他诺贝尔和平奖。同年他还与当时的南非总统德克勒克一起被授予美国费城自由勋章。1994年4月，非国大在南非首次不分种族的大选中胜出，曼德拉成为南非有史以来的第一位黑人总统。1997年12月，曼德拉辞去非国大主席的职务，并表示不再参加1999年的总统竞选。1998年9月，曼德拉获美国“国会金奖”，成为第一个获得美国这一最高奖项的非洲人。他于1999年6月正式去职。