1960年5月，征地60余亩的上街区新建中学开建设，校址在济源路，9月建成，招收4个班共200名初中生，12月根据河南省教育厅《关于校名编排意见》，上街区新建中学更名为郑州市第四十一中学，此校名沿用了40年，郑州二外至今还被人们习惯地称为四十一中。后来，校区被各单位不断蚕食，缩小为今天的济源路老校区。
1976年后，随着郑州五十六中建成招收初中生，郑州四十一中学逐步改为高中。1984年，郑州四十一中增设职高班。1994年后，上街区政府进一步调整办学思路，1995年，郑州四十一中停止职高招生，恢复初中招生，初、高中并行办学，成为一所完全中学。
2000年底，经原郑州市教委、上街区政府批准同意，郑州四十一中改建为郑州市第二外国语学校，学校定位为外语特色完全中学。2001年5月12日，郑州市第二外国语学校举行了隆重的揭牌仪式，南海翔任校长。
2006年12月，上街区政府宣布开工建设上街区寄宿制中学，选址新安路东段，占地65亩，总投资6000万元，建筑面积约32000平方米。
2007年8月初，上街区寄宿制中学主体工程竣工，区政府正式宣布对郑州市第二外国语学校实施初、高中彻底分离，把郑州二外初中部析出，成立郑州市第二外国语中学，为单设初中，在郑州二外原济源路校区办学；原郑州二外领导成员和高中部师生员工整体搬迁到新建成的寄宿制中学校区。
2007年10月底，南海翔校长率领新的郑州二外高中实现了整体搬迁。
2008年7月底，原郑州100中学校长王宝钧调任郑州市第二外国语学校校长。
新校区教学设施先进，为上街区条件的学校。在区政府的支持下，未来的郑州二外新校区将建设成为精品花园学校。
2002年，郑州二外荣获郑州市高中教育教学先进单位，此后连续6年获此殊荣。2007年5月，经专家组考察，郑州二外被郑州市人民政府教育督导团认定为郑州市示范性高中，成为上街区所市级示范性高中。
