1958年6月12日第一機械工業(yè)部以（58）機技張字第188文批準成立“磨料磨具與磨削研究所籌備處”在北京開展籌備工作。1958年10月4日，部以（58）機二汪字第511號文批準所址設(shè)在鄭州砂輪廠內(nèi)，并將鄭州砂輪廠的中央實驗室及設(shè)備儀器劃歸該所，將原設(shè)計配備的人員一并調(diào)入，辦公、居住用房由鄭州砂輪廠負責解決。據(jù)此，磨料磨具與磨削研究所籌備處于1958年11月5日遷鄭州；1962年2月21日，一機部以（62）二局辦字163號文批準取消籌備處，改名為“第一機械工業(yè)部磨料磨具磨削研究所。
　　
　　1971年第一機械工業(yè)部以（71）一機技字第485號文，將該所下放河南省，所名改為鄭州磨料磨具磨削研究所。1978年第一機械工業(yè)部以（78）一機技字第472號文批準該所恢復以部為主的雙重領(lǐng)導，所名改為第一機械工業(yè)部鄭州磨料磨具磨削研究所。盡管下放期間停撥事業(yè)經(jīng)費，但由于該所人造金剛石工業(yè)規(guī)模生產(chǎn)成功，這段時間是該所經(jīng)濟效益最好的時期，期間該所基本形成了獨立的科研生產(chǎn)區(qū)和生活區(qū)。
　　
　　自1980年以來，鄭州磨料磨具磨削研究所隨著國家體制改革的深入，其主管部門多次更改，先后隸屬于國家機械工業(yè)委員會、機械電子工業(yè)部、機械工業(yè)部、國家機械工業(yè)局。
　　
　　1999年4月12日，國家科學技術(shù)部等12個部委以國科發(fā)政字（1999）143號文，關(guān)于印發(fā)《關(guān)于印發(fā)國家經(jīng)貿(mào)委管理的10個國家局所屬科研機構(gòu)轉(zhuǎn)制方案的通知》，鄭州磨料磨具磨削研究所進入中國機械裝備集團。