Naser ol-Dowleh, el gobernante de Kerman y Baluchistán durante la era Qajar, ordenó la construcción de una fortaleza militar en Iranshahr e inmortalizó su nombre en ella. Con el acuerdo de Nasereddin Shah Qajar con la propuesta de Naser ol-Dowleh de construir un castillo en Iranshahr, en 1264 SH, se llamó al "Maestro Hossein Memarbashi" de Kerman a Iranshahr para comenzar la construcción de este castillo. La construcción del fuerte llevó siete años y luego se conviertió en la sede del gobierno de Baluchistán.
Este castillo, que se conoció como el castillo de "Doost Mohammad Khan" al final del gobierno de Qajar, una vez más se convirtió en la sede del gobierno. Con el ascenso de Reza Khan y el establecimiento del gobierno central, los soldados de Reza Khan bajo el mando del comandante general "Amanollah Jahanbani" atacó a Baluchistán y capturó este castillo.
Con el establecimiento del régimen de Pahlavi e incluso durante el reinado de Mohammad Reza Shah, este castillo se utilizó como cuartel militar y más tarde como escuela. Después de la revolución islámica, el fuerte fue abandonado por un tiempo y poco a poco fue cayendo en ruinas, lamentablemente en el año 1361 SH, gran parte del edificio fue destruido y solo quedó su puerta y valla. Aunque de la arquitectura interior no queda nada, aún se conservan los ladrillos decorativos del portón de entrada y las torres laterales a ambos lados del portón.
El maestro Hossein Memarbashi utilizó arcilla, barro y ladrillos para construir el castillo. Cabe mencionar que para la construcción del Castillo Naseri se consideró un terreno de siete mil quinientos metros.
En la construcción del Castillo Naseri, se consideraron más de 150 habitaciones, incluido el granero, el depósito, el establo, el baño, los cuarteles y la habitación del gobernante. Asimismo, para la decoración de la estructura del castillo se utilizaron diseños geométricos y rombos en la parte superior, y se ejecutaron con maestría decoraciones de ladrillo en el frente de la torre. Como resultado, el castillo Naseri evoca la forma de la ciudadela de Bam en la mente de los turistas.
Después del castillo de Bampour, el castillo de Naseri se considera la ciudadela más importante de la región y ahora alberga a turistas en la ciudad de Iranshahr en Sistán y en la provincia de Baluchistán.