بُرازجان دشتی وسیع است که در جنوب ایران، در70 کیلومتری شمال بوشهر و مرکز شهرستان دشتستان گسترده شده است. این منطقه حد فاصل بین بوشهر و شیراز بوده و از قدیم‌الایام راهی که این دو شهر بزرگ را به هم وصل میکرد از بزارجان می‌گذشته و به «راه شاهی» معروف بود. همین امر برازجان را شهری بزرگ و آباد کرد با تاریخی طولانی و آثاری چون کاخ‌های بَردَک سیاه، سنگ سیاه و چرخاب که کاخ زمستانی کورش بوده و شامل ته ستون‌ها و برخی اشیاء به دست آمده است. هم‌چنین بقایای «تل خندق» که به زمان سلوکی می‌رسد را می‌توان در این شهر دید.
همین راه کاروان‌رو و مسیرِ شاهی در برازجان، کاروانسراهایی را می‌طلبید بزرگ و آباد تا محل استراحت و اتراق کاروانداران و مسافران و در راه ماندگان باشد. حاج میرزا ابوالحسن خان مشیرالملک از بزرگان منطقه و حاکم فارس در سال ۱۲۸۸ قمری مطابق با سال ۱۲۵۰ شمسی دستور ساخت کاروانسرایی با مساحتی حدود ۷۰۰۰ و زیربنایی معادل ۴۲۰۰ مترمربع را داد. از این‌رو این کاروانسرا به کاروانسرای مشیرالملک معروف شد. معمار این بنا حاج محمد رحیم شیرازی است، وی علاوه بر این کاروانسرا، پل مشیر و کاروانسرای دالکی را نیز ساخت.
این کاروانسرای مستطیل شکل، دارای 4 برج با ارتفاع بیش از 12 متر است. از آن‌جایی‌که کاروانسراها را در طول جاده و راهها می‌ساختند احتیاج به امنیت و مراقبت داشت و این 4 برج دقیقا کار دیده‌بانی و امنیت مردم و مسافران داخل کاروانسرا را به عهده داشت. بیشتر مصالح به کار رفته در این بنا از سنگ و ساروج است که باعث استحکام بیشتر این بنا نسبت به کاروانسراهای دیگر است.
علاوه بر بام کاروانسرا که از سنگ پوشیده شده نمای ورودی در داخل و خارج، سنگِ حجاری شده زردرنگ است. ورودی این بنا که در ضلع جنوب غربی قرار دارد شامل سه طبقه می‌شود و در سایر قسمت‌ها، بنا دو طبقه است که هر طبقه دو شاه نشین دارد. کاروانسرای مشیرالملک دارای دو حیاط کوچک و بزرگ در ورودی است و مجموعا 68 اتاق و حجره دارد که در طول دوره‌های مختلف این تعداد کم و زیاد شده است.
این بنای قاجاری در مرکز شهر برازجان، کنار میدان اصلی شهر قرار دارد، ساختمانی است به علت سنگهای به کار رفته در آن سال‌ها پابرجا بوده و دارای تاریخی پر فراز و نشیب است. این مجموعه تنها 50 سال کارکرد اصلی خود که همان کاروانسرا بوده را حفظ کرد و از سال 1330 تا حدود 35 سال گاهی از مراکز ادارات دولتی گاهی محل استقرار نظامیان بود. زمان پهلوی دوم با تغییراتی که در بنا انجام دادند آنرا تبدیل به زندان کردند. به علت آب و هواب گرم و مرطوبی که این منطقه داشته، این زندان میتوانست محلی مخوف برای مخالفان سیاسی باشد. از این جهت از سال 1336 این کاروانسرا نامش به «دژ» تغییر پیدا کرد. دژ برازجان هر چند در سال 1362 به ثبت آثار ملی رسید اما همچنان در دست شهربانی بود. با پیگیری‌های اداره میراث فرهنگی جهت استفاده فرهنگی از بنا، سرانجام در سال 1377 شهربانی را مجاب به تخلیه آن کرد. بعد از تخلیه، تعمیرات و تغییراتی در آن انجام شد و دیوارهای فرو ریخته مرمت و درش به روی بازدیدکنندگان و گردشگران باز شد.