مدائن، یکی از شهرهای سرسبز و خرم پایتخت ساسانیان در ایران بود که به دست مسلمانان فتح شد. خلیفه دوم، با مشورت حضرت علی(علیه السلام) سلمان را پس از “حذیقه بن یمان” حاکم مدائن قرار داد. شاید دلیل این انتخاب، هم زبانی سلمان با مردم این شهر بود و مردم پارسی زبان آنجا، با یک حاکم ایرانی الاصل بهتر می ‌توانستند کار کنند و نام سلمان برای ایرانیان، تا اندازه‌ای آشنا بود. وقتی خبر یافتند که سلمان به حکمرانی مدائن منصوب شده و قرار است به آن دیار بیایند، برای استقبال از والی جدید در بیرون شهر تجمع کردند. ناگهان پیرمردی را دیدند که تنها بر مرکبی سوار است و بسوی آنان می ‌آید، مردم چون او را نمی ‌شناختند پرسیدند آیا صحابی پیامبر(صلی الله علیه و آله ) و امیر و حاکم جدید مدائن را در راه ندیدی؟ او گفت: امیر و حاکم را ندیدم اما اگر سلمان را می‌ خواهید من هستم. اینچنین ساده و بی ‌آلایش وارد شهر شد و حکومت مدائن را به دست گرفت و بر دلها حکومت کرد.

زندگی ساده و مردمی سلمان، انتقادی غیرمستقیم به کسانی بود که در حکومت به دنبال سود شخصی بودند

سلمان در ایام حکومت خود، بیت‌المال را صرف مردم می ‌کرد و حتی حقوق شخصی خویش را نیز به نفع جامعه و نیازمندان خرج می ‌کرد. زندگی ساده و روش مردمی سلمان، بر محبوبیت او می ‌افزود و این‌ گونه رفتار، طبیعتاً انتقادی غیر مستقیم از شیوه کسانی بود که در حکومت، به سود شخصی می ‌اندیشیدند و در سایه امکانات به دست آمده از بیت‌المال، به وضع خود سر و سامان بخشیده و زندگی راحتی برای خود فراهم می ‌کردند.

سلمان در ایام حاکمیت، هرگز به واسطه قدرت و ریاست از مسیر تواضع و حق ‌گرایی دور نشد و فراموش نمی ‌کرد که همیشه عبد و بنده خداست.