غزلی از حافظ وجود دارد که می‌‌گویند آن را در یزد و یا دست کم در وصف یزد گفته است. غزلی که با مصرع «خرم آن روز کزین منزل ویران بروم» آغاز می‌‌شود. برخی معتقدند که مراد خواجه از منزل ویران شهر یزد بوده است. البته این نظریه تنها نظریه موجود نیست و افراد مختلف تعابیر مختلفی از این شعر حافظ داشته‌‌اند. اما معمول‌‌ترین نظر آن است که در مصرع «دلم از وحشت زندان سکندر بگرفت» منظور از زندان اسکندر، یزد و در مصرع «رخت بر بندم و تا ملک سلیمان بروم» منظور فارس است. گفته‌‌اند که ملک سلیمان همان قصر ابونصر شیراز است (و یا تخت جمشید و یا مقبره کورش با نام محلی بقعه مادر سلیمان) و زندان اسکندر همان مدرسه ضیائیه یزد.

داستان از آنجایی شروع میشود که حافظ در کودکی و نوجوانی در شیراز در مکتب و مسجد جامع عتیق به تحصیل علوم دینی پرداخت و در آنجا با افراد مختلفی از جمله علی شیرازی که ریاکار و مدعی و رقیب او بود، آشنا شد. حافظ به شخصیت‌های عمیق و واقعی علاقهمند بود و از وعاظ متظاهر دوری می‌کرد. همچنین با عارف وارسته‌ای به نام پیر گلرنگ در مسجد ارتباط داشت که بسیار مورد احترام بود.

در دورهای، علی شیرازی که مقام مدرسه را داشت، با پیر گلرنگ دشمنی کرد و مریدان زیادی داشت. حافظ بارها با علی شیرازی بحث کرد و او را با زبان شعر نقد نمود که این باعث دشمنی‌هایی علیه حافظ شد. دوران شاه شجاع که مردی شاعر و ادب‌دوست بود، حافظ در دربار او جایگاهی یافت ولی به دلیل زندگی عیاشانه شاه و مخالفت عالمان مذهبی با او و دوستانش، مشکلاتی به وجود آمد. در نهایت چون بسیاری از روحانیون و علماء علیه شاه شجاع قیام کردند و به دلیل فشارها، حافظ به یزد تبعید شد. این تبعید حدود سالهای ۷۷۰ تا ۷۷۲ هجری قمری بود.

در یزد، حافظ در خانقاه شیخ محمد دادا، عارف معروف زمان خود، زندگی میکرد و به دلیل شرایط سخت و دوری از دربار شیراز، روزگار سختی داشت. با وجود این، حافظ به امید بازگشت به شیراز و دیدار با شاه شجاع و همچنین شاه یحیی حاکم یزد، به شعر و دعا می‌پرداخت و دل به آینده خوش داشت. در یزد، حافظ با مشکلات اجتماعی و سیاسی شهر آشنا شد و گلایه‌هایی درباره تنهایی، غم غربت و کمبود حمایت داشت. همچنین در یزد با محلات مختلف از جمله محله تازیان (اهالی عرب) و محله پارسیان (زرتشتیان) آشنا بود و از روابط و تنش‌های میان آنها خبر داشت. حافظ پس از مدتی موفق شد با حمایت شاه یحیی و وزیر توران‌شاه، بار دیگر به شیراز بازگردد ولی دوران تبعید و تجربه‌های تلخ آن، اثر عمیقی بر اشعار و دیدگاه‌هایش گذاشت و این بیت معروف مربوط به این داستان می‌باشد.