افسانه پیر سبز (چک‌چک) یکی از غم‌انگیزترین و در عین حال حماسی‌ترین داستان‌های عامیانه یزد است که ریشه در تاریخ سقوط ساسانیان دارد. این داستان که دهان به دهان چرخیده، دلیل تقدس این کوه و علت نام‌گذاری آن را توضیح می‌دهد:

پس از سقوط مدائن و شکست یزدگرد سوم (آخرین پادشاه ساسانی)، خانواده او برای در امان ماندن از اسارت، به سمت مرکز ایران و کوه‌های کویری یزد متواری شدند. «نیک‌بانو» (که برخی او را حیات‌بانو نیز نامیده‌اند)، یکی از دختران یزدگرد، در حالی که توسط سپاهیان دشمن تعقیب می‌شد، به سمت کوه‌های خشک و صخره‌ای اردکان گریخت. روایت بر این است که نیک‌بانو خسته، تشنه و ناامید به دامنه کوهی بلند می‌رسد. او در حالی که سپاه دشمن را در نزدیکی خود می‌بیند، با قلبی شکسته به درگاه اهورامزدا ناله و زاری می‌کند و از کوه می‌خواهد که او را مانند مادری در آغوش بگیرد و از ننگ اسارت برهاند. در همین لحظه، به اذن پروردگار، شکافی در دل صخره ایجاد شده و نیک‌بانو در آن غایب می‌شود. می‌گویند تکه‌ای از لباس او لای درز سنگ باقی می‌ماند که بعدها به سنگ تبدیل می‌شود.

افسانه چک‌چک دو نماد اصلی دارد که زائران به آن باور قلبی دارند:

۱. اشک‌های کوه: آن قطرات آبی که به صورت مداوم از سقف سنگی زیارتگاه به زمین می‌چکد، در باور مردم، اشک‌های چشمان کوه (یا خودِ نیک‌بانو) است که برای تنهایی، غربت و سقوط شکوه ایران می‌گرید. نام «چک‌چک» هم از صدای همین گریه‌های بی‌پایان گرفته شده است.

۲. درخت چنار کهنسال: در داخل زیارتگاه، درخت چنار بسیار قدیمی و بزرگی وجود دارد که گویی از دل سنگ سخت روییده است. افسانه می‌گوید وقتی نیک‌بانو به کوه پناه برد، عصای خود را به زمین کوبید تا تکیه‌گاهی داشته باشد؛ آن عصا در اثر برکت وجود او سبز شد و به این درخت تنومند تبدیل گشت که امروزه سقف زیارتگاه را شکافته و به سمت آسمان رفته است.

سال‌ها پس از این واقعه، چوپانی که گله‌اش را در این بیابان گم کرده بود و از شدت تشنگی در حال مرگ بود، در خواب بانویی را می‌بیند که به او می‌گوید به این کوه بیاید و از قطرات آب آن بنوشد. چوپان پس از بیداری، راه کوه را پیدا می‌کند، سیراب می‌شود و گله‌اش را هم می‌یابد. او به شکرانه این معجزه، با کمک زرتشتیان نخستین بنای زیارتگاه را در آن نقطه می‌سازد.