سپاه اسلام برای رفتن به خراسان از راه بیابانهای گرم و خشک گذشت، اما در این مسیر ناپدید شدند. پس از چندی، سر از روستای فهرج درآوردند؛ جایی که اهالیاش هنوز در دین و فرهنگ خود ریشه داشتند و از ورود غریبهها دل خوشی نداشتند. سپاهیان، با نیت دعوت مردم به دین اسلام، به در خانهها آمدند و از آنان خواستند تا دین جدید را بپذیرند. اما مردمان فهرج زمان خواستند، تا با اهالی روستاهای اطراف مشورت کنند.
اهالی این روستاها، چون میدانستند سپاه اسلام در راه سخت و خسته است، تصمیم گرفتند شبیخون بزنند. در شب تاریک و بیصدا، به سوی سپاهیان هجوم آوردند و جنگی بیرحمانه رخ داد. سپاه اسلام را به خاک و خون کشیدند و پیکرهایشان را در نزدیکی فهرج به خاک سپردند.مردم محلی داستانهایی دیگر نیز درباره روستا نقل میکنند؛ از جمله اینکه در ابتدا به سمت قبله بیتالمقدس نماز میخواندند و پس از مدتی، آنها جهت قبله را به سمت مکه تغییر دادند. مسجدی که هنوز در روستا هست، شاهد این تغییر است.
برخی از مردم نیز بر این باورند که فهرج یکی از نخستین و تنها مناطق یهودینشین یزد بوده است، اما این گفتهها مستندات کافی ندارد. زیرا روستاهای دیگری چون مهریز و میبد نیز مناطق یهودینشین داشتهاند و به علاوه، در آن زمان به دلیل نبود ابزار دقیق، جهت قبله در مساجد کمی منحرف تعیین میشد که نمیتوان به آن سندیت کامل داد