این مسجد از جمله پنج مسجد بزرگ و تاریخی ایران است که در نخستین سده‌های پس از ورود اسلام به کشور ساخته شدند. همچنین مسجد جامع قزوین یکی از نخستین نمونه‌های مساجد چهارایوانی ایران محسوب می‌شود.

 گنبد باشکوه، مناره‌های مزین به کاشی‌کاری، صحن‌های وسیع و کتیبه‌های تاریخی، از مهم‌ترین جلوه‌های معماری این مجموعه هستند و آن را به نمونه‌ای برجسته از هنر معماری ایرانی ـ اسلامی تبدیل کرده‌اند. این اثر در دی‌ماه سال ۱۳۱۰ در فهرست آثار ملی ایران به ثبت رسید.

معماری مسجد جامع قزوین حاصل تلفیق هنر و شیوه‌های ساختمانی دوره‌های مختلف، از عصر عباسیان تا دوران قاجار است. قدیمی‌ترین بخش‌های بنا به سده دوم هجری قمری بازمی‌گردد و در طول تاریخ، هر حکومت بخشی به آن افزوده یا آن را مرمت کرده است.

بر پایه برخی روایت‌های تاریخی، پیش از ساخت مسجد، در محل کنونی آن آتشکده‌ای متعلق به دوره ساسانی قرار داشته است. پس از گسترش اسلام در قزوین و استقرار مسلمانان در این منطقه، این مکان تغییر کاربری یافت و مسجدی بر روی بقایای بنای پیشین احداث شد.

 مشهور است که این اقدام به دستور هارون‌الرشید انجام گرفت. برخی منابع نیز از مشارکت قاضی ابوالحسن محمد بن یحیی بن زکریا و ابوالعباس بن سریح در ساخت مسجد یاد کرده‌اند و بخش نخستین بنا را با عنوان «طاق هارونی» معرفی می‌کنند.