امیرالمومنین علی (علیه السلام) در سال ۴۰ قمری به شهادت رسیدند. مدفن ایشان تا پایان دوره امویان مخفی بود تا از تخریب به دست بنی‌امیه و خوارج در امان بماند. بعد از روی کار آمدن بنی‌عباس، قبر امیرالمومنین علی (علیه السلام) توسط امام صادق (علیه السلام) آشکار شد. داود بن علی عباسی (درگذشته ۱۳۳ق) اولین کسی است که صندوقی بر قبر امیرالمومنین علی (علیه السلام) نصب کرد. وقتی حکومت عباسیان تثبیت شد و شیعیان از اهانت آنان به قبر امام (علیه السلام) نگران شدند، از زیارت آن خودداری کردند. این موضوع موجب شد تا باز مکان قبر مخفی بماند. در زمان هارون الرشید، در اثر کرامتی که از مرقد امیرالمومنین علی (علیه السلام) آشکار شد، مکان آن دوباره مشخص شد. هارون، بین سال‌های ۱۷۰ تا ۱۷۵ق، به این مرقد احترام گذاشت و آن را بازسازی و برای آن گنبدی ساخت که چهار در داشت. در سال ۲۸۰ق، محمد بن زید الداعی، از حاکمان علوی طبرستان، برای قبر امیرالمومنین علی (علیه السلام) گنبد، دیوار و صحن ساخت؛ زیرا ساختمان دوران هارون الرشید توسط متوکل عباسی خراب شده بود. در سال ۳۶۹ق، عضدالدوله دیلمی، از سلاطین آل‌بویه، ساختمان حرم را از نو بنیان نهاد. در سال ۷۵۵ق، عمارت عضدالدوله در حادثه آتش‌سوزی خراب شد؛ به همین دلیل در سال ۷۶۰ق ایلخانان مغول بنای جدیدی برای آن ایجاد کردند. در دوره صفویه، شاه عباس اول، عمارت ایلخانان را اصلاح و روضه و گنبد و صحن حرم را تعمیر کرد. حرم علوی در دوره شاه صفی، جانشین شاه عباس اول، دوباره تعمیر شد؛ زیرا در اثر گذشت روزگار شکاف‌هایی در گنبد به وجود آمده بود و صحن حرم تنگ شده بود. در سال ۱۳۱۵ق، سلطان عبدالحمید عثمانی اصلاحاتی در حرم علوی (علیه السلام) ایجاد کرد. دولت‌های افشاریه و قاجاریه نیز چندین بار اصلاحاتی در حرم ایجاد کردند. بعد از تجزیه عثمانی و تشکیل کشور جدید عراق، بیشتر تعمیرات حرم علوی (علیه السلام) توسط ثروتمندان مؤمن صورت گرفته است.