Часовня расположена на территории бывшего кладбища Покровского мужского монастыря. Здесь же находился Благовещенский собор. На кладбище был похоронен отец Ленина, Илья Николаевич Ульянов, что предопределило судьбу монастырского погоста. Кладбище снесли и разбили на его месте сквер, оставив единственное захоронение – могилу отца мирового пролетариата.
Когда расчищали старое кладбище, разрушили и часовню Андрея Блаженного, которая оказалась на территории сквера. Возводили ее в честь блаженного Андрея Симбирского – юродивого, память о котором чтили горожане. Впрочем, в 1994 году скромное здание со стенами нежно-желтого цвета вновь появилось в сквере Ильи Ульянова.