Храм на этом месте известен с 1613 года. В конце 1680-х гг. (по другим источникам в 1691г.) был выстроен и освящен ныне существующий храм. Прекрасный памятник московского (нарышкинского) барокко – ярусный храм "под колоколы"(с колокольней над сводом храма).

В разные годы усадьбой владели Романовы, Нарышкины, Разумовские, с 1799 г. - Шереметевы, откуда храм и получил свое устоявшееся название. Храм числился домовым, с 1722 г. приходским.

Церковь Знамения иконы Божией Матери на Шереметевом дворе находится близ Воздвиженки в Романовом переулке
(ранее ул. Шереметьевской, в советское время ул. Грановского). Переулок назван так по находившемуся здесь в старину владению бояр Романовых, где и была выстроена первоначально их домовая Знаменская церковь.

Церковь Знамения Пресвятой Богородицы - при доме графа Шереметьева.Церковь стала свидетельницей и участницей многих исторических событий. Здесь молились патриархи, великие князья, представители древнейших родов России.

Когда-то на этом месте стоял опричный дом царя Ивана Грозного, церковь известна с 1613 года, а первый Знаменский храм здесь поставил в 1625 году Иван Никитич Романов, брат патриарха Филарета и дядя царя Михаила Федоровича, на пожалованном ему племянником имении. Икона Знамения считалась покровительницей дома Романовых, поскольку она была главной иконой Новгорода, откуда вышел род Романовых, а в день Знаменской иконы в 1612 году все пределы России были избавлены от врагов. Под грамотой об избрании Михаила Романова на царство две печати из трех были с изображением иконы Знамения.

По смерти сына Ивана Романова Никиты Ивановича (двоюродного брата царя Михаила), который не оставил потомства, двор с церковью стал в 1656 году «государевым», и царь Алексей временно разместил здесь дворцовые службы Оружейной палаты, в том числе и иконописные.

В 1671 году царь Алексей Михайлович пожаловал этот двор с церковью своему тестю Кириллу Полуэктовичу Нарышкину, отцу царицы Натальи Кирилловны. Ее брат Лев Кириллович, дядя Петра I , прославился, в частности, тем, что способствовал развитию великолепного архитектурного стиля – «нарышкинского» или «московского» барокко. По мнению искусствоведов родоначальницей этого стиля была как раз церковь Знамения, построенная Нарышкиным на своем дворе на месте более древнего храма. Помимо Престола иконы Божьей Матери «Знамение» в церкви есть престолы Преподобных Сергия Радонежского и Варлаама Хутынского.

Последней владелицей дома и церкви из рода Нарышкиных стала в 1738 году Екатерина Ивановна Нарышкина, вышедшая замуж за любимца императрицы Елизаветы графа Кирилла Григорьевича Разумовского. После смерти жены граф Разумовский, ставший президентом Академии Наук, а позднее и Гетманом Малороссии, построил близ церкви настоящий дворец (дом № 6 по Воздвиженке). Знаменскую же – домовую - церковь «с главами и звоном» соединял с новыми покоями крытый переход, и она поддерживалась в прекрасном состоянии.

К концу жизни, приблизительно в 1800 году, Разумовский продал владение на Воздвиженке шурину своего сына, графу Николаю Шереметеву, отчего оно получило название «Шереметев двор». В 1812 году церковь Знамения сгорела, но впоследствии была восстановлена, и 21 сентября 1847 года ее заново освятил митрополит московский Филарет (Дроздов). В конце XIX века, дворец перешел к Московской Городской Думе. Храм в это время имел приходской статус.

В 1929 г. храм был закрыт, трапезная была сломана, стесаны белокаменные украшения нижнего яруса. В подклете разместилась хозяйственная часть. Здание церкви было перепланировано внутри и разгорожено на несколько этажей. В течении многих лет здесь располагалась больничная кухня, столовая и различные административные помещения. Фасады здания эпизодически реставрировались в 1950-х и 1970-х гг.

Внутренний двор бывшего дворца Разумовских-Шереметевых и церковь Знамения скрывают стены мрачного серого здания (дом № 6) по Воздвиженке, построеного в 1930 году для Центральной Кремлевской больницы, и хотя теперь она располагается в другом месте, один из ее корпусов и поныне находится в Романовом переулке, а войти в церковь можно только через проходную больницы. Этот корпус, храм и бывший Шереметевский дворец находятся в ведении Медицинского Центра Управления Делами Президента РФ. 

Храм был недоступен для обозрения и посещения верующими, 
до последнего времени . Полная реставрация памятника архитектуры XVII столетия, воссоздание его интерьеров требуют значительных материальных ресурсов.

Боковой фасад храма «Знамения». Проект реставрации.

В 2004 году спустя ровно 75 лет после закрытия, состоялся первый молебен и теперь в храме регулярно совершаются богослужения по воскресным и праздничным дням. 
В 2007 году завершены основные реставрационные работы по восстановлению внешнего облика храма.

В 2010 году на праздник Покрова Божией Матери храм обрел голос: восстановлены и подняты на колокольню 10 колоколов. В настоящее время близятся к завершению работы по капитальному ремонту Дома причта, переданному храму в аварийном состоянии. Однако много сил и средств ещё предстоит вложить в воссоздание внутреннего убранства храма, В первую очередь, это восстановление утраченного уникального барочного резного позолоченного иконостаса XVII века, написание храмовых икон, восстановление внутренних росписей стен храма.