Здание многократно перестраивалось, причем части, выходящие на Тверскую, до сих пор сохранили в нижних этажах остатки стен двух классицистических домов нач. XIX в., объединенных в единое целое во втор. пол. XIX в. по заказу знаменитого московского пекаря Д. И. Филиппова. После этой перестройки в типичной для эклектики барочной стилистике сооружение приобрело выразительный силуэт с изящными чешуйчатыми куполами на углах (утрачены в результате надстройки 1934 г. ). От этого времени почти полностью сохранились мелкая эклектическая пластика фасадов и весьма своеобразные эркеры ступенчатой формы. Стилистически неоднороден фасадам вход в гостиницу (1911 г. ), выделенный нишей с двумя ионическими колоннами из серого гранита, над которой помещены картуш и рельефная композиция из двух обнаженных женских фигур. Сохранились интерьер вестибюля и частично — отделка залов ресторана и булочной, которая по-прежнему расположена в торговых помещениях первого этажа.

В этом доме в прошлом веке находился магазин знаменитого на всю Россию булочника Ивана Филиппова. За его калачами и сайками на Тверскую ездили не только со всей Москвы, но даже присылали из Зимнего дворца для стола императора. Жившим по соседству московским генерал-губернаторам подавали горячий филипповский хлеб прямо к утреннему чаю. По его рецептам пробовали печь в Петербурге, но не выходило так, как получалось в Москве: «Вода невская не годится!» — открывал секрет Филиппов и уезжал обратно на Тверскую. Когда он умер, поэт Шумахер написал едкую и на первый взгляд странную эпитафию:

Вчера угас еще один из типов
Москве весьма известных и знакомых
Тьмутараканский князь Иван Филиппов.
И в трауре оставил насекомых.

На самом деле здесь скрыт довольно прозрачный намек на известную историю с тараканом, нечаянно запеченным в сайке, которая оказалась на столе генерал-губернатора А. А. Закревского. Он славился своей неукротимой вспыльчивостью и жестокостью — нетрудно представить себе его реакцию, когда он увидел в сайке таракана. Разгневанный губернатор немедленно вызвал к себе Филиппова и и в ярости указал ему на несчастное насекомое: «Это что?!» Перепутанный булочник все же не растерялся: «Изюм!» Такой ответ еще больше рассердил Закревского: «Какой изюм, дурак?! Разве бывают сайки с изюмом?!» Филиппов молча взял кусочек сайки с тараканом и с преспокойным видом проглотил его. Вернувшись в пекарню, он на глазах у изумленных хлебопеков немедленно вывалил лоток с изюмом в саечное тесто, и через час новинка оказалась на столе у Закревского. Так и появились в Москве знаменитые филипповские сайки с изюмом.

Его сын Д. И. Филиппов от традиций отца отступил и обратился от простой публики к богатой и с изысканными вкусами. Рядом с магазином он устроил шикарную кофейню с зеркальными окнами, мраморными столиками: ее интерьер отделывали художник П. П. Кончаловский и скульптор С. Т. Коненков. Посетителей встречали лакеи в смокингах, хотя старый Филиппов не пустил бы их на порог Завсегдатаями кофейни стали аферисты, комиссионеры, агенты игорных домов, которые устраивали здесь нечто вроде сходок, и… сыщики, которые следили за своими «подопечными» или отлавливали их. Но, конечно, филипповская кофейня не стала «злачным местом» Москвы — приходили сюда и обыкновенные посетители.