Дом Моссовета построен Казаковым для московского главнокомандующего графа Захара Чернышева и мало изменивший свой вид, если не считать четырех статуй воинов, стоявших по сторонам входа в дом и исчезнувших еще в тридцатых годах прошлого века.
После Чернышева этот дом стал служить квартирой для московских главнокомандующих и генерал-губернаторов, довольно быстро в общем сменявшие друг друга. Десятым по счету после Чернышева был старый воин граф И. В. Гудович, прославившийся как гонитель очков и троек. Даже в чужих домах, увидав кого-нибудь в очках, он посылал к нему лакея сказать: «Снимите очки, нечего разглядывать так пристально». Приезжавшие в Москву на тройках обыкновенно выпрягали третью лошадь у заставы и подвязывали ее сзади. Тот же Гудович категорически воспретил вошедшее в моду среди молодежи «метание кошельков» на сцену артисткам. Выйдя в отставку перед самым «французом», купил себе дом рядом с генерал-губернаторским (№ 27 и 29). Во дворе этого дома, еще до Гудовича, в 1792 году снимал у кузнеца комнату Карамзин, и здесь была написана им «Бедная Лиза».