Клуб «Олимпия» (Литейный пр., д. 14) расположен в особняке княгини Варвары Долгорукой. Это здание, построенное в 40-х годах девятнадцатого века в стиле позднего классицизма по проекту архитектора А. Низовцева, несомненно, является одной из самых красивых жемчужин в роскошном ожерелье петербургских дворцов. Двухэтажный особняк с высоким цокольным этажом, со строгими четко прорисованными линиями и балконом и по сегодняшний день является памятником архитектуры, который по красоте и выразительности образа может поспорить со многими петербургскими достопримечательностями.
В конце сороковых годов XIX века князь Борис Дмитриевич Голицин (внук княгини Натальи Петровны Голициной, прототипа старой графини из «Пиковой Дамы» А.С. Пушкина) купил особняк у семьи Долгоруких. Именно тогда под руководством архитектора Е.И. Ферри де Пиньи был надстроен третий этаж особняка – мансарда.
Особняк на Литейном проспекте несколько раз менял своих хозяев. Им владел министр иностранных дел К.В. Нессельроде, князь И.А. Шаховской, купец первой гильдии А.Д. Иванов. Наследники купца проживали здесь вплоть до революции.
Хозяева особняка всегда были озабочены внешним и внутренним убранством здания. По проекту архитектора А.А. Бравура была построена роскошная парадная лестница. Интерьеры особняка отличались изысканностью и тонким вкусом. Роспись, лепка, дубовые потолки, узорчатые наборные паркеты, плафоны - вся эта уникальная внутренняя отделка сохранялась в особняке более 100 лет. В начале XX века здесь бывал едва ли не весь сановный Петербург. На официальных приемах статского советника Любимова присутствовал даже Российский император Николай II. 
В прекрасных интерьерах дворца устраивались литературные вечера, которые часто посещал знаменитый русский писатель Александр Иванович Куприн.
К сожалению, почти все это было утрачено после революции в процессе переделки особняка под коммунальные квартиры.
В 1992 году, по инициативе и при финансовой поддержке АОЗТ «Тройка-Штальман», начались восстановительные работы. И уже через три года, благодаря мастерству и опыту петербургских реставраторов, архитекторов и строителей, особняк княгини Долгорукой возродился во всем своем великолепии.
В мае 1998 года особняк впервые распахнул свои двери как клуб «Олимпия». На открытии «Олимпии» присутствовал потомок князей Шаховских, бывших владельцев особняка на Литейном. Дмитрий Михайлович Шаховской сегодня проживает с супругой и сыном в Париже. На пресс-конференции по случаю открытия клуба Шаховской сказал: «Я не мог ожидать, что один из наших домов станет таким красивым.»
Отрадно, что сегодня есть люди, которым не безразличны история и художественный облик одного из красивейших городов мира – Санкт-Петербурга. Люди, которые с почтением и любовью сохраняют памятники Северной Столицы, вкладывая в них не только средства, но и глубокое понимание того, что без исторических корней и уважения к прошлому не будет будущего. Важно не только сохранить исторический памятник, но и придать ему новый импульс к дальнейшей жизни и развитию.
Пройдемте по залам возрожденного особняка: по нарядной элегантной белой мраморной лестнице поднимемся на второй этаж, где перед нами распахнут свои двери Малиновая гостиная, Терракотовый, Золотой, Изумрудный, Музыкальный и Дубовый залы, а также Ротонда и Конгресс-холл.
