Старі мешканці Кам’янця-Подільського розповідають, що саме завдяки цій обителі досі стоять стіни славнозвісної кам’янецької фортеці. Це невеличка церква з величезним осередком віри завдяки православним, які віддавали до небес молитви в цьому місці століттями. Тривалий час саме ця церква була в місті єдиною православною, вона старша за решту православних церков Кам’янця-Подільського більш ніж на століття.
Хрестовоздвиженська, або, як вона називалася спочатку, Здвиженська церква, — єдиний збережений у місті старовинний храм з дерева, зведений згідно з найкращими традиціями подільського дерев’яного зодчества. Для вірян — це священне місце, для інших же побачити цю церкву буде цікаво тому, що вона являє собою найоригінальнішу споруду, збудовану без єдиного сталевого цвяха.
За легендою, заснувати православну церкву під стінами кам’янецького замку запропонував гетьман Петро Сайдагачний. Дорогою до Києва, що проходив через Кам’янець-Подільський, поранений під час Хотинської битви 1621 року гетьман, проїжджаючи повз потужні кріпосні стіни замку, подумав про те, що захисна сила замку стане ще міцнішою, якщо підпиратимуть їх не лише потужні скелі, а й віра. Тоді гетьман уявив дерев’яну, легку, як молитва, церкву, яку невдовзі після того й було збудовано під стінами замку.
Розташування церкви не в межах Старого міста, а внизу — під стінами замку, вважається символічним ще з однієї причини — вона була першим оплотом православ’я в місті. Церкву збудували в долині річки Смотрич, що оточує Старе місто, в передмісті міста Карвасари. Щоб у повінь вода її не заливала, зодчі поставили храм на високий кам’яний фундамент. 
Проте не це лихо очікувало на обитель у майбутньому — у середині XVII століття турки, які захопили місто, спалили церкву.
Відновлення Хрестовоздвиженської церкви тривало в 1799-1801 роках, нова будівля була зведена точнісінько такою ж самою, як попередня, наче пожежі й не було. Легка тризрубна церква вийшла незвичайною: квадратні зруби були увінчані шатровим верхом, що надає споруді своєрідності. Поглянувши на цю колоритну церкву, одразу виникає відчуття старовини, давнини, а її спокійний, скромний зовнішній вигляд, оздоблення лише деревом і простий православний хрест, встановлений на куполі, нагадують про часи старовірів і старообрядців.
У 1863 році поруч із церквою із західного боку було зведено дзвіницю. В одноглавій церкві, що мала один вхід через ґанок із північного боку, з’явився ще один — із північної стіни дзвіниці. Відтоді жодних змін в архітектурному ансамблі церкви не проводили — через століття її можна бачити такою, якою вона була на початку-середині XIX століття.
Для багатьох людей відвідування цієї пам’ятки Кам’янця-Подільського відіграє величезну роль. Місце, де стоїть старовинний храм, вважається намоленим, святим.
Для решти ж гостей міста, які бажають побачити найцікавіші помітні пам’ятки України, відвідування Хрестовоздвиженської церкви — можливість доторкнутися до справжньої старовини, розташованої в мальовничій долині річки Смотрич під стінами старовинної Кам’янець-Подільської фортеці.