В 1845 году, будучи уже 5 лет в браке, королева Виктория и принц Альберт приметили для себя дом с роскошным видом на море, напоминающим Неаполитанский залив. Супругам давно хотелось иметь более спокойный и уединенный уголок для отдыха, тем более морской воздух и купания так благотворно сказывался на здоровье их многочисленных детей и их самих. Постройку было решено снести и отстроить дом побольше. Лондонский архитектор Томас Кубит (Thomas Cubitt) в течение 6 лет возвёл прекрасный дом и сад в стиле итальянского палаццо, при этом сам принц Альберт принимал участие в планировке.
“I long for our cheerful and un-palace-like rooms at Osborne / Я скучаю по нашим веселым и не похожим на дворцовые комнаты в Осборне” — писала Виктории дочери из хмурого Виндзорского замка. Глядя на фотографии сложно сказать про непохожесть комнат на дворец, но скорее королева имела в виду особую атмосферу этого места — здесь дети могли посещать апартаменты её и Альберта, не чувствуя себя посторонними. Там Виктория могла расслабиться, не стесненная обязанностями в Лондоне, и проводить время со своей семьей.
Смерть принца Альберта в декабре 1861 году глубоко потрясла Викторию. Она стала проводить в Осборн-хаусе все больше и больше времени чтобы чувствовать себя ближе к умершему мужу. Говорят, что она даже проводила там спиритические сеансы, чтобы попытаться связаться с ним из загробного мира. Также она давала распоряжения слугам раскладывать одежду в его покоях и давать горячую воду для купания, как будто он все еще был там. В Осборн-Хаусе воспитывались внуки королевы Виктории, в том числе, последняя русская императрица Александра Федоровна. В 1901 году королева скончалась в Осборн-Хаусе, ее личные апартаменты были превращены в музей.