В 1272 году на правом берегу реки Пылтсамаа была возведена крепость Ливонского ордена. Она неоднократно уничтожалась и перестраивалась. В 1750-х годах Йоханн Вольдемар фон Лаув построил на этом месте замок в стиле барокко. В 1704 году Екатерина Вторая приобрела поместье Вана-Пылтсамаа для своего внебрачного сына Алексея Бобринского, которого она родила от Григория Орлова. Алексей Бобринский был отправлен в Эстонию за свое скандальное поведение (карточные долги и многочисленные связи с женщинами). Но Бобринский увлекался также астрономией, минералогией и другими естественными науками. Многие книги из его личной библиотеки находятся в хранилищах редких книг нескольких библиотек в Эстонии. Позже поместье перешло семье князя Гагарина. В 1941 году замок Пылтсамаа сгорел. Его начали восстанавливать в 1970-х годах. Сейчас в здании находится музей Пылтсамаа.