Отсканируйте лист бумаги с оборванными краями, подогнав его по размеру к будущей фотографии. Используя настройки Levels, сделайте центральную часть полностью белой, а внешнюю - абсолютно черной.
С помощью инструмента Move перетащите изображение, полученное на предыдущем этапе, в окно с вашей фотографией. Оно автоматически попадет в новый слой. При необходимости скорректируйте размер будущей рамки инструментом Transform.
Наконец, измените режим смешивания верхнего слоя (с изображением бумаги) на Darken. Теперь сквозь любые белые участки этого слоя будет полностью видно нижележащее изображение.
Эти фотографии были обрамлены с помощью масок, распространяемых на коммерческой основе, однако ход работы ничем не отличался от описанного выше.