赵左，《望山垂钓图轴》，故宫博物院藏

吴大澂在上海所见潘氏所藏八幅立轴中，大多见于《潘氏三松堂书画记》。赵孟頫的墨竹、王蒙的《葛稚川移居图》，似乎后来由潘氏转归顾氏过云楼。“赵文度山水”今名《望山垂钓图》，藏于故宫博物院。

吴大澂第一次放外官、出任陕甘学政的同治十二年（1873），十二月初三日宁绍台道顾文彬从宁波写信回苏州，告知正在营造过云楼的顾承：

昨得潘顺之来信，欲将所藏尽归我家，索价甚昂，俱作银款，统计约两竿，并云不减不择。此老必知䍩闲曾有五百金之会款，故欲借此而得善价，而独留杨补之梅花册，不在所售之内。我亦以长篇信答之，信中叙入潘梅若之言，作为当头棒喝。因与汝约，除非唐宋元剧迹，尚可勉收，此外以一概不收。因另开一单，只取五件，杨补之梅花册作四百两，唐六如《黄茅小景》二百两，倪云林、王叔明两轴一百两，四忠手简一百两，合千两。如果肯售，却是精品，且算应酬一老友也。

谨慎的顾文彬在信末不忘附注一句“顺之欲秘其事，切勿漏言”。这一年潘遵祁六十六岁，夏天大病一场，深感老病侵寻的他决定为自己的藏品另觅新主人。同年十二月十七日顾文彬第一一二号家书提到：“潘顺之物如收到，将唐卷、四忠卷觅便寄来一阅”。第一一三号家书又云：“《黄茅小景》，《六研斋笔记》亦推为唐卷第一，此卷购得，出山图即使不得，亦无需恋恋矣。”至次年正月二十九日家书中，顾文彬就命顾承将唐寅《黄茅渚小景图》、《四忠手简》让人带去宁波。同治十三年（1874）二月十四日《过云楼日记》出现“毛福带来唐六如《黄茅小景》卷、《四忠》卷”的记录。可见，通过一个月里与顾文彬的接洽，潘遵祁出让了一部分藏品给过云楼。

顾文彬父子的精明，潘遵祁早有所知，因此过云楼应该他是物色的对象之一，另外还有听枫园主人吴云、网师园主人李鸿裔等。光绪三年（1877），刚刚结束陕甘学政任期的吴大澂回到故乡苏州不过三个多月，三月十八日，他借李鸿裔的网师园，与郡中收藏家举行雅集，据亲历者顾文彬记载：

香严、清卿同作主人，在网师园招饮。坐客退楼、小舫、季玉、旭人，各出书画共相欣赏。香严于上年以千金得宋元名人书简，潘顺之售与者，系松下清斋旧藏，翁覃溪每页皆题“真无上妙品”。余以石谷《秋山图》卷、石涛书画卷嘱清卿篆书观款。