与赖雅结婚后，他们一起在纽约待了两个月，一起观光了纽约市容。赖雅对纽约了如指掌。第一次世界大战时，他曾在《波士顿邮报》工作，去欧洲报道“一战”。回到美国，他便住在纽约的格林威治村，开始作为自由撰稿人。在20世纪20年代的纽约，他曾遇见过华莱士·史蒂文斯（Wallace Stevens）、辛克莱·刘易斯（Sinclair Lewis）和许多美国著名的文人。他多姿多彩的个性、渊博的知识和才华横溢的谈吐，让他成为很有魅力的人物。1926年，他的第一次婚姻结束后，他又在纽约布鲁克林住了很长时间。有了赖雅的陪伴，又在她所喜欢的纽约，可以想象，张爱玲的心境是曾欢愉过的，即使那时她也因将刚完成的《粉泪》（Pink Tears）书稿寄给了出版公司，结果未卜，焦躁而患得患失；即使赖雅在走楼梯时中了风，有了暮年的力不从心之感。1956年10月下旬，他们回到了新罕布什尔，不久却又再次回到纽约，约见张爱玲的出版公司，访问炎樱，与广播公司签约，在餐厅吃美味的晚餐，挑选约翰·华德的皮鞋和伍尔华斯的漂亮手套。至此后，纽约却成了张爱玲不可及的念想。
11年后，当已四处辗转过的张爱玲悄悄离开迈阿密大学，再次回到曼哈顿暂住两个月时，她带着的是病重已久的赖雅。疾病也已缠绕着张爱玲，她的眼睛开始出血。因“有些小毛小病要找医生，短期的公寓难找”，她就在71街Broadway（百老汇）找了一个公寓式旅馆，一边看病，一边写作，天天从下午忙到天亮，虽然想听唱片，也想去拜访在纽约的友人，都只好搁下来。夏志清在《张爱玲给我的信件》中批注道：“看样子她并无长期的医药保险，每有病痛必要到公家医院去找医生治疗，花费的时间特别多。情形已同后来在洛杉矶的那几年相仿：不断为了去医院、上诊所而浪费时间、消耗体力，身上那些病痛也就跟着变得更顽劣难治了。”但张爱玲依旧眷恋纽约，也未因任何原因松懈写作。於梨华的回忆中，张爱玲曾对她说：“不在意百老汇的纷沓嘈杂，在高楼上，望下来是车水马龙，熙攘的人间，各种气味，一点不妨碍她的写作。”她在上海，就爱在公寓阳台上听小贩的叫卖声和看电车叮叮当当地驶过，也喜欢西式糖果的味道和臭豆腐的强烈气味。都市中的公寓，是她“最理想的逃世的地方”。
定居纽约的渴望，就如复调，回旋在张爱玲早期的美东生活之中。她曾因此与想在英格兰小镇安定下来的赖雅争论。也成为她第一次在旧金山居住时离开赖雅，前往香港写剧本的部分动因，那一次旅行，打破了她与赖雅在旧金山所建的安稳之家的平静，后来他们又在美东相聚。后来住在华盛顿，她只认为那是个偶然的落脚，在那里过新年，她从电视上看的是纽约时代广场的午夜，华盛顿同时也鸣炮一响。直到赖雅1967年11月在麻省的剑桥去世，她在剑桥又待了两年，结束了赖德克里夫（Radcliffe）女子学院的研究，她才彻底离开了美国东部，飞往加州伯克利。
彼得堡：归宿与逃离
临近新罕布什尔的基恩（Keene），纽约的繁华已退却于环绕着这座新英格兰小镇的山峦之外。眼前呈现的是完全不同的景象，天际线变得开敞，把远处的莫纳特诺克山峦与葱葱的树林吸纳进视野来。街上偶尔稀稀拉拉冒出几个人来，不像纽约人见过世面而世故的冷漠，热情地向我们打招呼，倒更提醒我们是异乡人了。向宾馆前台问去镇中心的路，不过二十来分钟步行，却千万叮嘱，“6点半天就黑了，真的没什么可看的。要早点回来！”住宅区小道边一栋栋稀疏的木头房子，到了黑夜，竟只有零星的几家透出一点光来，到处半人高的草丛里传来神秘的窸窸窣窣声，有点心悸。这寂寥让我想起张爱玲写旧金山卫星城，人都“大白天也像是自知犯了宵禁，鬼头鬼脑匆匆往里一钻”。大概因无事发生，又门可罗雀，走进一个书店，在这里住了70多年的店员老太太以随时可攀谈的姿态侃起小镇的故事。20世纪50年代，“这是个清一色的盎格鲁-萨克逊新教白人聚居地，对黑人很歧视。我想，一位亚洲人在这里会生活得很不愉快”。她尽量让自己像仅仅是在无意间提起曾去过巴黎，不过最后提到波士顿时，她又不假思索地赞叹道：“哦！那可是个大城市！”