牧师在海丝特·白兰和小珠儿之前先离开了。走远之前，他回过头来瞥了一眼，他本来只是期望再看上一眼正慢慢消失在林地暮霭中母女两人依稀可见的面容与身影，因为他的生活中发生了如此巨大的变化，他无法立刻信以为真。但是，海丝特分明在那里，身穿灰色长袍，仍然站在那根树干旁边。那树干是很多很多年以前给大风刮倒的，从此，年深日久上面长满了苔藓，倒给了这两个承受着世上最沉重负担的、命运相联的人一席之地，让他们可并肩而坐，共享短短一个小时的安宁和慰藉。珠儿也在那里，轻快地从溪边蹦蹦跳跳地过来，回到母亲身边她原来的位置，因为这时闯进来的第三者已经走了。由此看来牧师刚才并没有昏昏睡去，并非在做梦！
这次会见在牧师的心上留下了一些模糊不清、模棱两可的印象，这些印象搅得他心神不宁。为了摆脱与澄清这些印象，他重新回忆和更彻底地确定他和海丝特拟定的出走计划。他们两人已经决定，与只在沿海一带稀疏地散落着一些印第安人的茅屋和为数不多的欧洲移民聚居区的新英格兰或整个美洲相比，人口稠密、城市林立的旧大陆更适合于他们避难或隐居。暂且不说牧师的健康状况不适宜于忍受森林中生活的艰辛，他的天生的才能，他的文化教养，以及他整个的发展，也只有在文明和优雅的环境中，才能充分发挥，适得其所；环境愈高雅，这个人就愈能适应，应付裕如。促使他们作出这一抉择的另一个原因是恰巧有一只船停泊在港口里；它是当时经常在港口出没的那种形迹可疑的航船中的一艘，这种船虽然还不完全是公海上的不法船只，但是在海面上游荡时，带有一种明显的不负责任的性质。这艘船是新近从西班牙领海开来的，三天后就要开往英国的布里斯托尔去了。海丝特·白兰作为妇女慈善会的志愿人员，她的工作使她有机会结识了这艘船的船长和水手，因此她能够设法十分秘密地让两个大人与一个小孩上船搭乘，而严加保密是此举必要的、求之不得的条件。
牧师曾经十分关切地询问过海丝特关于这艘船的离港的确切日期。
它很可能就在从现在算起的第四天。"那是最幸运的了！"他当时自言自语地说。那么，为什么丁梅斯代尔牧师先生认为那个日子是最幸运不过呢，我们本不想公诸于众。然而，为了对读者无所保留，我们可以说那是因为从现在起的第三天，他预定要去庆祝神的选择日①的布道会上讲道；同时，因为在这样的一个场合布道对于一个新英格兰牧师来说是一生中非常荣幸的时刻，他不可能找到更合适的方式和时间来结束他的职业生涯。"至少，他们将来说到我时，"这个为人楷模的人自忖道，"不会说我擅离职守或者敷衍塞责！"像这样一位可怜的牧师如此深刻和锐利的内省居然会遭到这般可悲的误解，委实令人伤心！我们已经说过，也许以后还会说到他这个人办的许多糟糕的事情；但是，就我们所知，没有一件事表现得如此之软弱，让人感到可怜；也没有一件比这更微不足道却又无可辩驳的证据，说明他患有一种十分微妙的疾病，早已腐蚀了他的真实的性格。没有人能够在相当长的时间内给自己扮出一副面孔，对众人又露出另一副面孔，因为这样的人最后自己都弄不清楚究竟哪一个是真实的面孔。
丁梅斯代尔和海丝特会面后回来，他激动的心情赋予他少见的体力，促使他加快脚步回城里去。那林间小道似乎比他记忆中出来时更荒野，更加崎岖不平，而且人迹更为稀少。但他跳过泥泞的水洼，穿过缠人绊脚的矮树丛，爬上山坡，冲下低谷；总之，他克服了路上的一切困难，表现出来的那种不知疲劳的活力连他自己都感到惊讶。他不禁回想起，仅在两天以前，他走在这同一条路上，步履是多么的艰难，身体孱弱，走不了几步就要停下来喘口气。当他走近城时，呈现在他眼前的许多熟悉的事物似乎都变了样子。好像不是在昨天，不是一两天，而是许多天，甚至许多年前，他就已经离开它们了。的确，街道依旧，跟他记忆里的一模一样；房屋的一切特色，诸如众多的山墙，每一个他原先记忆中饰有风信鸡的尖顶照旧不变。然而，那种起了变化的感觉却仍然十分强烈地占据着他的思想。至于他所遇到的熟人，以及这个小城镇里人们生活的种种熟悉的状态也一样没有变。人们看上去既未变老，也没变得年轻；老人的胡须也没变得更花白，昨天还只会在地上爬行的婴孩今天也没有能站起来行走；简直不可能说出在他最近离开时匆匆瞧上一眼的那些人究竟在哪些方面有所不同；然而，牧师最深层的意识似乎在告诉他，他们已经变了，当他走过他自己教堂的墙下时，他最显著地感触到这样一个相似的印象。那建筑物的外表是那样陌生，又那样熟悉，丁梅斯代尔先生的心在这两种思想之间波动：要么只是他以前在梦中见到过，要么他现在正在做梦，是在梦中见到这一切。
这个表现为千姿百态的现象，并非表示外界真的起了变化，而是说明观察这些熟悉景物的人内心发生了重要的突变，因而在他的意识里产生相隔一日如隔多年之感。这也是牧师本人的意志、海丝特的意志以及两人共同的命运造成的这个变形。城镇还是原来的城镇，可是从森林里回来的牧师已不是从前的牧师了。他很可能对那些向他打招呼的朋友们①指为庆祝新的总督上任时作的布道。按加尔文教教义，一个人的工作或灵魂的拯救都是由上帝选择与决定的。
说："我已经不是你们心目中的那个人了！我把他留在那边的森林里，隐退在幽谷里，离一条忧郁的小溪不远，就在一棵长满青苔的树干旁边！
去，去到那里找你们的牧师吧！看一看他那憔悴的身形，他那瘦削的面颊，他那苍白、沉重，布满痛苦皱纹的前额，是不是像一件脱下来的衣裳给撂在那里。"毫无疑问，他的朋友们仍然会对他说："你还是原来的那个人！"但是，那是他们弄错了，他没错。
在丁梅斯代尔先生回到家里之前，他内心里的那个人又给了他别的一些证据，证明他的思想感情已经发生了一次大革命。的确，假如在那个内心的王国里不是发生改朝换代，伦常纲纪彻底改变的话，实在无法解释如今支配着那个不幸而惊恐的牧师的种种冲动。他每走一步，总是想作出这样或那样的奇怪的、狂野的、邪恶的事，可是又觉得那样做既非自愿却又故意为之；一方面是不由自主，另一方面又出于比反对这种种冲动更深层的自我。比如说，他遇见了他教堂里的一名执事。这位善良的老人用一种慈父般的深情和长老式的姿态跟他打招呼，因为他年高德重，加之他在教会里的职位和资历使他有权利这么做；与此相应的，老人对牧师怀有深深的、甚至近乎崇拜的敬意，则是牧师的职业和个人的品德同样有资格享有的。再也没有更好的例子来说明：年纪和智慧的威严与对之表示的谦恭和敬意可以一致起来，就如一个社会地位较低、天赋不高的人对比他高的人也可以不卑不亢，做得十分相称一样。这时，当丁梅斯代尔跟这位德高望重、须发灰白的执事谈话的短暂时间里，牧师必须要小心翼翼地控制自己才不致把冒到嘴边的有关圣餐的某些亵渎神明的话说出口来。他紧张得浑身发抖，面色苍白，独怕他的舌头不听指挥，不自觉地说出那些可怕的言辞。但是，尽管他内心十分惧怕，但是一想到要是他当真说出那些亵渎神明的话来，那位虔诚的老前辈执事一定会吓得目瞪口呆，不禁要失声大笑起来。
另外，还发生了另一件性质相仿的事。就在丁梅斯代尔先生在大街上匆匆行走的时候，遇见了分教会一位最为年长的女教友，一位最虔诚、堪称模范的老太太。这位孤苦伶仃的寡妇，心中充满了她对许久以前已故的丈夫、孩子和朋友们的怀念，就好像一块墓地竖满了重重叠叠的墓碑一样。这一切本来可以变为深沉的愁伤，但是因为她三十多年来不断地以宗教的慰藉和《圣经》的真理来滋养充实自己，因而在她虔诚的年迈的心灵中，这些回忆几乎都变成一种肃穆的欢愉。自从丁梅斯代尔先生将她收为教友，负责照管以来，这位善良的老太婆在现世上最主要的安慰--如果这种安慰不同时也是天国的安慰的话，便根本算不上什么安慰--就是同牧师的会面，无论是不期而遇，还是专程拜访，只要从他那可爱的双唇中说出一两句温馨的、带有天国气息的福音真理，送进她半聋的，但喜闻乐听的耳朵里时，她就会精神焕发。然而这一回，一直到丁梅斯代尔先生把他的双唇凑近老太婆的耳边之前，他好像是受了人类灵魂的大敌的指使一样，竟然忘记了《圣经》经文，或是别的什么，只是简单地说了一句什么人类灵魂并非是不朽的，还认为那是毋庸置辩的。这番话如果灌输进这位年迈的女教友的心灵里去，她很可能会立刻倒毙，仿佛是中了剧毒。他究竟在她耳边窃窃低语了什么，事后他自己怎么也回忆不起来。或许，很侥幸，他当时语无伦次，善良的寡妇就没有听明白，没有得到任何明确的思想，或者是上天按照自己的方式作出了解释。反正，当牧师回头看去时，只见到她脸上浮现出一副感激上帝的欣喜表情，似乎天国的光辉正照耀在她满脸皱纹和灰白如土的脸上。
再说第三个例子。他在告别了那位老教友之后，便遇到了最年轻的一位女教友。她是最近才皈依的一位少女，而且就是在聆听了丁梅斯代尔先生夜游后做的安息日布道后皈依的。她愿牺牲现世的、暂时的快乐，来换取天国的希望。当她周围的生活黯然失色时，天国的希望显得更明亮，以终极的荣光使浑然一片的幽黑顿生光辉。她美丽、纯洁，如一朵在天堂里绽开的百合花。牧师深知他自己被供奉在她圣洁无瑕的心里，并用她雪白的心灵的帷幔悬挂在他形象的周围，将爱情的温馨融进了宗教，又将宗教的纯洁融进了爱情。那天下午，一定是撒旦把这可怜的少女从她母亲的身边引诱出来，把她丢弃在路上，碰上这个受了强烈诱惑的--或者，我们姑且这样说吧--一个自暴自弃、无药可救的人。就在她走近的时候，魔王悄悄地要他摇身变小，缩成一颗邪恶的种子，然后把它投进她温柔的心田里，不久开放出黑色的花，并到时结出黑色的恶果来。牧师意识到自己有权驾御这个十分信任他的少女的灵魂，他觉得只要他不怀好意地瞟她一眼，就可使她纯洁的心田立即干涸，而且只要他说出一句话，她那纯洁的心灵就会走向反面。可是，在经历了一番前所未有的强有力的内心搏斗之后，他用他黑色法袍的大袖遮住脸孔，匆匆向前走去，装出没有认出她的样子，任凭那年轻的女教友去猜测他为何如此鲁莽无礼。她细察自己的良心，它像她的口袋或者针线盒一样里面装满了许多无害的小东西。啊，可怜的姑娘，她给自己想象出千百个过失来责备自己。第二天早上，她在做家务时，她两眼哭得又红又肿。
牧师还没来得及庆贺自己战胜了最后的这次诱惑，便意识到另一次冲动在他胸中蠢动，这次的冲动更滑稽可笑，而且还相当可怕。这件事说起来会让人羞得脸红的--他突然想在路上停下来教一群刚学会讲话的、正在玩耍的清教徒孩子说粗话，骂大街。他抵制了这个奇怪的念头，因为这跟他身上穿的法袍是极不相称的。然后，他碰上了一个喝醉酒的水手，就是从西班牙领海开来的那艘船上下来的水手。这时，这位可怜的丁梅斯代尔先生觉得自己已经英勇地克服了前几次邪恶的诱惑，想至少要和这个满身油污的粗汉握一握手，并用水手们常挂在嘴边的下流的俏皮话，以及其他一些油腔滑调、粗俗逗人、上天不容的咒语来自娱自乐！他所以能够平安地度过这次危机，倒不是因为他有什么更高的道德准则，而是因为他具有天生的良好情趣，更主要的，是因为他已经把教士的礼仪铸成习惯。
"究竟是什么东西这样困挠着我、诱惑我？"牧师终于停立在街头，拍打着他的前额，大声喊叫。"我是不是疯了？还是我完全落入魔鬼的手掌里了？我不是在树林里和魔鬼签订了契约，还用鲜血签了字吗？现在是不是在叫我按照他最恶毒的想象力所能想出的一切恶行来履行契约？"
就在丁梅斯代尔牧师先生这样自言自语并用手拍打脑袋时，据说那个有名的妖婆西宾斯老太太恰好走过。她神气活现，头戴一只高高的头饰，身穿一件丝绒的长裙，脖子上围着用有名的黄浆浆得笔挺的皱领；制造黄浆的秘决还是她的好友安·特纳因谋杀托马斯·奥弗白利爵士而被绞死前教给她的秘方配制的。不管那妖婆是否看出了牧师的想法，反正她突然停住了脚步，眼睛盯住他的面孔，狡黠地微笑着。她跟牧师攀谈了起来，虽然她以前从来没有跟牧师交谈过。
"可敬的牧师先生，原来你到森林深处作了一次访问，"妖婆对他点了点头，高高的头饰随之晃动。"下一次，请你务必通知我一声，我得十分自豪地陪你前往。不是我自吹，只要我说上一句好话，你知道的那位有权势的人，定会好好接待任何陌生的客人的！"
"老实讲，夫人，"牧师回答道，还郑重其事地鞠了一躬--这是那位夫人的地位所要求的，也是他自己良好的教养教他这样做的。"以我的良心和人格来担保，老实说，我简直猜不透你话里的意思！我并没有到森林里找什么权势者，而且今后我也决不准备到那里去造访，求得这样人物的欢心。我唯一的目的就是去问候我虔诚的朋友艾利奥特使徒，并和他一起庆贺他从邪教里争取过来了许多宝贵的灵魂！""哈，哈，哈！"那老妖婆咯咯地笑着，还向牧师不停地点着戴头饰的头。"好啦，好啦，在光天化日之下，我们不得不这么讲话！你倒像个深通此道的老手！好吧，到了午夜后，在森林里，我们再在一起谈些别的吧！"
她摆出一副德高年迈的姿态走了出去，但是还时常回过头来朝他微笑，像是要看出他们之间的不可告人的亲密关系似的。
"我是不是果真把自己出卖给了那个恶魔？"牧师想道，"如果真的像人们说的那样，这个戴黄皱领，穿天鹅绒长袍的老妖婆，早就选了那个恶魔作她的王子和主子啦！"
这位可怜的牧师！他做了一件与此极其相似的交易！他受到美梦成真的诱惑，经过周密的选择，居然一反常态，屈从于明知是罪大恶极的行径。于是那种罪恶的传染性病毒便非常迅速地渗透到他整个精神系统里去，把一切神圣的冲动都麻痹瘫痪，把全部的恶念唤醒活跃起来。轻蔑、狠毒、邪念、无端的恶言秽行，以及对善良和神圣事物的嘲弄，这一切全都给唤醒了，虽然他内心吓得惶恐不安。他和西宾斯老太太的不期而遇，即便当真是巧合的话，也足以表明他已同邪恶的人们和堕落的灵魂世界同流合污了。
这时，他已经走到他在墓地边上的住所，急忙上楼，躲进他的书房里去。牧师暗自高兴终于到达了这个庇护所，因为在他穿街走巷时，不断驱策他的那些奇思邪念并没有把他的面目暴露于世人。他走进他熟悉的房间，环顾四周，看着室内的书籍、窗子、壁炉、挂着壁毯的安适的墙壁，他瞧着这些时，带着他从林中幽谷到城里一路上纠缠着他的那种相同的奇异的感觉。他曾在这里研读写作；在这里斋戒夜祷，弄得形容枯槁。在这里，他不分昼夜祈祷；在这里，他忍受过千万次的痛苦！这里摆着那部精装的用古希伯莱文写的《圣经》，里面记载着摩西和许多先知对他的训诫，那全是上帝的声音。桌子上还摆着饱蘸墨水的笔，旁边是一篇未写完的布道文。一个句子写到中间就中断了，因为两天前他的思想枯竭，无法继续写下去。他明知道那是他本人，他就是那个脸色苍白、身材瘦削、做了这么多事、受了这么多苦、写了这么些庆祝选择日的布道文的牧师！但是他却似乎远远地站在一旁，以轻蔑、怜悯、半羡慕半好奇的目光在审视先前的自己。那个自我已经一去不复返了，从林中归来的是另一个人了，是一个具有神秘知识的人，一个莫测高深的人，一个更聪明的人。那种知识是他以前用简单的头脑完全不能探求得到的。真正是一种历经千辛万苦才能获得的知识！
正当牧师陷入这些思绪之中的时候，书房的门上传来了敲门声，他说了声"请进！"--心想他可能又要见到一个恶魔了。果真如此！走进来的是老罗杰·齐灵渥斯。牧师站在那里，面色惨白，哑然无语，一只手按在希伯莱文《圣经》上，另一只手捂住心口。
"欢迎你回家，牧师先生！"医生说，"你去探望的那位圣徒艾利奥特可好？不过我看，亲爱的先生，你的面色很难看；似乎你这次在荒野里的旅行太辛苦了。要不要我来帮你恢复一下身心健康，好准备你在庆祝神的选择日的布道中祈祷呢？"
"不，我看不必了，"丁梅斯代尔接着说，"我长期关在书房里，这次出去走走，见见那位圣洁的使徒，呼吸一下自由空气，这些对我大有好处。我想我已经不再需要你的药了，我好心的医生，虽然那些药很有效，而且是由一位朋友配制的。"
在这段时间里，罗杰·齐灵渥斯始终用医生审视病人的严肃而专注的目光盯住牧师。尽管牧师在外表上不动声色，但他几乎确信这个老人已经知道--至少已经猜测到--他自己和海丝特·白兰的会面了。因此，医生从牧师的眼神里看得明白，他自己已经不是一个被信赖的朋友，而变成了最刻毒的敌人了。事情既然已经这般明朗，自然会有所流露。
然而，奇妙的是用言语来点破则往往需要相当长的时间；两个人都设法避开某一个话题，讲话时小心翼翼，很可能刚触到话题的边缘，就缩了回去，不去点破它。因此，牧师不担心罗杰·齐灵渥斯会公然用明确的语言说出他们各自对对方的真正态度。然而，医生却用见不得人的手段窥视到那秘密了。
"今天夜里，"他说，"你是不是再服用一些我给你配的药？真的，亲爱的先生，我们应该尽一切力量使你体力强健，精力充沛，做好庆祝选择日的布道工作。人们对你抱有极大的期望，因为他们怕再过一年牧师要走了。"
"是啊，到另一个世界去了，"牧师虔诚地顺应道，"但愿上天保佑，那是一个更好的世界；因为，说老实话，我几乎不敢想我能再和我的教友们共度转瞬即逝的另一个年头了！不过，亲爱的先生，至于你的药品，就我目前的身体状况来说，我是不需要了。"
"我很高兴听到你说这番话，"医生答道，"也许我的药品现在开始发生效用了，尽管治疗了好长时间未起作用。如果我真能医好你这病，我会感到非常幸福，而且对新英格兰对我表示的感激之情也受之无愧。"
"我衷心感谢你，我尽心尽力的朋友，"丁梅斯代尔牧师先生说道，并俨然一笑。"我感谢你，我只有用祈祷来报答你的善行好意。"
"一个好人的祈祷如同黄金！"老罗杰·齐灵渥斯一面告别，一面接着说，"是的，它们是新耶路撒冷通用的金币，上面镌刻着上帝的头像！"
只剩下牧师单独一个人时，他叫来了住所的一个仆人，吩咐他拿些吃的东西来。食物摆到他面前后，他就狼吞虎咽地吃起来。然后，他把已经写好了的几页庆祝选择日的布道文扔进火里，立刻提笔另写。此时他才思横溢，犹如泉涌，他自觉触发了灵感。他只是想上天为什么偏偏选中他这样的一架卑劣的管风琴来演奏这首崇高庄严的乐曲，传达神谕。不管怎样，这个奥秘随它自行解开，还是永久不得解开，他奋笔疾书，走笔成文。这样，那个夜晚就像一匹长有双翼的骏马飞驰而去，而他就骑在那匹马上；清晨降临了，从窗帘中透进朝霞的红光；最后，旭日的金光射进了书房，正好照到牧师晕眩的眼睛上。他端坐在那里，指间还握着笔，纸上洋洋洒洒写下了一大篇文章！