过了许多天，人们有了充分时间来重新思考前面发生的那件事，于是，对于在刑台边目睹的情景就有了各种不同的说法。
大多数在场的人都作证，他们在不幸的牧师胸口上看到了一个刻印在肌肤上的红字，与海丝特·白兰佩戴的极其相似。至于其来源，则有种种不同的解释，当然都是些揣测而已。有些人断言，丁梅斯代尔牧师就在看到海丝特·白兰第一次戴上她耻辱的标记的那一天，便开始残忍地折磨自己来实行苦行，并在尔后的修行中使用了许多劳而无功的方法。另一些人则争辩说，那个烙印是经过很长时间之后才产生的，是由那个有法力的巫师老罗杰·齐灵渥斯靠魔法和毒药使它出现的。还有一些人--他们是那些最能理解牧师的特殊情感，以及他的精神对肉体的奇妙作用的人--悄悄地提出这样一种看法，认为那可怕的标记是"悔恨"这副利齿持久作用的结果。悔恨从内心深处向外咬啮，最后用这个可以看得见的字母来显示上天的可怕的裁决。读者可以从这几种说法中自行选择。我们已经把可能得到的有关这件怪事的情况和盘托出了，既然这件怪事已完成了它的任务，我们很乐意把它深深的印记从我们的记忆里抹去，因为长期的思考已在我们的脑子里留下了非常令人不快的清晰的印象。
不过，说来十分奇怪，有几个人，他们也是整个事件的目击者，而且自称他们的眼睛从来不曾离开过丁梅斯代尔牧师先生，但是他们否认在他的胸上有任何标记，说他的胸脯就跟新生婴孩的胸脯一模一样。根据他们的说法，他临终时讲的话，既没有承认，也没有一点儿的暗示，表明他跟使海丝特如此长久地佩戴红字的罪过有什么牵连。按照这些极其可敬的目击者的说法，牧师意识到自己行将死去，也意识到群众对他的极度尊崇，已经把他置于圣人和天使中间，所以他希望通过自己在那个堕落的女人的怀抱中咽气，从而向世人表明一个人类最优秀分子的正直是多么微不足道。他为了人类的精神文明耗尽了自己毕生的精力，现在又以他自己死的方式作为一种教谕，用这个令人悲恸的巨大教训告诫他的崇拜者：在无限纯洁的神的心目中，我们同样都是罪人。他要教导他们：我们中间最神圣的人，他所达到的境界比别人高一点，仅能更清楚地认明俯视下界的仁慈的上帝，更彻底地认识到人类的功德看起来令人想往，高耸云霄，其实只是一种幻影而已。对于这样一个至关重要的真理，我们毋庸争辩，不过，应该允许我们把有关丁梅斯代尔先生的故事的这种说法当作一个实例，说明一个人的朋友--尤其是牧师的朋友--即使在证据像照在红字上的正午阳光一样明明白白，证明他只是一个虚伪的、沾满罪恶的粪土之辈，有时还要为维护这个人的人格，而表现得如何忠诚不渝，顽固不化。
本书依据的主要材料是一部旧书稿，它记载了许多人的口述，其中有些人曾经见过海丝特·白兰，另一些人则是从当时的目击者那里听来的。他们所说的完全证实了本书前面所述的观点。从那个可怜的牧师的悲惨经历中，我们可以吸取许多教训，但是可以把它归纳为一句话："真诚！真诚！再真诚！向世人敞开你的襟怀，即使不把你最坏之处袒露出来，也要显示某些迹象，让人借此推断出你的最坏之处！"
紧随丁梅斯代尔先生的死亡，发生最显著变化的，要算那个叫做罗杰·齐灵渥斯老人的容貌和举止了。他的全部体力和精力，即他的全部活力和智力，似乎立刻丧失殆尽；以致他全然枯萎了、凋谢了，几乎从人的视界里消失了，就像一棵连根拔起的野草在太阳底下晒蔫了。这个不幸的人曾经给自己立了一条生活原则：追踪仇敌，有计划有步骤地雪恨复仇。可是等到他取得完全的胜利和成功以后，在他那个邪恶的原则没有剩下支持它的物质时，一言蔽之，当他在世上再没有魔鬼的工作要他去做的时候，这个没有人性的人只有到他主子那里去寻找工作并领取相应的报酬了。然而，对于所有这些影子似的人物，只要跟我们有点熟悉，不管他是罗杰·齐灵渥斯还是他的伙伴，我们还都愿意表示一点慈悲之心。恨与爱，归根结底是不是同一个东西，这倒是一个值得观察与探讨的有趣课题。这两种感情，发展到极端时，都是密不可分、心心相通的；二者都可以使一个人向对方索取感情和精神生活的食粮；二者都可以通过放弃其目的，将自己狂热的情人或者同样狂热的仇人置于孤寂凄凉的境地。因此，从哲学的角度来考虑，这两种激情在本质上似乎是完全相同的，只是一种恰好出现在圣洁的光辉中，另一种则出现在阴暗惨淡的幽光中。在精神世界里，老医生和牧师--他俩事实上互为牺牲品--也许会不知不觉发现他俩在世上积聚的仇恨和厌恶已经变成黄金般的爱了。
我们暂且把这个讨论搁置一边，先向读者通报一件正事。不到一年，齐灵渥斯去世了。根据他最后的意愿和遗嘱，他把在北美和英国的一笔数目相当可观的财富，留给了海丝特·白兰的女儿小珠儿。贝灵汉总督和威尔逊牧师先生被指定为这份遗嘱的执行人。
于是，珠儿--那个小精灵，那个直到那时还有人坚持认为是恶魔后裔的小东西--就成了当年新大陆最富有的继承人。自然，这种境遇引起了公众评价方面的很实在的变化；如果母女俩留在当地，小珠儿到了可以结婚的年龄，很可能会把她的野性的血液和最虔诚的清教徒的血统混合在一起。但是在医生死后不久，佩戴红字的人就消声匿迹了，珠儿也随她走了。在其后的许多年里，虽然不时从大洋彼岸传来一些不很确切的传闻--犹如一块不成样子的烂木头漂到岸上，上面只有姓氏的第一个字母--但从未收到过有关她们真实可靠的消息。红字的故事渐渐变成了传说。不过，它的魅力犹存，那个可怜的牧师死在上面的那个刑台以及海丝特住过的海边茅屋仍然令人望而生畏。一天下午，有些孩子正在茅屋旁边玩耍，他们忽然看见一个身穿灰袍的高个子女人走到屋子的门前。在这么些年来，这扇门一次也没打开过；不知是她打开了锁，还是腐朽的木头和锈蚀的铁栓子散落到她手里，或者是她像影子一般穿过这重重障碍，溜了进去--不管怎样，反正她进了屋。
她在门槛边停了下来--半转过身子--或许因为她想到只身一人走进她从前度过紧张生活、而如今面貌全非的家，心中顿生一阵凄楚悲凉，使她难以忍受。虽然她只迟疑了片刻，不过人们还是来得及看到她胸前的红字。
海丝特·白兰回来了，又戴起她抛弃已久的耻辱！可是小珠儿在哪里呢？如果她还活着，现在必定是一位含苞欲放、楚楚动人的少女了。
谁也不知道，谁也没有听到过确切的消息。那小精灵是不是过早地埋进了少女的坟墓，还是她那狂野不羁，却多姿多彩的天性已经被驯化和软化，从而能得以享受一个女人的温存的幸福。不过，海丝特余下的岁月里，有迹象表明，这个佩戴红字的隐居者，是另一个地方某个居民钟情和关怀的对象。寄来的信件上印有纹章，虽然那纹章在英格兰家族系谱上还无人知晓。在那间茅屋里，有一些供享受的奢侈品，这些东西海丝特是从不喜欢使用的，不过这些东西只有富人才买得起，只有对她充满感情的人才会想得到。也有一些小东西，如小小的装饰品、表示永远思念的漂亮的纪念品；它们想必是一颗爱心在感情冲动时，用一双纤手制作的。有一次，人们还看见海丝特在刺绣一件婴孩的衣裳，色彩是如此绚丽，款式是如此奢华，如果有哪个婴孩穿着在我们这色调晦暗的居民区招摇过市，一定会引起轩然大波的。
总之，当年那些爱说闲话的人相信--一个世纪后对此做过调查的海关稽查官皮尤先生相信--还有，最近接替他职务的一个人也忠实地相信，珠儿不但活在世上，而且结了婚，生活幸福，时刻惦念着她母亲；还相信要是她能把她孤苦伶仃的母亲接到她家里，她会快乐无比。
但是，对于海丝特·白兰来说，住在新英格兰这里，比起住在珠儿成家的那个异乡客地要好，生活得更真实。这里，有过她的罪孽；这里，有过她的悲伤；这里，还要有她的忏悔。因此，她回来了，重新戴上了构成我们这个故事的那个标记；她戴它是完全出于她自己的意志，因为连那个冷酷时代的最严厉的官吏也不会强迫她了。从此以后这个标记再也没有离开她的胸前。但是，随着岁月的流逝，海丝特生活中的含辛茹苦、自我献身和对他人的无微不至的关心使那红字不再是引起世人蔑视和冷嘲的耻辱的烙印，却变成了一个使人为之悲伤，望之生畏，而又让人肃然起敬的标志。而且，由于海丝特·白兰没有自私的目的，她活着丝毫没有为了谋取私利或享受，所以人们把她当作一个饱经忧患的人，带着他们的种种忧伤和困惑，来寻求她的忠告。尤其是妇女们，在她们不断受到考验时：受伤害、被滥用、受委屈、遭遗弃、或为邪恶的情欲所驱使而误入歧途，或者因为不被重视，未受青睐而忧心忡忡，无所寄托--她们常来到海丝特的茅屋，询问她们为何如此痛苦，如何解脱！
海丝特尽其所能安慰她们，为她们指点迷津。她还用她自己的坚定信念使她们相信，到了某个更光明的时期，在世界为此做好了准备的时候，在超脱罪恶并与上帝的意念和谐一致的时代，必将显示一个新的真理：男女之间的全部关系将建立在一个双方幸福的更可靠的基础上。海丝特年轻时曾经虚妄地幻想过，她本人或许是一个命中注定的女先知，但长久以来她已认识到，任何神圣的和神秘的传播真理的使命决不可能托付给一个为罪孽所玷污，为耻辱所压倒或者甚至为一生的忧虑而郁郁寡欢的女人。当然，将来宣示真理的天使和圣徒一定是一个妇女，但是应该是一个高尚、纯洁和美丽的女子；而且应该是一个聪慧的女子，其智慧不是来自于忧伤，而来自欢乐的灵气；同时，她将用一个人生活中最真实的考验向人们显示神圣的爱心如何使我们获得幸福，而这个人的生活已经成功地达到了这样一个目的。
海丝特·白兰一边这么说着，一边低下头用忧伤的目光瞅着那个红字。经过了许多许多年之后，在后来建造英王礼拜堂的那块墓地上，在一个下陷的老坟附近，又挖了一个新坟。这个新坟是在那个深陷下去的老坟附近，但是两者之间还隔着一块空地，仿佛两位长眠者的遗骸没有资格混在一起。然而两座坟却合用一块墓碑。周围的墓碑上全都刻着家族的纹章，而在这一方简陋的石板上--好奇的探究者现在仍可以依稀辨认出，但不明其意义了--有着类似盾形纹章的刻痕。上面所刻的铭文，是一个专司宗谱纹章的官员拟的词句，可以充当我们现在讲完的这篇传说的箴言和简述；这题铭是那么灰暗，只在被一个比影子还要幽黑的、永远闪着红光的光点衬托下才凸现出来："漆黑的土地，鲜红的A字。"