乔安对新大陆东海岸血腥的奴隶贸易也有所耳闻，当初在莱顿港生活的时候，他也曾在托马斯·查普的陪同下参观奴隶交易市场，对那种把活生生的人剥光了套上镣铐当牲口拍卖的情景，留下了深刻的印象。

在乔安的友人当中，但凡家庭出身比较富裕的，比如托马斯·查普、爱德华·盖茨乃至心地善良的卡斯蒂斯姐妹，家里都有奴隶。

作为土生土长的南方人，尽管乔安和朋友们或多或少都受到启蒙思想的影响，内心深处认为蓄奴这种事很不光彩，但是传统的力量更加强大，刚开始接受新思想熏陶的年轻一代既无勇气也不知道该如何改变这一传统。

乔安是小镇自耕农家庭出身，从小到大没有使唤过奴隶，倘使有人站出来呼吁废除奴隶制度，他很乐意支持，而且他也不觉得自己的生活会因为废除这种野蛮落后的制度而受到什么影响。

但是托马斯、爱德华和卡斯蒂斯姐妹那样从打出生就离不开下人伺候的“奴隶主”就不同了，倘若遣散家中奴隶，谁给他们洗衣做饭，谁为他们耕种农田，放牧牛马？

如果废除奴隶制，像他们这样的阔少爷和大小姐，一旦脱离吃饭穿衣都靠奴隶伺候的环境，恐怕都不知道该如何靠自己的双手生活下去。

就连乔治·瓦萨这样的圣武士，乔安心目中的人品楷模，虽然他自己没有购买过奴隶，但是也从亡故的父亲和兄长那里继承了不少奴隶，并且一直默默享受奴隶制带来的好处。

乔安曾与瓦萨私下里讨论过对南方普遍实行的“种植园奴隶制”的看法，瓦萨的态度或许可以代表当代南方奴隶主的最高道德水平：

“奴隶制度很不道德，应该被废除，但是这一根深蒂固的传统对社会各个方面影响太大，不是一朝一夕就能废除的，我们这代人恐怕是没办法解决这道难题了，只能尽量对奴隶好一点，将彻底废除奴隶制的伟大使命留给子孙后代。”

乔治·瓦萨还曾向乔安透露，虽然他个人无法改变奴隶制度，但是他决定在自己的遗嘱中写下这样一段话：

“我死之后，遗产继承人须遣散我名下的所有奴隶，并且给予一定金钱补偿，使他们能够以‘自由人’的身份，过上一种有尊严的生活。”