¿Cuál fue la distribución de la riqueza en EE. UU. antes de la guerra Norte / Sur?

Mi pregunta se relaciona con la siguiente cita del capítulo XI de Narrative of the Life of Frederick Douglass :

Extrañamente había supuesto, mientras estaba en la esclavitud, que pocas de las comodidades y casi ninguno de los lujos de la vida se disfrutaban en el norte, en comparación con lo que disfrutaban los esclavistas del sur. Probablemente llegué a esta conclusión por el hecho de que la gente del norte no tenía esclavos. Supuse que estaban al nivel de la población no esclavista del sur. Sabía que eran extremadamente pobres, y me había acostumbrado a considerar su pobreza como la consecuencia necesaria de no ser propietarios de esclavos. De algún modo me había imbuido de la opinión de que, en ausencia de esclavos, no podía haber riqueza y muy poco refinamiento. Y al llegar al norte, esperaba encontrarme con una población ruda, dura e inculta, que vivía en la sencillez más espartana, sin saber nada de la comodidad, el lujo, la pompa, y la grandeza de los esclavistas del sur. Siendo tales mis conjeturas, cualquiera que esté familiarizado con la aparición de New Bedford puede deducir muy fácilmente cuán palpablemente debo haber visto mi error...
Aquí me encontré rodeado de las más fuertes pruebas de riqueza... Desde los muelles di vueltas y vueltas por el pueblo, contemplando con asombro y admiración las espléndidas iglesias, las hermosas casas y los jardines finamente cultivados; mostrando una cantidad de riqueza, comodidad, gusto y refinamiento, como nunca había visto en ninguna parte de Maryland esclavista.
... Pero lo más sorprendente y lo más interesante para mí fue la condición de la gente de color, muchos de los cuales, como yo, habían escapado allí como refugio de los cazadores de hombres. Encontré a muchos, que no habían estado siete años fuera de sus cadenas, viviendo en mejores casas y evidentemente disfrutando más de las comodidades de la vida que el promedio de los propietarios de esclavos en Maryland. Me aventuraré a afirmar que mi amigo, el Sr. Nathan Johnson... vivía en una casa más ordenada; cenamos en una mesa mejor; tomó, pagó y leyó más periódicos; entendía mejor el carácter moral, religioso y político de la nación, que las nueve décimas partes de los propietarios de esclavos en el condado de Talbot, Maryland. Sin embargo, el Sr. Johnson era un hombre trabajador. Tenía las manos endurecidas por el trabajo, y no sólo las suyas, sino también las de la señora Johnson.

¿Existen otros datos históricos que respalden o contradigan las observaciones de Douglass? Por ejemplo, ¿los comerciantes del noreste urbano vivían comúnmente con mayor comodidad material que los dueños de plantaciones esclavistas en el sur? ¿Existen registros sobre la distribución de la riqueza y la estratificación en los estados esclavistas frente a los libres en este momento?