Problema de enfoque: ¿causa posible?

Tomé una serie completa de fotografías de edificios catalogados locales, para poder agregarlos a wikimedia, hasta que vi los resultados.

D5500 con Nikkor 24-120 mm VR 3.5/5.6G 50 mm ISO 100 1/320s f4.8

Imagen completa [jpg ⅓ tamaño real, clic]

detalle - captura de pantalla con zoom x2

Fotografías tomadas sin trípode, pero diría que es demasiada distorsión para ser un desenfoque de movimiento a 1/320, reforzado por el hecho de que todas mis fotografías se ven afectadas de manera similar, incluso con exposiciones más rápidas. Estaba entre paréntesis, por lo que algunos están a 1/600 o más. La realidad virtual estaba activada. También tenía un polarizador para ayudar con las nubes.

Detalle de una imagen similar tomada el mismo día con solo la lente del kit a 18 mm, 1/125 f4, también con CPL: la misma ampliación de 2x que la anterior.
No es perfecto, pero no muestra nada como el desenfoque del 24-120

He notado que este 24-120 muestra una mala aberración de color antes, cuando lo uso en tubos de extensión para macro, por lo que incluso en condiciones altamente controladas con buena iluminación y múltiples exposiciones manuales en un riel de enfoque, todavía no es bueno.

De lo contrario, habría culpado a la CPL, quizás dando algún reflejo interno, pero realmente tengo que llegar a la conclusión de que esta lente no enfoca correctamente en mi cámara.
No tengo medios para ajustar y guardar el enfoque automático en la cámara, no es una característica de la D5500.
Quizás también culparía a la apertura relativamente amplia, tal vez debería haberlo reducido, pero la lente del kit resultó más nítida en una apertura más amplia.

¿Es esto solo una "lente sin valor" en los términos más amplios?
[Tengo que decir que nunca me ha gustado mucho, pero me lo regalaron, así que nunca le mires los dientes a un caballo regalado]

¿Hay algo en mi técnica de novato que pueda hacer para mejorar esto, o es solo el momento de obtener una 'mejor lente'?

(No se usa para esta comparación en particular, pero también tengo un 50 mm 1.4 y un Tamron 70-300 mm f4-5.6, ninguno de los cuales muestra una falla de enfoque tan evidente)

Después de los comentarios:
volví a la ubicación para probar algunos experimentos más. Eliminé el CPL de la ecuación, pero agregué un ND variable a mi 50 mm para reducir la luz y obtener exposiciones más largas, solo para comparar. Estos se ensamblan [muy] rápidamente a partir de mis resultados...
_{[nuevamente, haga clic para ver más grande]}

24-120 mm
a) una de las tomas del grupo -1 EV de la primera sesión, con filtro y VR [para eliminar el movimiento de exposición prolongada de la ecuación]
b) hasta d) sin filtro, sin VR
b) apertura más estrecha
c)/d ) apertura original, exposición rápida

50 mm para la comparación
a) 1/40 para mostrar qué tan estable puedo sostener la cámara; no es perfecto, pero está bien.
b) configuraciones similares a las fotos de mi problema
c) comparación con una apertura más estrecha
d) comparación con una apertura total