¿En qué unidades definió Sir Isaac Newton la fuerza en ese momento ya que el sistema SI no existía entonces?

Si lees el artículo Sobre el concepto de fuerza: cómo comprender su historia puede mejorar la enseñanza de la física te darás cuenta de que las ideas de Newton sobre la fuerza no son las mismas que las de hoy. De hecho, Newton pensó que había diferentes tipos de fuerza.$^1$.
No se propuso ninguna unidad de fuerza hasta 1873 , cuando se introdujo la dina . Históricamente, las fuerzas primero se investigaron cuantitativamente en condiciones de equilibrio estático donde varias fuerzas se anulaban entre sí. La fuerza de cualquier fuerza se expresaba en términos de una atracción gravitatoria equivalente, con pesos o masas medidas en granos .

$^1$He añadido una ampliación como resultado de un comentario de @terry-s.
Lo que @ terry-s ha escrito es ciertamente cierto como se explica en The - Stanford Encyclopedia of Philosophy, Newton's Philosophiae Naturalis Principia Mathematica, 4. "Definitions" y espacio, tiempo y movimiento absolutos

Newton distingue entre tres formas de cuantificar las fuerzas centrípetas: la cantidad absoluta, que corresponde a lo que llamaríamos la intensidad de campo de un campo de fuerza central; la cantidad acelerativa, que “es la medida de esta fuerza que es proporcional a la aceleración generada en un tiempo dado”; y la cantidad motriz, que es la medida de la fuerza proporcional a lo que llamaríamos el cambio de momento lineal en un tiempo dado.

En Los Principios. Precedido por A Guide To Newton's Principia By I. Bernard Cohen: Mathematical Principles Of Natural Philosophy, se encuentra el siguiente párrafo:

Otra novedad significativa de la segunda edición fue la introducción de una conclusión a la gran obra, el célebre Escolio general que aparece al final del libro 3. La edición original terminó de manera bastante abrupta con una discusión sobre las órbitas de los cometas, un tema que constituye alrededor de un tercio del libro 3. Al principio, Newton había ensayado una conclusión, pero luego cambió de opinión. Sus intenciones fueron reveladas en 1962 por A. Rupert Hall y Marie Boas Hall, quienes publicaron los borradores originales. En estos textos, Newton muestra que tenía la intención de concluir los Principia con una discusión sobre las fuerzas entre las partículas de la materia, pero luego pensó mejor en introducir un tema tan controvertido. Mientras preparaba la segunda edición, Newton pensó una vez más en un ensayo sobre "la atracción de las pequeñas partículas de los cuerpos", pero sobre " Este Escolio General termina con un párrafo sobre un "espíritu" que tiene ciertas propiedades físicas, pero cuyas leyes aún no han sido determinadas por experimentación. Nuevamente, gracias a las investigaciones de A. Rupert Hall y Marie Boas Hall, ahora sabemos que mientras redactaba este párrafo, Newton estaba pensando en los nuevos fenómenos de la electricidad. Este Escolio General termina con un párrafo sobre un "espíritu" que tiene ciertas propiedades físicas, pero cuyas leyes aún no han sido determinadas por experimentación. Nuevamente, gracias a las investigaciones de A. Rupert Hall y Marie Boas Hall, ahora sabemos que mientras redactaba este párrafo, Newton estaba pensando en los nuevos fenómenos de la electricidad.

Las fuerzas sobre las partículas de materia se elaboran sobre:

En un borrador del General Scholium (ULC MS Add. 3995, fols. 351-352, publicado por Rupert y Marie Hall), Newton describió, pero no dio detalles sobre la atracción entre "partículas muy pequeñas", explicando que es “del tipo eléctrico”. Luego enumera brevemente algunas de las propiedades de lo que llama “el espíritu eléctrico”. Desde esa publicación en 1962, no ha habido duda de que el “espíritu” mencionado en el párrafo final del Escolio General es eléctrico.

En la época de Newton, no era una práctica general definir unidades físicas. En general, no había ecuaciones, ni constantes de proporcionalidad.

Esto parece explicarse en términos de la práctica de expresar relaciones físicas por proporción, de modo que, si uno piensa en términos de analogías modernas, cualquier constante de proporcionalidad simplemente se cancela. Creo que un tema de discusión anterior ilustra esto. Así que sugeriría mirar Quién derivó primero$a =v^2/r$, especialmente en la parte (b)(3) de la respuesta. Esto muestra una traducción al inglés de la descripción de Huygens de varias relaciones físicas, todas relacionadas con la fuerza centrífuga (el quinto párrafo de (b)(3) es el comienzo de la traducción). Las relaciones se expresan en términos de proporciones, no de ecuaciones, y el extracto muestra cómo el estilo entonces utilizado no requería unidades ni constantes de proporcionalidad. Espero que eso ayude.

La física no es matemática y, por lo tanto, siempre se requieren unidades, ya sea explícitamente como hoy o implícitamente como en el día de Newtom.

Parece que en el tiempo de Newton la fuerza se expresaba generalmente en términos de un peso equivalente. Esta es una cualidad natural para usar incluso si la unidad de tal se deja sin determinar.