Actualizar

Como predije originalmente, el cableado es propietario y las señales de control de flujo son un desastre. @SofaKng realizó ingeniería inversa del cable oficial y produjo esta tabla (reproducida aquí):

RJ45 pin,   DB9 pin (female)
----------------------------
  1           1
  2           6 + 8
  3           2
  4           5
  5           5
  6           3
  7           4
  8           7

Original

Te perdiste un detalle clave. Su cable de conexión RJ-45 es un módem nulo . Eso significa que está al revés. Obtuviste todos tus pares al revés (conectaste TX a TX, RX a RX, etc...)

Suponiendo que está utilizando un cable de conexión directo...

• como indicaste que estas con tu comentario "estandar TIA-568B"
• debe usar el pedido TIA-568B en ambos extremos de su cable de conexión

... va de esta manera:

Device Signal, RJ-45 Pin#, DB9 Pin#, PC Signal
----------------------------------------------
> DTR 1 --- 6 DSR   
> GND 2 --- 5 GND
> RTS 3 --- 8 CTS
> TxD 4 --- 2 RXD
> RxD 5 --- 3 TXD
> DSR 6 --- 4 DTR
> GND 7 --- 5 GND <-- note: repeats, bussed to device #2
> CTS 8 --- 7 RTS
> RI  9 --- 9 RI  <-- doesn't actually fit in an RJ-45 (only 8 signals), probably safe to ignore if I read their diagram correctly

El DB9 en una PC está conectado de esta manera (ver figura). Tenga en cuenta cómo se invierte el módem nulo de la lista de tablas que proporcionó. Eso se debe a que su cable RJ-45 está invertido en módem nulo para cancelarlo. Difícil y tonto, pero así es como eligieron implementarlo.

Algunos otros pensamientos...

En realidad, al rastrear el diagrama, me di cuenta de que hacen algunas cosas muy extrañas con las señales de control de flujo. Por ejemplo, cortan CTS y DSR en el lado de la PC, pero no en el otro lado. Enrutan RTS en el lado de la PC a DSR en el lado del dispositivo. Y otras rarezas.

Esta puede ser una mala documentación, pero sospecho que han implementado firmware/software personalizado que hace uso de las señales de control de flujo de manera no estándar como un medio para garantizar que solo compre y use sus cables y adaptadores.

Te sugiero que hagas dos medios cables. En un extremo, vaya el RJ-45 al cable sin terminar y el otro vaya al DB9F al cable sin terminar. Luego, puede abrirse camino a través de todas estas configuraciones extrañas hasta que lo haga bien. Comenzaría con mi mapeo sugerido. Si eso no funciona, infórmanos y te daré mi mapeo para todas sus rarezas en las líneas de control de flujo.

¡Buena suerte! =)

Terminé ordenando un cable y un adaptador prefabricados de Pacific Custom Cables y funcionaron, así que verifiqué el pin-out del RJ45 (módem nulo) a DB9.

Basado en su pin-out, hice un nuevo cable (RJ45 engarzado en un extremo, DB9 hembra soldado en el otro extremo) y aquí está el pin-out de trabajo:

RJ45 pin,   DB9 pin (female)
----------------------------
  1           1
  2           6 + 8
  3           2
  4           5
  5           5
  6           3
  7           4
  8           7

No entiendo por qué ese es el pin-out, pero eso es lo que funciona y el pin-out de los cables y adaptadores "oficiales".