Aplicación web de hoja de cálculo en línea que puede ver 10 millones de filas

Una opción que podría estar en un navegador o en una ventana de comando/terminal es la combinación de Python , ipython y Pandas plus en un navegador Jupyter ; sin embargo, no se parece mucho a una hoja de cálculo. Sospecho que esto no sería un gran problema ya que pocas personas tienen el tiempo o la inclinación para leer 9 millones de filas y estarían mirando porciones de dichos datos o creando resúmenes como mínimo, máximo, media, SD, etc.

Solo para probar el punto, generé un archivo .csv con 10,000,000 filas x 15 columnas (la primera columna un número secuencial, la segunda un número entero aleatorio en el rango 1..5000000 y el resto "abcdef" y tomó algunas medidas con un última columna en blanco debido a que terminé cada línea con una coma. Estoy usando una computadora portátil con Python 3.6.5 (v3.6.5:f59c0932b4, 28 de marzo de 2018, 17:00:18) [MSC v.1900 64 bit (AMD64 )] bajo Win10/64.

Tiempos del símbolo del sistema de ipython:

%time df = pandas.read_csv('big.csv')
Wall time: 25.3 s
%time df = df.sort_values('Col_0') # This is the random number column
Wall time: 19 s
%time df['Col_0'].mean() 
Wall time: 183 ms
 2499787.4277122
%time df['Col_0'].std()
Wall time: 364 ms
 1443592.9048092277

Por supuesto, con los cuadernos de Jupyter podemos hacer el mismo tipo de cosas en un navegador:

Pandas le permitirá realizar la mayoría de las manipulaciones probables en un conjunto de datos tan grande, incluido el trazado básico y, con la adición de una de las muchas bibliotecas de gráficos, puede producir gráficos sofisticados, etc.

Tenga en cuenta que Jupyter & Pandas se puede ejecutar como una solución de alojamiento propio o a través de un servicio como mybinder.org o colab.research.google.com/notebooks/welcome.ipynb o alojado en AWS o similar.

CSV Explorer es una herramienta en línea para abrir grandes archivos CSV y hojas de cálculo con millones de filas. Puede buscar, ordenar y filtrar con unos pocos clics.

https://www.CSVExplorer.com