¿Cuál es el gran OOO para esta suma?

Sí, tienes razón. Si el tiempo de ejecución es como usted afirma $\frac{1}{2}(\sqrt{n} + 1)n$, entonces es $O(n^{3/2})$(y esto es de hecho fácil de verificar: mostrando que $\frac{1}{2}(\sqrt{n}+1)n\cdot n^{-3/2}$tiende a un valor finito (distinto de cero), demostrará que, de hecho, $\frac{1}{2}(\sqrt{n} + 1)n$es asintotico a $n^{3/2}$, o, por definición, es $O(n^{3/2})$).

Por cierto, si $n$es un cuadrado, entonces la suma anterior es muy fácil de calcular mediante la fórmula de suma de Gauss: $1 + 2 +\cdots +m = (m + 1)/2$. Puede hacer esto sin Mathematica.

Y si $n$no es un cuadrado, la suma es en realidad $$\sum_{i=0}^{\lfloor\sqrt{n}\rfloor}i\sqrt{n}=\sqrt{n}\sum_{i=0}^{\lfloor\sqrt{n}\rfloor}i=\frac12\sqrt{n}{\lfloor\sqrt{n}\rfloor}({\lfloor\sqrt{n}\rfloor}i+1).$$

En mi experiencia, la notación O grande se usa como límite, no como asintótica. Entonces, en este caso, su algoritmo es $O(n^{3/2})$, pero más es cierto: el algoritmo es $\Theta(n^{3/2})$, y en el orden exacto de (` $\sim$') $n^{3/2}/2$.

gracias por las respuestas si alguien quiere dejar una respuesta la acepto.