Поскольку А*B = В*А, то
(А^2 + B^2) = (A + iB)(A - iB),
где i - мнимая единица.
Следовательно
det(А^2 + B^2) = det(A + iB)*det(A - iB)
Не знаю, как с клавиатуры набрать знак сопряжения комплексного числа. Числа det(A + iB) и det(A - iB) являются взаимно сопряженными, поскольку это один и тот же полином от взаимно сопряженных переменных. Поэтому det(A + iB)*det(A - iB) есть вещественное число >= 0