>    with(LinearAlgebra):

>    A:=Matrix([[1,0,-1],[-2,1,2],[-1,-3,3]]);

>    B:=Matrix([[-1,-2,-4],[-2,1,-4],[-1,-1,-3]]);
C:=Matrix([[0,-1,13],[0,0,6],[0,0,0]]);

A := Matrix(%id = 5143808)

B := Matrix(%id = 13333248)

C := Matrix(%id = 13904404)

Матрица D

>    D_:=A.B+B^(-1)+C;

D_ := Matrix(%id = 12412988)

Определитель

>    Determinant(D_);

336

>