Enunciado

La respuesta es $ab=6$.

Como $a^2=6b+5ab$ y $b^2=6a+5ab$, uno tiene entonces

$a^2-b^2 = 6(b-a)$

$(a-b)(a+b) = 6(b-a)$

$(a-b)(a+b+6) = 0.$

Como $a \neq b$, se tiene $a+b+6=0$, de donde $a+b=-6$. Luego, al elevar al cuadrado uno obtiene $a^2+b^2+2ab=36$, por lo tanto $a^2+b^2=36-2ab$. Sin embargo, al adicionar las ecuaciones originales ahora se tiene $a^2+b^2=6(a+b)+10ab$,
y por lo tanto

\[36-2ab = -36+10ab,\]

\[72 = 12ab,\]

\[6 = ab.\]