Phương pháp giải:

- Gọi M(x;y;z)

- Thay tọa độ của M vào điều kiện bài cho tìm mối quan hệ của x, y, z.

Lời giải chi tiết:

Gọi M(x ;y ; z) ta có :

\(\begin{array}{l}AM = \sqrt {{{\left( {x - 2} \right)}^2} + {{\left( {y - 1} \right)}^2} + {{\left( {z + 1} \right)}^2}} \\BM = \sqrt {{x^2} + {{\left( {y - 3} \right)}^2} + {{\left( {z - 1} \right)}^2}} \\ \Rightarrow 2A{M^2} - B{M^2} = 4\\ \Leftrightarrow 2\left[ {{{\left( {x - 2} \right)}^2} + {{\left( {y - 1} \right)}^2} + {{\left( {z + 1} \right)}^2}} \right] - \left[ {{x^2} + {{\left( {y - 3} \right)}^2} + {{\left( {z - 1} \right)}^2}} \right] = 4\\ \Leftrightarrow 2\left( {{x^2} - 4x + 4 + {y^2} - 2y + 1 + {z^2} + 2z + 1} \right)\\\,\,\, - \left( {{x^2} + {y^2} - 6y + 9 + {z^2} - 2z + 1} \right) = 4\\ \Leftrightarrow {x^2} + {y^2} + {z^2} - 8x + 2y + 6z - 2 = 0\\ \Rightarrow M \in \left( S \right):{x^2} + {y^2} + {z^2} - 8x + 2y + 6z - 2 = 0\end{array}\)

Mà \(M \in \left( \alpha  \right):x + y + z + 3 = 0\) nên M thuộc đường tròn giao tuyến của mặt cầu (S) với mặt phẳng \(\left( \alpha  \right)\)

(S) có tâm I(4 ;-1 ;-3) bán kính \(R = \sqrt {{4^2} + {{\left( { - 1} \right)}^2} + {{\left( { - 3} \right)}^2} + 2}  = \sqrt {28} \)

\(\begin{array}{l}d = d\left( {I,\left( \alpha  \right)} \right) = \dfrac{{\left| {4 - 1 - 3 + 3} \right|}}{{\sqrt {{1^2} + {1^2} + {1^2}} }} = \sqrt 3 \\ \Rightarrow r = \sqrt {{R^2} - {d^2}}  = \sqrt {28 - 3}  = 5\end{array}\)

Chọn D.