順を追って説明します。
まず、ベクトル a と b のなす角は以下の式で求められます。
では平面とベクトル a のなす角は??というご質問ですが、考えてみると平面の法線ベクトルを使って求められそうです。
たとえば平面の法線ベクトルを n とすると、n と a がなす角は上の式で求められます。
一方、平面と法線ベクトル n のなす角は定義より
[rad] なので、ベクトル a と平面のなす角を ϕ とすると
- (n と a がなす角) [rad]として求めることができます。
たとえば x-y 平面とベクトル a のなす角 [rad] をMATLABで求めると、以下のようになります。
phi = (pi/2) - acos(dot(a,n)/(norm(a)*norm(n)));
fprintf('%f [rad] (%f [deg])', phi, phi_deg)
0.930274 [rad] (53.300775 [deg])