procedure TForm1.Button1Click(Sender: TObject);
begin
   ShowMessage( {$IF DECLARED(TFmxObject)}'FMX'{$ELSE}'VCL'{$ENDIF} );
   // или немного иначе
   // ShowMessage( {$IF NOT DECLARED(TFmxObject)}'VCL'{$ELSE}'FMX'{$ENDIF} );
end;