Agradeça pelo lado bom: a regra clara que ele expressa e o fato de você ter mais opções de trabalho do que a média das pessoas na sua condição (poucos podem trabalhar com o pai).
Entenda que o mundo do trabalho é mais ou menos assim em todo lugar. As pessoas só não falam isso porque não é bonito, mas é meio que a vida real.
Talvez você possa aprimorar a comunicação com ele, o que geralmente exige mudar o seu padrão, não o dele.
E sempre há a porta de saída, que em alguns casos é a melhor solução.
Comento nesse vídeo de 2 min.