官僚の家系に生まれ、朝廷の裏事情に精通している