杨愔虽然生长在满门从政的贵族大家庭，祖上也是一直在朝廷上打滚，但杨愔却不是一个真正懂得政治的人，实际上他就是一名胸无城府的知识分子，仅凭着自己的一腔热忱，在尔虞我诈的恶劣政治环境中奋力前行。
他才华横溢，这就使他容易遭到同行的嫉妒；他为人温厚诚实，又使他容易遭到同行暗算。高欢身边有一个名叫郭秀的人，肚子里没有多少能耐，但却聪明机灵，极懂钻营之道，深受高欢喜爱。
这样的人往往有一种专宠的心理，不希望其他人尤其是有才华的人与君主接近。杨愔十分受高欢欣赏，无形中成了郭秀内心忌惮、排挤的对象。
当然，杨愔还蒙在鼓里，因为以他的书生意气，自然是做梦也想不到自己会得罪郭秀。
杨愔为人诚实，从不争名逐利，又深得高欢赏识，按说郭秀找不到排挤的机会，但是，他利用杨愔在政治上的诚实和幼稚，还是达到了目的。
事情的导火线是杨愔有一个堂兄名叫杨稚卿，曾官至刺史，后来因为说话无忌惮，犯了高欢的禁忌，被高欢下令处死。
杨愔听到消息后，既伤心又惊恐，后来还因此忧郁成病。杨愔听了朋友的劝告，打算去雁门（今山西代县西）用温泉治疗疾病。
于是，他向高欢请病假，高欢也准了。当杨愔到了雁门温泉后。收到了郭秀的一封信。
原来这个郭秀是个很会揣摩他人心思的人，话说但凡聪明却没有什么才华的人，大多数都有这项特长。
当时的政局是高欢立了年仅十一岁的元善见为皇帝，尊为孝静帝。高欢利用幼稚的皇帝来排除异己。
他最常用的手法就是玩借刀杀人的把戏。把自己不喜欢的人送到皇帝的身边，然后就在皇帝和此人之间挑拨离间，制造矛盾，假借皇帝的手除掉此人。
高欢自己则装出一副无可奈何的模样，而杀人的恶名就落到了皇帝的头上。
郭秀利用高欢这个把戏，写信给杨愔，对他说：
“大行台在杨贤弟请了病假后，就对身边的人说，贤弟因为堂兄的死而心生怨恨，估计这次借口请病假是想另投他人，只等贤弟回来，就寻个理由将贤弟送到皇帝的身边，好让皇帝除掉你。
愚兄是不小心听到了大行台的话，才急忙写信给贤弟，为了保全贤弟的性命，愚兄劝贤弟还是赶紧逃命吧，千万不要再回邺城了。”
杨愔看了郭秀的信后，内心十分恐惧，他因为堂兄杨稚卿被杀，原本就脆弱的心灵被郭秀的信吓得寝食难安。
他左思右思，强大的心理压力使他变成了惊弓之鸟，于是杨愔决定假死逃跑，从此隐姓埋名以逃避高欢的杀害。
此时的杨愔内心还十分感激郭秀对自己的提醒，心想幸亏有郭秀这封信，自己才幸免于难。
杨愔这位在政治上十分幼稚的读书人，轻易就被郭秀这个小人蒙骗。他自己跟随了高欢几年，但还是没有真正地了解高欢对自己的态度。
杨愔除下自己的衣帽，然后扔在水边，伪装成自己已经失足落水被淹死的假象。然后自己就改名换姓，自称叫刘士安，逃进嵩山，与一名叫昙漠的和尚做邻居，隐居在山中，做了一名隐士。
之后，杨愔偷偷地来到光州（今山东掖县）的一个叫四横的孤岛上。在岛上做岛民孩子的老师。
海岛上的岛民都称赞这个刘士安是一名素养极高的老师，尊称他做刘夫子。
话说高欢过了很长时间都不见杨愔回来复职，心中感到十分疑惑。便派人去雁门寻找，打探他的下落。
后来打探的人回来禀报说在山东掖县的一个岛上有一个刘先生酷似杨愔。高欢听到消息后，十分高兴。
他找来了杨愔的另一个叫杨宝猗的族兄弟，让他带上自己的亲笔信去海岛寻找那位刘先生，看看是不是杨愔。
杨宝猗来到岛上，打探到这位刘夫子的住处，便敲门求见，门一打开，果然就是杨愔。
杨宝猗惊喜交加，他一把抱住杨愔，高兴地说：
“杨兄弟，果然是你，你原来没有死啊，真是祖先保佑了。”
杨愔起初一脸懵逼，看清楚原来是自己的族兄弟杨宝猗时，他大吃一惊，问：
“大哥，你是如何找到这儿来的，是不是大行台连你也不放过了？”
“哎呀，我的傻兄弟啊，是大行台听闻你失踪后，找人到处打探你的消息，听闻这儿的岛上有位刘夫子十分似你，便派愚兄前来认一认是不是你，大行台对你十分关顾，你为什么要跑到这个荒岛来做夫子的？”
杨愔听后，就把郭秀的信拿出来给族兄看，杨宝猗看信后才知道自家的这个没有机心的“傻”弟弟遭人暗算，被郭秀这个小人嫉妒，寻借口吓走了他。
杨宝猗拿出了高欢的亲笔信，递给杨愔看。杨愔看后才知道高欢对自己是十分看重的，根本就没有谋害自己的心思，还在信里再三要求杨愔见信后速返晋阳。
高欢还写了信给光州刺史，命令他协助搜寻杨愔，寻到后要以礼相待，护送他返回晋阳。
光州刺史奉命来到海岛上，找到了杨愔后，对他十分客气，派亲卫一路护送杨愔返回晋阳。
高欢见到杨愔后，十分欣喜，对杨愔没有说一句责备的话，还马上任命他为次子高洋的太原公开府司马。
正是因这个机缘，令杨愔有机会和高洋合作办事，受到高洋的赏识信任，为日后高洋登基称帝后获得他的重用提供了重要的条件。
高欢还问杨愔：“遵彦可有定亲？家中是否有媳妇孩子？”
杨愔答：“禀大行台，下官因为年少时被俘关押，一直未有机会说亲事，后来因为家中遭逢巨变，需要守丧，依礼不能定亲，故一直拖延至今，尚未婚配。”
“如此，本公家中有一庶女，行年十五了，已到了配婚的年龄，不若遵彦改日来府上相亲，如果没异议的话，遵彦做本公的女婿如何？”
杨愔一听，简直受宠若惊，他心知高氏一门都是俊男美女，除了高洋外。高欢的庶女相信也不是一般女子可媲美的。更何况高欢的妾室原来都是皇后、王妃出身，身份一点也不差。
他马上答道：“下官蒙大行台不嫌弃，高攀府上，只要府上的小娘子不嫌弃下官，下官就厚颜应允了。”
“如此甚好，改日到府上见见小女吧，这事还得本公爱妃同意方能成事的。”
过了几天，杨愔依约带上礼物，来到了高欢在晋阳的大丞相府，他第一次见到渤海王妃娄昭君。只见在高欢的旁边坐着一个美妇人，衣着端庄又雍容大气。
杨愔上前行礼说：“下官杨愔拜见大丞相、王妃，今天唐突来访，望王妃勿怪，小小意思，权表孝心。”
娄昭君见面前这个年轻书生，一脸诚意，衣着打扮得体大方，人又彬彬有礼，对杨愔的印象不差，她微笑着说：
“杨公子，客气了，既是丞相邀请来作客，何须带备厚礼呢，素闻丞相说杨公子是青年才俊，今日一见，果然是闻名不如风面呐，杨公子请落坐说话。”
“来人，看座。”
娄昭君一声吩咐，就有仆人搬来椅子放在杨愔的身边。又摆上茶几，奉上香茶，点心。
双方客气地寒暄一番，高欢就请杨愔去他的书房说话，杨愔尾随着高欢来到他的大书房里，高欢随手拿出一叠公文文件递给杨愔，他接过来一看，原来是高欢的长子高澄命人制定的法律规条大纲。
当时高澄任职尚书令，统管百官，总领东魏朝政。高欢对杨愔说：
“遵彦，你帮忙看看，这些律法规条有什么需要修改的地方，这是澄儿命人校订的，他呈给本王审核，本王没这个功夫细查，你便替本王做好这个工作吧。”
“是，下官遵命，回去好好复查一遍。”
这时，外面走进来一个妙龄少女，长得姿色可人，活泼伶俐，一见到高欢就说：
“父王，女儿今天做了新款的糕点，您可要好好品尝。看味道好不好。”
少女侧眼一看还有一个陌生男子在书房内，不禁呆了一呆。高欢向她笑着说：“阿离，今天为父带了杨家郎君来作客，你过来见一见。”
“是，父王。”
少女说着放下手上捧着的糕点盘子，屈膝向着高欢行礼说：“女儿见过父王。”
然后又侧身对杨愔说：“小女见过杨郎君”。
杨愔也拱手向她回礼说：“不才杨愔，见过阿离小娘子。”
杨愔此时也知道，这位一定是高欢口中所说的要配婚给自己的女儿了，始终是第一次见面，他不禁脸上微微发红。