早在尔朱荣认识高欢时，对高欢能让马匹乖乖地站着让他清洗，感到十分惊讶，就问高欢：“贺六浑（高欢的鲜卑名字)，你是如何做到的？”高欢就回答说：“不管是对人还是对待牲畜，软硬兼施才是唯一方法。”尔朱荣因此对他记忆十分深刻，开始拔擢他。
后来，高欢的儿子一个接一个的出世，到了他们成长后，有一次，高欢想看看几个儿子中哪个是最有计谋的，于是他给每个儿子发上一堆乱麻，让他们尽快理清，大儿子一根根慢慢抽，越抽越乱，小儿子将乱麻分成两半然后再分开。
几个儿子想方设法想要解开这堆乱麻，摸索了许久都没有办法解开。
次子高洋就问：“阿父，这捆乱麻还有何用途？”
高欢就说：“乱成这个样子，都无法再用了。”
高洋听后，走去厨房取了一把菜刀出来，一刀一刀地将乱麻砍断，几刀砍下去再理出一缕缕短麻来递给父亲高欢看。然后就说：“阿父，我解开乱麻了。”
高欢见后就问他：“为何要这样做？”
高洋就答：“阿父，乱则需斩。”
高欢听后十分高兴，认为高洋的话十分有理，还夸奖他的做法为“快刀斩乱麻”。这也是“快刀斩乱麻”一语的典故由来，自北魏流传至今。
高欢的长子高澄自幼聪颖过人，能言善辩，十岁时曾领父命，独自前往信都，招降高敖曹。十一岁时，以高欢特使的身份，两次去洛阳朝觐孝武帝元修。十二岁时，娶东魏孝静帝元善见的妹妹元仲华为妻。
高澄还经常被高欢叫去谈论时事政务，每次都对答如流，并且详加剖析，丝丝入扣，深得高欢赏识，允许他参与军国要务的筹划。
东魏天平三年（536年），高澄自请入东魏朝廷辅政，并加领左右京畿大都督。朝臣们虽听说高澄年少老成，有风度、有见识，但总觉得他是个少年，心里并不服气。当看到他驾驭全局，有胆略、有气魄，在朝堂上做宰相时听断如流，处理问题及时妥帖，不由得个个心悦诚服。
到了元象元年（538年），高澄还兼任吏部尚书，高欢长居晋阳时，就是高澄为他在邺城处理政务，监视皇帝，成为高欢的得力助手。
而次子高洋出生时，正是父亲高欢参加杜洛周起义军，归顺葛荣，成为亲信都督。后叛降尔朱荣，并收编六镇余部，镇压青州流民起义的期间。
当时因为逃避葛荣追杀，一家人避走并州躲藏，那时高欢家徒四壁，其母娄昭君见一家人都没有生计，正为生活而担忧。高洋当时刚出生只有几个月大，还没有学会说话，竟然说出了“得活下去”这几个字，娄昭君及左右之人都吃惊地说不出话。
高洋幼时其貌不扬，沉默寡言，其实“神彩英畅，言辞敏洽”，公明刚断，雄才大略，虽常被兄弟嘲笑或玩弄，但其才能甚得父亲高欢的欣赏。
高洋的韬光养晦， 不仅成功化解了高澄的猜忌、保护了自己， 也几乎瞒过所有的臣僚。 东魏孝静帝天平二年（535年），那年，高洋才仅仅9岁多些，就被授为散骑常侍、骠骑大将军、仪同三司、左光禄大夫、太原郡开国公。
娄昭君对待长子和次子的态度则有所不同，她尤其喜欢长子，对次子高洋则认为他过于内敛，为人阴险有余，光明正大不足，不是心胸坦荡之人，因而时常对他进行说教，希望能改变他的内心世界。
但是高洋对母亲的说教并不理会，相反他更喜欢亲近父亲，学习父亲的处世之道，与群臣打交道。
少年时期的高洋相对于年长他五岁的大哥更懂得世故人情，他从不张扬，喜怒不形于色，是一众兄弟之中最具谋略胆气之人，高欢对这个外表与自己迥异的儿子反而更加钟爱。
高欢在两个儿子尚是少年时期就着力培养，不仅将朝政大事都交与他俩处理，自己远在晋阳时，还完全放心地让两个少年代表自己去统领百官，更甚至代表自己出使其他国家，为日后建立北齐政权产生了极重要的作用。