曹操任为琅邪相，又各任用吴敦等，割青、徐二州委任于臧霸。

当初曹操在兖州时，以徐翕、毛晖二人为将，兖州乱起，徐、毛二人皆叛，后来兖州之乱平定后，徐、毛亡命出逃投靠。

公元199年曹操命刘备起行往见，并命奉上二人首级，刘备所将所言告诉曹操，于是皆以徐、毛二人为郡守。

后来曹操与袁绍相拒，数以精兵投入青州，所以曹操不用顾念东方之事，能专心应付袁绍。

公元205年，曹操破袁谭于南皮，前往祝贺，便求遣子弟及诸将之父兄家属前往邺城。

当时东州扰攘不止，执正匡义，征暴伐虐，清定海岱，其功莫大，于是皆封列侯，因功拜为都亭侯，加威虏将军。

公元206年与于禁讨昌豨于东海，昌豨降，为于禁引用法令所诛。

公元207年与夏侯渊讨黄巾余贼徐和等，再算上前讨昌豨之功劳，迁为徐州刺史。

沛国人武周时为下邳令，臧霸敬异武周，常到其舍作客，后来武周部从事总詷不法，武周得其罪，被收监查究，却不嫌弃武周，反而更加亲善。

公元209年张辽围剿陈兰时，与于禁征讨梅成，因于禁中伪降计，梅成得以率其三千余与陈兰汇合于灊山。

于是被曹操调到皖，讨伐孙权大将韩当，使孙权不得前救陈兰，韩当派兵阻拦，双方在逢龙展开战斗，韩当另外派兵在夹石口迎击，均被击破，回军屯驻舒城。

孙权派遣了数万人的东吴援军乘船屯于舒口，分兵往救陈兰，但闻知臧霸军在舒城时，立即遁还。

引军乘夜追赶，将及天明，行百余里，向东吴军队前后夹击，东吴军队窘急不堪，不得上船，蹈水而逃者甚众。

于是，东吴的军队未能援助陈兰，于是张辽击灭陈兰，并获得假节。

公元213年，从讨孙权于濡须口，与张辽同为前锋，在行军过程中遭遇了持续的大雨，前锋大军先到江边，见江水上涨，敌船稍稍前进。

倘若霖雨、水涨形成洪灾，将会对于缺乏船只的军队非常不利，因此，张辽、臧霸的将士们都感到不安。

张辽意欲自作主张的撤军，坚持要执行曹操的命令，便劝止张辽，张辽接受了臧霸的建议，于是屯驻了下来。

等他们屯驻到了第二天，果然收到了曹操的撤军令，于是主动撤军，曹操对臧霸加以赞扬。

后来曹操破孙权江西营，获都督公孙阳，但是由于春雨延绵，江水上涨，曹操在濡须口与孙权相持一个月后，最终退兵，战后，被拜为扬威将军，假节。

公元217年，从讨孙权，先登入阵，再入巢湖，攻破居巢，后孙权徐详告降，曹操还师，便留与夏侯惇等屯居巢，公元219年据《魏略》记载，遣别军在洛。