字子幼，华阴（今属陕西省）人，司马迁的外孙。恽素有才干，喜结交天下豪杰儒士，有声于朝。宣帝时为郎。霍光子孙谋反，恽预知其谋，告于帝。霍氏被诛后，因功封为平通侯，未几，迁中郎将，后官至诸吏光禄勋。恽为人坦率大胆，刻薄而好揭人隐私，故多惹众怨，与太仆戴长乐不和。适有人上书奏劾戴，戴误以为杨恽所使，即反告恽言语不敬，恽遂免为庶人，又因故下狱治罪。后复搜得恽《报孙会宗书》，宣帝恶之，以大逆不道之罪斩恽。
