殷芸性情风流倜傥，勤学自洁，博洽群书。武帝时曾经命作小说三十卷，世称殷芸小说。如牛郎织女的故事就始载于殷芸《小说》:“天河之东有织女,天帝之子也。年年机杼劳役,织成云锦天衣,容貌不暇整。帝怜其独处,许嫁河西牵牛郎,嫁后遂废织。天帝怒,责令归河东,但使一年一度相会。”经后人加工该故事流传至今。至隋时此书已不完全，仅存十卷。明初此书尚存，以后不见，如今只有零篇散见于其他书中。鲁迅先生《古小说钩沉》中有辑本。殷芸小说是采集群书而成的，如《世说》、《冲波传》、《鬼谷先生书》等，其编排的次第以时代为先后，从周、汉，到南齐，只把帝王的事迹放于卷首。这是研究中国古典小说重要的资料。