紅杏出墻最早的出處，可能是宋代的話本《西山一窟鬼》。其中形容女子有"如捻青梅窺少俊，似騎紅杏出墻頭"。這個話本說的是裴少俊和李千金不顧禮教的戀愛情事。元代白樸根據此話本，還寫成著名雜劇《墻頭馬上》。到了元代以后，"紅杏出墻"的用法就愈加明顯起來。比如"恰便似一枝紅杏出墻頭，不能夠折入手，空教人風雨替花羞"。到了近代，"紅杏出墻"的用法就固定了下來。鴛鴦蝴蝶派的劉若云，還寫了名作《紅杏出墻記》。紅杏出墻：原意指紅色的杏花穿出墻外，形容春色正濃，情趣盎然。喻意妻子有外遇。