Phạm Xuân Ẩn tên thật là Trần Văn Trung, tên thường gọi là Hai Trung. Ông sinh năm 1927 tại xã Bình Trước, Biên Hòa, tỉnh Đồng Nai, trong gia đình một viên chức cao cấp của chính quyền thuộc địa. Quê gốc của ông tại Hải Dương. Gia đình ông chuyển đến sống tại Huếkhi cụ nội của ông là nghệ nhân kim hoàn được gọi vào Kinh đô để chếtác đồvàng bạc cho triều đình. Ông nội của Phạm Xuân Ẩn là hiệu trưởng một trường nữsinh ở Huế, đã được vua ban kim khánh. Cha của ông là một kỹsưcông chánh cao cấp tại Sở Công chánh, làm công tác trắc địa trên khắp miền Nam. Tương truyền, ông được sinh tại Nhà thương điên Biên Hòa, do chính các bác sĩPháp đỡđẻ. Tuy là một viên chức cao cấp, nhưng cha của ông không nhập quốc tịch Pháp.