Lo que vos pedís, de crear un PictureBox con todos los controles contenidos en una sola acción creería que no se puede, pero sé dos formas de hacer lo que necesitás:
1) Crea un UserControl con el PictureBox y todos los controles adentro. Vas a tener que programar las propiedades y eventos.
Despues, cada vez, creas un UserControl en vez del PictureBox.
2) Sino, tenés que crear los controles uno por uno, y para meterlos adentro del PictureBox tenes que hacer así:
set txt1(1).Container = pic(1)
y luego poner todas las propiedades Visible, Left, Top, etc de cada uno.
Saludos,
Javier