W3C sugiere que aun no se use HTML5 (y la verdad es que aun esta muy temprano, de pronto el proximo año).
Una forma de hacerlo en HTML4:
<object width="300"> <!-- El tamaño es el que quieras --!>
<param name="src" value"mi_video.formato">
<param name="controller" value="true">
<param name="autoplay" value="false">
<embed controller="true" autoplay="false" width="300" src="mi_video.formato">
</embed>
</object>
Debes de usar un formato comun (nada de .wmv o similares).