公司设立必须依法进行的程序包括制定公司章程、进行公司注册登记、取得营业执照和办理税务登记。公告公司设立并非所有公司设立都必须进行的法定程序，因此不选E。