パーミッション設定が原因の可能性があります。
パーミッションが 604 のディレクトリは、その配下にディレクトリ・ファイルが存在する場合、削除できません。
削除できないディレクトリと、配下のすべてのディレクトリ・ファイルのパーミッションを 755 に変更してから削除をお試しください。
ファイル所有権がユーザーにない可能性があります。
httpd権限が nobody のサーバー(旧共用サーバー・旧専用サーバー・専用サーバー3G 1シリーズ)をご利用中の場合、PHPなどから生成されたファイルやディレクトリ(フォルダ)の所有権が nobody となり、お客様のユーザーアカウント権限では削除できません。
当社コントロールパネルよりファイルの所有権をお客様のユーザーアカウントに変更し、通常のファイルと同じように削除できるようになります。
下記のオンラインマニュアルをご確認ください。
ファイル名に日本語文字列が含まれている場合、ファイルが破損している場合、シンボリック・リンクなどは削除ができません。削除が困難なときは、サポートセンター まで削除をご依頼ください。