Удаление и переименование файла

Используйте java.nio.file API. Это 2015 год.

final Path src = Paths.get("Elements.txt").toAbsolutePath();
final Path tmp = src.resolveSibling("Elements.txt.new");

try (
    final BufferedReader reader = Files.newBufferedReader(src, StandardCharsets.UTF_8);
    final BufferedWriter writer = Files.newBufferedWriter(tmp, StandardCharsets.UTF_8,
        StandardOpenOption.CREATE_NEW);
) {
    // yadda yadda
}

Files.move(tmp, src, StandardCopyOption.REPLACE_EXISTING);

File ненадежно. Так было всегда.

в таком случае я бы начал возиться, читать документацию и, возможно, немного погуглить. Но я тоже дам вам ответ!

inputFile.delete ();

Это может пойти не так, например, если ваш файл открыт в текстовом редакторе. К счастью, delete() возвращает логическое значение, попробуйте это проверить!

Также, как правильно заметил Нильс, File.renameTo() совершенно ненадежен, если у вас есть доступ к Java 7, используйте альтернативу files.nio. В Java 7 вы можете использовать Files.move(Path source, Path target, CopyOption... options)

Документы для файлов Java 7: http://docs.oracle.com/javase/7/docs/api/java/nio/file/Files.html.

Но у меня сам ваш код работает правильно. Я только меняю путь к файлу и убеждаюсь, что файл не открывается в редакторе

public class NewClass {

public static void main(String[] args) {
    try {
        delete();
    } catch (IOException ex) {
        Logger.getLogger(NewClass.class.getName()).log(Level.SEVERE, null, ex);
    }
}

public static void delete() throws IOException {
    File inputFile = new File("C:\\Users\\olyjosh\\Desktop\\Elements.txt");
    File tempFile = new File("C:\\Users\\olyjosh\\Desktop\\myTempFile.txt");

    BufferedReader reader = new BufferedReader(new FileReader(inputFile));
    BufferedWriter writer = new BufferedWriter(new FileWriter(tempFile));

    String element = JOptionPane.showInputDialog(null, "Enter the name of the Element you wish to delete.", "Remove an Element.", JOptionPane.INFORMATION_MESSAGE);;
    String currentLine;

    while ((currentLine = reader.readLine()) != null) {
        String trimmedLine = currentLine.trim();
        if (trimmedLine.startsWith(element)) {
            continue;
        }
        writer.write(currentLine + System.getProperty("line.separator"));
    }
    writer.close();
    reader.close();

    inputFile.delete();
    tempFile.renameTo(inputFile);

    JOptionPane.showMessageDialog(null, "Data has been removed from the file: Elements.txt");
}

}