Найдите, какое окно на экране открыто

Для упомянутой цели вы можете позвонить frame.getGraphicsConfiguration().getBounds(). Если вы действительно хотите запросить другие сведения о самом устройстве отображения, используйте frame.getGraphicsConfiguration().getDevice() (а также другие методы в GraphicsConfiguration), которые могут дать вам кое-что интересное.

Вы должны использовать Toolkit

Toolkit tk = Toolkit.getDefaultToolkit();  
int xSize = ((int) tk.getScreenSize().getWidth());  
int ySize = ((int) tk.getScreenSize().getHeight()); 

и после этого просто

frame.setSize(xSize,ySize); 

Если вы хотите максимизировать фрейм, просто вызовите следующий метод

frame.setExtendedState(JFrame.MAXIMIZED_BOTH);