회사내 PC를 이용해서 ubuntu server 를 운영하고 있다. 이 서버는 회사에서만 사용하는 사내 서비스만 제공하기 때문에 회사에서 남는 PC를 이용해서 사용하고 있다.
어제 주기적으로 와야 하는 slack 알람이 안 오는 것을 보고 혹시 서버가 이상하냐는 생각과 함께 ssh 접속을 시도 했다. 접속 자체가 아예 동작하지 않았다. 이 사내 서버는 여러 서비스를 돌리고 있는 동작해야 하는 웹사이트도 접속되지 않았다. 그래서 이 PC를 강제로 재부팅 시켰다.
이 서버는 하도 많은 일을 하다보니 수요일날 아침 8시에 자동으로 재부팅 시키고 있었다. 재부팅하지 않고 사용하면 이상하게 여러 문제가 생기는 것을 경험했다. (가장 많은 문제는 out of memory 가 발생한다는 것이다. ) 단순히 웹서버 뿐만 아니라 다양한 역할을 하다보니 이런 일을 그러려니 하고 있다.
그래서 내 추정으로는 뭔가 작업을 하다나가 너무 많은 일을 하다보니 재부팅 하는 시간이 되었지만 프로그램을 완전히 종료하지 못하고 뭔가 문제가 생기는 것 아닌가 하는 의심을 했다. 구글 제미나이와 많은 토론을 통해 그것이 맞다고 확인했다.
last reboot | head -n 5
을 이용하면 재부팅한 기록을 볼 수 있다고 했다. 이것으로 아침 8시 재부팅이 동작하지 않았다는 것을 확인 했다.
그리고
sudo journalctl --since "2026-05-06 07:55:00" --until "2026-05-06 08:10:00"
을 통해서 상세한 동작을 확인 할 수 있다고 했다.
어째든 이 방법으로 종료 자체가 되지 않았다는 것을 확인 했다.
내 경우 crontab 을 이용해서 서버를 재시동 시키고 있었다.
0 8 * * 3 /sbin/reboot
으로 매주 수요일날 아침 8시에 재부팅 하도록 하고 있었다.
구글 제미나이와 토론을 해서 일정시간이 지나도록 종료가 안되면 강제로 종료하는 방식으로 처리 하도록 했다.
| 주석 해제 필요 sudo vim /etc/systemd/system.conf ==== system.conf === DefaultTimeoutStopSec=300s ======== 저장후 재설정 sudo systemctl daemon-reexec |
300초가 지나도록 종료가 되지 않으면 강제로 종료하도록 했다.
이렇게 일을 처리하고 나니 구글제미나이가 너무 잘 해결해 주어서 내 역할이 뭔가 하는 자괴감이 든다.
이렇게 간단히 적었지만 구글 제미나이와 처절한 토론이 있었다는 것을 꼭 강조하고 싶다.
물론 제미나이를 믿지 못해 검색으로 검증도 했다.