한 줄 요약: 석 달 동안 멀쩡히 돌던 봇이 11월 17일 낮 12시부터 실행할 때마다 실패했다. 원인은 서버가 아니라 Remove Duplicates 노드가 쌓아 온 “이미 본 기사” 기록이 한도(기본 1만 개)에 닿은 것이었다. 기록을 지우면 옛 기사가 다시 날아오기 때문에, 한도를 10만으로 올려 해결했다.
이런 분께 도움이 돼요: n8n에서 “이전 실행에서 처리한 항목 제외” 방식의 중복 제거를 쓰고 있는 분, 자동화가 몇 달째 잘 돌고 있어서 손 놓고 있는 분.
Before — 이틀 만에 또 멈췄다
이틀 전(11/16)에 한 번 크게 멈춘 적이 있다. 구글 클라우드 무료 체험(90일)이 끝나 서버(VM)가 꺼졌던 것이다. 유료로 바꾸고 서버를 다시 켜서 살려 놨다.
그런데 11월 17일 12시 실행부터 다시 실패가 이어졌다. 텔레그램 요약도, 위키 자동 커밋도 오지 않았다.
이틀 전 일이 있었으니 자연스럽게 “또 서버 문제인가?” 부터 떠올랐다. 메모리가 부족했나, IP가 또 바뀌었나.
원인 찾기 — 서버 말고 빨간 노드부터
서버는 멀쩡했다. n8n 화면도 잘 열렸다. 그래서 n8n의 실행 기록(Executions) 을 열어 어느 노드가 빨간색인지부터 봤다.
빨간 노드는 Remove Duplicates였고, 에러 문구는 이랬다.
The number of items to be processed exceeds the maximum history size. Please increase the history size or reduce the number of items to be processed.
풀어 말하면 “기억해 둘 수 있는 개수를 넘었어요. 기억 한도를 늘리거나 처리할 개수를 줄이세요.” 다.
이 노드가 뭘 기억하고 있었나
Remove Duplicates는 8월 20일에 붙인 노드다. 설정은 이렇다.
| 설정 | 값 | 뜻 |
|---|---|---|
| Operation | Remove Items Processed in Previous Executions | 지난 실행들에서 이미 본 항목은 빼라 |
| Keep Items Where | Value Is New | 처음 보는 값만 통과 |
| Value to Dedupe On | {{ $json.link }} | 기사 링크로 같은지 판단 |
“지난 실행에서 본 것”을 알려면 본 링크를 어딘가에 계속 적어 둬야 한다. 하루 3번, RSS 3곳에서 기사를 읽을 때마다 새 링크가 이 목록에 쌓였다. 그 목록에는 한도(History Size) 가 있고 기본값이 10,000개였다. 석 달 가까이 쌓인 기록이 그 한도에 닿은 것이다.
서버·RSS·API 키는 전부 정상이었다. 고장 난 게 아니라 가득 찬 것이었다.
고치는 방법은 두 가지였다
| 방법 | 결과 | 선택 |
|---|---|---|
| 기록 지우기 (Clear Deduplication History) | 목록이 비어서 바로 돌아가지만, 봇이 모든 기사를 처음 본 것으로 여겨 이미 보낸 기사를 다시 보냄 | ✗ |
| 한도 늘리기 (Options → History Size) | 기록은 그대로 두고 담을 수 있는 양만 늘림 | ✓ |
노드 Options의 History Size를 10,000 → 100,000으로 올리고 Publish했다. (n8n은 저장만 하고 Publish를 안 하면 예약 실행에 반영되지 않는다.)
After
- 수동 실행 성공
- 텔레그램 요약 도착
- 위키 자동 커밋 3개(반도체·배터리·AI, 12:59) 확인
한도를 10배로 늘렸으니, 지금 속도라면 대략 2년 넘게 버틸 어림이다. 다만 언젠가는 또 찬다. 그때 이 글을 다시 보면 된다.
배운 것
- ‘기억하는’ 노드는 시간이 지나면 찬다. 중복 제거처럼 실행 사이에 기록을 남기는 노드는 처음엔 문제가 없다가, 몇 달 뒤 한도에 닿아 멈춘다. 설정할 때 한도가 있는지부터 보자.
- 최근에 다른 고장이 있었어도, 실행 기록의 빨간 노드부터 본다. 이틀 전 서버 문제 때문에 이번에도 서버를 의심했지만, 실제 원인은 노드 하나의 설정이었다. 넘겨짚기 전에 에러가 난 자리를 먼저 확인한다.
- “빨리 되는” 해결책이 부작용을 숨기고 있을 수 있다. 기록 지우기는 버튼 하나로 끝나지만 옛 기사가 전부 다시 날아온다. 무엇을 지키고 싶은지(이미 보낸 기사는 다시 안 보내기) 생각하고 고른다.
다음에 해 볼 것
- 실행이 실패하면 바로 알려 주는 장치(n8n
Error Trigger→ 텔레그램)를 붙이면, 이번처럼 한 번 이상 실패한 뒤에 알아채는 일을 줄일 수 있다.
→ 정리본: n8n·스케줄링·호스팅