X 새 알고리즘 공개: 좋아요는 거의 가치 없고, 이 행동의 가치는 150배 증가
- 핵심 요점: X(구 트위터)가 오픈소스로 공개한 새 추천 알고리즘 Phoenix의 핵심 변화는, 인공적으로 정의된 특징에 의존하던 구 알고리즘에서 완전히 AI 대형 언어 모델(Grok transformer)이 주도하는 모드로 전환하여 사용자의 15가지 상호작용 행동을 예측함으로써 콘텐츠 순위를 매긴다는 점입니다. 이는 콘텐츠 배포의 근본적인 논리를 크게 바꾸었습니다.
- 핵심 요소:
- 알고리즘 구조 혁신: 새 버전 Phoenix는 수작업 특징 엔지니어링을 완전히 버리고 Grok transformer 모델을 사용하여, 사용자의 과거 행동 시퀀스(예: 좋아요, 답글, 차단)를 기반으로 콘텐츠를 예측하고 추천합니다.
- 콘텐츠 순위 매커니즘: 알고리즘은 사용자가 콘텐츠에 대해 가질 수 있는 15가지 긍정적(예: 답글, 리트윗) 및 부정적(예: 신고, 차단) 행동의 확률을 예측하여 가중치를 부여한 합계 점수로 콘텐츠 순위를 결정합니다.
- 크리에이터 전략 변화: 구 버전의 '최적 게시 시간'과 같은 기법은 더 이상 유효하지 않습니다. 크리에이터는 댓글에 적극적으로 답변하는 것(가중치 매우 높음)을 장려하고, 사용자의 차단과 같은 부정적 행동을 유발하지 않도록 하며, 외부 링크는 본문보다 댓글에 배치할 것을 권장합니다.
- 투명성과 한계: 이번 오픈소스 공개는 완전한 시스템 구조와 논리를 제공했지만, 구체적인 가중치 매개변수, 모델 내부 매개변수 및 훈련 데이터는 공개하지 않아 '완전한 투명성'과는 거리가 있습니다.
원문 저자: David, Shenchao TechFlow
1월 20일 오후, X가 새 버전 추천 알고리즘을 오픈소스로 공개했습니다.
Musk의 답글은 꽤 흥미롭습니다: "우리는 이 알고리즘이 멍청하다는 걸 알고 있고, 여전히 큰 개선이 필요하지만, 적어도 우리가 실시간으로 개선하기 위해 고군분투하는 모습을 볼 수 있습니다. 다른 소셜 플랫폼은 감히 이렇게 하지 못합니다."
이 말에는 두 가지 의미가 있습니다. 첫째는 알고리즘에 문제가 있음을 인정하는 것이고, 둘째는 '투명성'을 판매 포인트로 삼는 것입니다.
이는 X가 알고리즘을 오픈소스로 공개한 두 번째 사례입니다. 2023년 버전의 코드는 3년 동안 업데이트되지 않아 이미 실제 시스템과 괴리가 생겼습니다. 이번에는 완전히 재작성되었으며, 핵심 모델이 전통적인 머신러닝에서 Grok transformer로 교체되었습니다. 공식 설명에 따르면 "수동 피처 엔지니어링을 완전히 제거했다"고 합니다.
쉽게 말하면: 이전 알고리즘은 엔지니어가 수동으로 매개변수를 조정했지만, 이제는 AI가 사용자의 상호작용 기록을 직접 보고 콘텐츠를 추천할지 여부를 결정합니다.
콘텐츠 크리에이터에게 이는 이전의 "몇 시에 게시하는 것이 가장 좋은가", "어떤 태그를 달아야 팔로워가 늘어나는가"와 같은 미신이 더 이상 통하지 않을 수 있음을 의미합니다.
우리도 오픈소스된 Github 저장소를 살펴보았고, AI의 도움을 받아 코드 속에 숨겨진 몇 가지 강력한 논리를 발견했습니다. 이를 파헤쳐볼 가치가 있습니다.
알고리즘 논리 변화: 수동 정의에서 AI 자동 판단으로
먼저 새 버전과 이전 버전의 차이점을 명확히 설명하겠습니다. 그렇지 않으면 뒤의 논의가 혼란스러울 수 있습니다.
2023년에 트위터가 오픈소스로 공개한 버전은 Heavy Ranker라고 불리며, 본질적으로 전통적인 머신러닝입니다. 엔지니어는 수백 개의 '피처'를 수동으로 정의해야 했습니다: 이 게시물에 이미지가 있는지, 게시자의 팔로워 수는 얼마인지, 게시 시간이 현재로부터 얼마나 지났는지, 게시물에 링크가 있는지 등...
그런 다음 각 피처에 가중치를 부여하고 조합을 조정하며 어떤 조합이 효과적인지 확인했습니다.
이번에 오픈소스로 공개된 새 버전은 Phoenix라고 불리며, 완전히 다른 아키텍처를 가지고 있습니다. AI 대형 모델에 더 의존하는 알고리즘이라고 이해할 수 있으며, 핵심은 Grok의 transformer 모델을 사용하는 것입니다. ChatGPT, Claude와 동일한 기술 카테고리에 속합니다.
공식 README 문서에는 매우 직설적으로 명시되어 있습니다: "We have eliminated every single hand-engineered feature."
콘텐츠 피처를 수동으로 추출하는 전통적인 규칙은 하나도 남김없이 모두 제거되었습니다.
그렇다면 이제 이 알고리즘은 무엇을 기준으로 콘텐츠의 품질을 판단할까요?
답은 사용자의 행동 시퀀스에 있습니다. 사용자가 과거에 무엇에 '좋아요'를 눌렀는지, 누구에게 답글을 달았는지, 어떤 게시물에서 2분 이상 머물렀는지, 어떤 유형의 계정을 차단했는지. Phoenix는 이러한 행동을 transformer에 입력하여 모델 스스로 패턴을 학습하고 요약하게 합니다.
비유하자면: 이전 알고리즘은 수동으로 작성된 채점표와 같아서, 각 항목에 체크하여 점수를 계산합니다.
새 알고리즘은 사용자의 모든 검색 기록을 본 AI와 같아서, 사용자가 다음 순간 무엇을 보고 싶어할지 직접 추측합니다.
크리에이터에게 이는 두 가지를 의미합니다:
첫째, 이전의 '최적 게시 시간', '황금 태그'와 같은 기술들의 참고 가치가 낮아졌습니다. 모델이 더 이상 이러한 고정된 피처를 보지 않고, 각 사용자의 개인적 선호도를 보기 때문입니다.
둘째, 사용자의 콘텐츠가 추천될 수 있는지는 점점 '사용자의 콘텐츠를 본 사람이 어떻게 반응할지'에 달려 있습니다. 이 반응은 15가지 행동 예측으로 수치화되며, 이에 대해서는 다음 장에서 자세히 설명하겠습니다.
알고리즘이 예측하는 15가지 반응
Phoenix는 추천 대기 중인 게시물을 받으면, 현재 사용자가 이 콘텐츠를 볼 때 발생할 수 있는 15가지 행동을 예측합니다:
- 긍정적 행동: 좋아요, 답글, 리트윗, 인용 리트윗, 게시물 클릭, 작성자 프로필 클릭, 비디오 절반 이상 시청, 이미지 확대, 공유, 일정 시간 이상 머무름, 작성자 팔로우
- 부정적 행동: '관심 없음' 클릭, 작성자 차단(Block), 작성자 음소거(Mute), 신고
각 행동은 예측 확률에 해당합니다. 예를 들어, 모델은 사용자가 이 게시물에 '좋아요'를 누를 확률이 60%, 이 작성자를 차단할 확률이 5% 등으로 판단합니다.
그런 다음 알고리즘은 간단한 작업을 수행합니다: 이러한 확률에 각각의 가중치를 곱한 후 모두 더하여 총점을 얻습니다.
공식은 다음과 같습니다:
최종 점수 = Σ ( 가중치 × P(행동) )
긍정적 행동의 가중치는 양수이고, 부정적 행동의 가중치는 음수입니다.
총점이 높은 게시물은 상위에, 낮은 게시물은 하위로 내려갑니다.
공식을 벗어나서, 사실 간단히 말하면:
이제 콘텐츠의 품질은 실제로 콘텐츠 자체가 얼마나 잘 작성되었는지에 의해 결정되지 않습니다(물론 가독성과 이타성은 전파의 기초입니다). 오히려 '이 콘텐츠가 사용자로 하여금 어떤 반응을 하게 할지'에 더 많이 달려 있습니다. 알고리즘은 게시물 자체의 품질을 신경 쓰지 않고, 오직 사용자의 행동만을 신경 씁니다.
이런 사고방식으로 보면, 극단적인 경우 저속하지만 사람들이 답글을 달며 비판하고 싶어 하는 게시물의 점수가, 고품질이지만 아무도 상호작용하지 않는 게시물보다 높을 수 있습니다. 이 시스템의 기본 논리는 아마도 그럴 것입니다.
그러나 새로 오픈소스로 공개된 버전의 알고리즘은 구체적인 행동 가중치 수치를 공개하지 않았지만, 2023년 버전은 공개한 바 있습니다.
이전 버전 참고: 신고 1회 = 좋아요 738회
다음으로 우리는 23년도의 데이터를 살펴볼 수 있습니다. 비록 오래된 것이지만, 다양한 행동이 알고리즘의 눈에 얼마나 다른 '가치'를 지니는지 이해하는 데 도움이 될 것입니다.
2023년 4월 5일, X는 실제로 GitHub에서 일련의 가중치 데이터를 공개했습니다.
직접 숫자를 보여드리겠습니다:
더 직설적으로 번역하면:
데이터 출처: 이전 버전 GitHub twitter/the-algorithm-ml 저장소, 클릭하여 원본 알고리즘 확인 가능
몇 가지 숫자를 자세히 살펴볼 가치가 있습니다.
첫째, 좋아요는 거의 가치가 없습니다. 가중치는 0.5에 불과하여 모든 긍정적 행동 중 가장 낮습니다. 알고리즘의 눈에는 좋아요 하나의 가치가 거의 0에 가깝습니다.
둘째, 대화 상호작용이 진짜 화폐입니다. '사용자가 답글을 달고, 작성자가 다시 답글을 다는 것'의 가중치는 75로, 좋아요의 150배입니다. 알고리즘이 가장 보고 싶어 하는 것은 일방적인 '좋아요'가 아니라, 주고받는 대화입니다.
셋째, 부정적 피드백의 대가는 매우 큽니다. 차단(Block) 또는 음소거(Mute) 1회(-74)는 이를 상쇄하기 위해 좋아요 148회가 필요합니다. 신고 1회(-369)는 좋아요 738회가 필요합니다. 또한 이러한 감점은 사용자 계정의 신용 점수에 누적되어 향후 모든 게시물의 배포에 영향을 미칩니다.
넷째, 비디오 완전 시청률의 가중치는 터무니없이 낮습니다. 0.005에 불과하여 거의 무시할 수 있습니다. 이는 Douyin, TikTok과 뚜렷한 대비를 이루며, 그 두 플랫폼은 완전 시청률을 핵심 지표로 삼습니다.
공식 문서에도 동일하게 명시되어 있습니다: "The exact weights in the file can be adjusted at any time... Since then, we have periodically adjusted the weights to optimize for platform metrics."
가중치는 언제든지 조정될 수 있으며, 실제로 조정된 적이 있습니다.
새 버전은 구체적인 수치를 공개하지 않았지만, README에 쓰인 논리적 프레임워크는 동일합니다: 긍정적 행동은 가산점, 부정적 행동은 감점, 가중 합산.
구체적인 숫자는 변했을 수 있지만, 규모 관계는 대체로 그대로일 가능성이 높습니다. 다른 사람의 댓글에 답글을 다는 것이 좋아요 100개를 받는 것보다 더 유용합니다. 사람들이 사용자를 차단하고 싶어하게 만드는 것은 아무도 상호작용하지 않는 것보다 더 나쁩니다.
이것들을 알게 된 후, 우리 크리에이터는 무엇을 할 수 있을까
트위터의 새 알고리즘과 이전 알고리즘 코드를 분석한 후, 종합하여 실행 가능한 몇 가지 결론을 도출해 보았습니다.
1. 댓글 작성자에게 답글을 다세요. 가중치 표에서 '작성자가 댓글 작성자에게 답글'은 최고 점수 항목(+75)으로, 사용자의 일방적인 좋아요보다 150배 높습니다. 댓글을 구걸하라는 것이 아니라, 누군가 댓글을 달면 답글을 달라는 것입니다. '감사합니다' 한 마디만 해도 알고리즘은 기록합니다.
2. 사람들이 스크롤하고 싶어 하지 않게 하세요. 차단 1회의 부정적 영향은 좋아요 148회로 상쇄해야 합니다. 논란의 여지가 있는 콘텐츠는 실제로 상호작용을 유발하기 쉽지만, 그 상호작용 방식이 '이 사람 짜증나, 차단'이라면, 사용자 계정의 신용 점수는 지속적으로 손상되어 향후 모든 게시물의 배포에 영향을 미칩니다. 논란 트래픽은 양날의 검입니다. 남을 베기 전에 먼저 자신을 베게 됩니다.
3. 외부 링크는 댓글란에 배치하세요. 알고리즘은 사용자를 플랫폼 외부로 내보내고 싶어하지 않습니다. 본문에 링크를 포함하면 가중치가 낮아집니다. 이 점은 Musk 자신이 공개적으로 말한 바 있습니다. 트래픽을 유도하고 싶다면, 본문에는 내용을 작성하고 링크는 첫 번째 댓글에 넣으세요.
4. 스팸처럼 게시하지 마세요. 새 버전 코드에는 Author Diversity Scorer가 있으며, 동일한 작성자가 연속적으로 나타나는 게시물의 가중치를 낮추는 역할을 합니다. 설계 의도는 사용자의 피드를 더 다양하게 만드는 것이지만, 부작용으로는 열 개를 연속으로 게시하는 것보다 하나를 정성껏 게
