이것은 X 피드를 구동하는 오픈 소스 Grok 알고리즘입니다.

과거 트위터였고 일론 머스크가 소유한 X 플랫폼은 해당 분야에서 이례적인 행보를 보였습니다. Grok 알고리즘을 오픈 소스로 공개합니다. 이는 사용자 피드에 무엇이 표시될지 결정합니다. 해당 회사는 GitHub에 "추천" 탭을 구동하는 머신 러닝 아키텍처를 공개했습니다.소셜 네트워크에서 가장 민감한 소프트웨어 중 하나입니다.

이러한 움직임과 함께, X 이는 유기적 콘텐츠와 광고를 혼합하는 논리를 외부의 검토 대상에 공개하는 것입니다. 타임라인에 관한 내용인데, 지금까지는 영업 비밀로 취급되었던 부분입니다. 머스크와 엔지니어링 팀은 다음과 같이 주장합니다. 투명성은 권고 사항의 질을 향상시키는 데 도움이 될 것입니다. 그리고 덧붙여 말하자면, 이는 특히 유럽 연합에서 규제 당국에 대한 플랫폼의 입지를 강화시켜 줍니다.

Grok 아키텍처 기반의 오픈 소스 알고리즘

X 엔지니어링 팀은 해당 제품을 출시했다고 발표했습니다. 새로운 추천 알고리즘xAI가 개발한 Grok 모델과 동일한 Transformer 아키텍처를 기반으로 하는 이 GitHub 저장소는 사용자의 상호 작용 가능성을 기준으로 "추천" 피드의 게시물 순위를 매기는 엔드 투 엔드 머신 러닝 시스템을 설명합니다.

기술적인 용어로 말하자면, X는 세부 정보를 나타냅니다. 동작을 예측하도록 학습된 트랜스포머 모델 좋아요, 답글, 공유 및 기타 참여 형태 등이 포함됩니다. 수동으로 규칙을 작성하는 대신, 시스템은 사용자 행동 패턴에서 직접 학습하여 소위 "수동 기능 설계"를 줄이고 데이터 인프라를 단순화합니다.

구현은 다음에 의존합니다. 콘텐츠 검색 및 점수 매기기에 Rust와 Python을 사용합니다.이 시스템은 초기 논문 검색 단계와 후속 순위 지정 단계를 분리하는 모듈식 아키텍처를 특징으로 합니다. 코드에는 시스템의 다양한 내부 구성 요소가 어떻게 연결되는지 개략적으로 설명하는 다이어그램과 이해하기 쉬운 문서가 포함되어 있습니다.

일론 머스크 본인도 알고리즘이 "멍청하고 대대적인 개선이 필요하다"고 공개적으로 인정했지만, 그 알고리즘을 옹호하기도 했습니다. 개선 과정을 실시간으로 보여주세요 그리고 투명성은 블랙박스를 유지하는 것보다 낫습니다. 이 사업가에 따르면, 다른 주요 소셜 네트워크는 이처럼 추천 엔진의 핵심을 공개하지 않고 있습니다.

TknOps.io 플랫폼의 공동 창립자이자 CEO인 미드훈 크리슈나 M과 같은 업계 전문가들은 이러한 Grok 기반 아키텍처를 공개하는 것이 중요하다고 지적합니다. 이는 지역 사회에 참고 지도를 제공합니다. 기존에는 접근하기 어려웠던 추천 시스템을 이해하고 개선하는 데 도움이 됩니다. 유럽 개발자와 기업에게 이러한 기술 정보는 자체 솔루션을 구축하거나 다른 플랫폼의 운영 방식을 검토하는 데 기반이 될 수 있습니다.

Grok은 "추천 피드"에 어떤 콘텐츠를 표시할지 어떻게 결정할까요?

공개된 문서에 따르면, X의 알고리즘은 두 개의 대규모 소스에서 콘텐츠를 가져옵니다.: 사용자가 팔로우하는 계정의 게시물 그리고 "오프라인" 출판물 머신러닝 기반 복구 모델을 사용하여 발견했습니다. 둘 다 결합 그런 다음 각 트윗과의 상호작용 확률을 추정하는 점수 시스템을 사용하여 단일 목록으로 정리합니다.

이 과정에는 다음과 같은 항목을 제거하는 필터링 단계가 포함됩니다. 차단된 계정의 트윗, 음소거된 콘텐츠 키워드, 지나치게 폭력적인 게시물, 스팸으로 분류된 게시물 등을 기준으로 선별합니다. 이러한 선별 과정을 거친 후에야 시스템은 콘텐츠의 관련성을 기준으로 순서를 정합니다.

Grok 기반의 Transformer 모델은 다음으로 구동됩니다. 각 사용자의 참여 내역이 시스템은 사용자가 어떤 게시물을 보고, 클릭하고, 어떤 트윗에 좋아요를 누르고, 누구에게 답글을 달고, 어떤 콘텐츠를 다시 게시하는지 추적합니다. 이러한 패턴을 기반으로 시스템은 향후 세션에서 어떤 유형의 메시지가 가장 많은 참여를 유도할지 예측하는 방법을 학습합니다.

Grok은 심지어 자신의 알고리즘을 분석하여 게시물의 바이럴 효과를 일으키는 다섯 가지 핵심 요소를 강조했습니다. 그 요소는 사용자 기록 기반의 상호작용 예측, 콘텐츠의 관련성 및 시의성입니다. 저자의 다양성 반복을 피하려면 연속적인 계정과 모델 제안 사이의 균형을 유지하고, 특정 계정의 점수를 떨어뜨리는 차단이나 침묵과 같은 부정적인 신호도 피해야 합니다.

이 정보를 통해 크리에이터와 기업은 더 잘 이해할 수 있습니다. 특정 출판물이 인기를 얻는 이유는 무엇일까요? 그리고 어떤 사람들은 "섀도밴"이나 보이지 않는 제재에 대한 음모론에 의존하지 않고도 이를 인지합니다. 코드가 모든 질문에 답을 주지는 않지만, 피드 행동을 분석하는 데 더 견고한 토대를 제공합니다.

유기적 콘텐츠, 광고, 그리고 "후회 없는 순간들"이라는 지표

이 출판물의 새로운 특징 중 하나는 X가 공개를 약속했다는 점입니다. 또한 유기적 게시물과 광고의 비율을 관리하는 로직도 포함됩니다. 피드에서. 명시된 목표는 홍보 콘텐츠가 사용자의 일상 경험에 방해되지 않도록 어떻게 통합되는지 명확히 하는 것입니다.

문서에 나오는 여러 지표 중에서 개념 자체가 눈에 띕니다. "후회 없는 사용자 경험(초 단위)"이는 사용자가 콘텐츠를 소비하는 동안 그 시간을 낭비했다고 느끼지 않는 정도를 측정하는 지표입니다. 알고리즘은 이 지표를 사용하여 트윗이나 광고가 제공하는 경험이 긍정적이었는지 여부를 평가합니다.

실제로, 일반 게시물은 조회수, 좋아요, 댓글, 공유와 같은 신호를 기반으로 순위가 매겨지며, 광고는 이와 매우 유사한 관련성 및 성과 기준을 사용하여 평가됩니다. 따라서 시스템은 다음과 같은 목표를 추구합니다. 광고를 점진적으로 통합이론적으로는 각 사용자의 관심사에 부합하는 상업적 메시지를 삽입하는 방식입니다.

유럽 ​​광고주들에게 있어 이러한 명확성 증가는 주요 플랫폼에서 흔히 발생하는 '무작위 광고'를 어느 정도 해소해 줍니다. 적어도 전반적인 측면에서 볼 때, 알고리즘은 어떤 신호를 중요하게 여기나요? 그리고 이러한 콘텐츠들이 홍보되지 않은 콘텐츠와 어떻게 결합되는지, 이는 캠페인 기획 및 크리에이티브 디자인에 영향을 미칠 수 있습니다.

이러한 변화는 일반 사용자에게도 영향을 미칩니다. 동일한 관련성 시스템이 일반 트윗과 광고 모두에 적용된다는 사실을 알면 사용자는 더 쉽게 이해할 수 있습니다. 광고가 피드에 미치는 영향을 더 잘 평가하기 위해 또한 상업적 메시지 배포 과정에서 발생할 수 있는 과도함이나 편향을 감지합니다.

EU 규제 당국의 강력한 압력에 직면한 오픈소스

X가 Grok 알고리즘을 공개하기로 한 결정은 매우 민감한 시기에 이루어졌습니다. 브뤼셀발 규제 압력 증가해당 플랫폼은 디지털 서비스법(DSA) 준수와 관련된 재정적 제재를 포함하여 투명성 및 콘텐츠 검열 문제를 놓고 유럽 연합과 의견 차이를 보여왔습니다.

DSA는 유럽의 주요 플랫폼들에게 다음과 같은 조치를 취하도록 강요합니다. 그들의 추천 시스템이 어떻게 작동하는지 설명하세요 그리고 이러한 알고리즘들이 특정 유형의 콘텐츠를 어떻게 증폭시키는지에 대한 문제도 있습니다. 알고리즘 코드를 공개하는 것은 계산된 움직임으로 해석됩니다. 즉, X는 투명성 요건을 적어도 부분적으로 준수하면서 입증 책임을 규제 기관으로 전가하는 것입니다.

X는 공개 저장소를 제공함으로써 유럽 당국에 다음과 같이 요청할 수 있습니다. 편견이나 조작에 대한 어떠한 비난도 다음을 근거로 하지 마십시오. 사용 가능한 코드에 대한 구체적인 분석을 통해 회사는 투명성을 확보할 뿐만 아니라 규제 기관의 기술적 감독 역량을 강조합니다.

이 플랫폼에 대한 비판자들은 이러한 움직임을 기관들을 위한 일종의 "함정"으로 묘사하며, 플랫폼에 대한 법적 반론을 방해하기 위해 고안된 것이라고 주장합니다. 반면 다른 관찰자들은 이를 기회로 보고 있습니다. 책임성 기준을 높이다 기술 분야 전반에 걸쳐 경쟁사들이 알고리즘을 비공개로 유지하는 이유를 설명하도록 강요하고 있습니다.

어쨌든 Grok 알고리즘의 공개는 유럽의 논쟁에 새로운 국면을 열었습니다. 소셜 네트워크에 적용되는 인공지능은 어떻게 규제되어야 할까요?이제부터 학계, 시민사회단체, 그리고 당국은 X의 공개적인 발언과 깃허브에 게시된 코드의 실제 작동 방식을 비교할 수 있게 될 것입니다.

크리에이터와 소규모 사업자를 위한 투명성 강화

소셜 미디어 활동으로 생계를 유지하는 사람들에게 알고리즘 개방은 상당한 변화를 의미합니다. X를 통해 잠재 고객에게 도달하는 크리에이터, 언론인, 소규모 사업체 및 전문가들은 이제 다음과 같은 이점을 누릴 수 있게 되었습니다... 가시성이 어떻게 분포되는지 훨씬 더 정확하게 보여주는 엑스레이 플랫폼에서.

이 저장소를 통해 피드 순위 상승에 가장 큰 영향을 미치는 행동을 파악할 수 있습니다. 대화를 촉발하는 답변, 더 넓은 도달 범위를 위한 리포스트지속적인 상호작용이나 차단, 메시지 삭제와 같은 부정적인 신호는 계정 점수를 낮춥니다. 이러한 데이터를 활용하면 최소한의 기초 지식으로 게시 전략을 더욱 쉽게 설계할 수 있습니다.

유럽에서 자영업자와 소규모 기업은 종종 매우 제한된 자원으로 운영되기 때문에, 이러한 기업들에게는 다음과 같은 가능성이 있습니다. 중개자 없이 시스템을 이해하고 감사합니다. 이를 통해 외부 컨설턴트나 대행사에 대한 의존도를 줄일 수 있습니다. 코드와 문서를 분석함으로써 알고리즘이 보상하는 행동에 맞춰 형식, 일정, 콘텐츠 스타일을 조정할 수 있습니다.

또한 회사는 출판에도 전념하고 있습니다. 정기적인 업데이트 (약 4주 간격) 변경 사항을 자세히 설명하는 개발자 노트가 함께 제공됩니다. 이러한 속도가 유지된다면 X를 매일 사용하는 사람들은 시스템의 진화를 추적하고 수정 사항이 자신에게 도움이 되는지 해가 되는지 신속하게 파악할 수 있을 것입니다.

그렇다고 불만이나 좌절감이 사라진다는 의미는 아니지만, 표면적으로는 완전히 불투명한 메커니즘과 싸워야 한다는 느낌을 줄여줍니다. 유럽 기술계는 처음으로, 실제 코드베이스를 사용하여 실험해 보세요.개선 사항을 제안하거나 독립적인 분석 도구를 개발할 수도 있습니다.

개방성의 한계: 투명성은 좋지만, 유보적인 입장이 필요하다

눈길을 끄는 발표임에도 불구하고, 여러 전문가들은 다음과 같은 점을 지적합니다. 코드 공개는 시스템 전체를 노출하는 것을 의미하지 않습니다.Grok 알고리즘의 아키텍처는 공개되어 있지만, 학습에 사용된 데이터와 서버 측 실행 인프라는 비공개로 유지됩니다.

일부 분석가들은 이러한 상황을 "유리 상자"에 비유합니다. 구조와 일반적인 논리는 볼 수 있지만, 데이터의 전체 흐름을 실시간으로 관찰하는 것은 불가능합니다.훈련 데이터 세트나 업데이트된 매개변수에 접근할 수 없으면, 실제로 편향이 어떻게 수정되는지 또는 민감한 콘텐츠가 어떻게 처리되는지 정확하게 검증하기 어렵습니다.

이러한 혼합 접근 방식은 오픈 소스로의 전환이 어떤 문제에 대한 대응인지에 대한 의문을 제기합니다. 홍보 활동 완전한 책임 추궁보다는 오히려 문제가 될 수 있다는 지적이 있습니다. 비평가들은 트위터가 몇 년 전 알고리즘을 부분적으로 공개했을 당시, 공개되지 않은 데이터의 양이 너무 많아 많은 사람들이 이를 "투명성 쇼"라고 비판했던 것을 상기합니다.

최근 상황으로 인해 문제가 더욱 복잡해졌습니다. X사는 자사의 챗봇 Grok을 사용한 것과 관련하여 조사를 받고 있습니다. 성적인 이미지를 생성하고 편집합니다.미성년자 이미지를 포함한 여러 이미지가 포함되어 있어 여러 국가의 검찰과 규제 당국이 수사에 착수했습니다. 이러한 문제에 대응하여 해당 회사는 특정 이미지 생성 및 편집 기능을 유료 사용자에게만 제공하고, 실제 인물 사진 조작을 방지하기 위한 기술적 조치를 시행했습니다.

이와 동시에 X는 콘텐츠 게시를 유도하기 위해 사용자에게 금전적 인센티브를 제공한 일부 프로젝트에 대한 API 접근 권한을 취소했습니다. AI가 생성한 스팸의 위험성이러한 모든 움직임은 이제 알고리즘의 개방성 담론과 공존하며, 이는 회사가 투명성을 내세우는 동시에 다른 영역에서는 더욱 제한적인 결정을 내리고 있다는 느낌을 더욱 부추깁니다.

X는 Grok 알고리즘을 오픈 소스로 공개함으로써 가장 민감한 기술 자산 중 하나를 드러냈고, 동시에 자신들이 평가받고자 하는 기준을 세웠습니다. 설계 단계에서 감사 가능한 추천 시스템하지만 실제 적용 여부는 여전히 내부 데이터와 결정에 달려 있습니다. 유럽의 사용자, 콘텐츠 제작자, 규제 기관 및 기업에게 있어 과제는 공개된 정보를 최대한 활용하는 동시에 공개되지 않은 부분들을 간과하지 않는 것입니다.