12월 6일 오늘의 AI 주요뉴스 - '적대적 시'로 AI 챗봇의 유해 콘텐츠 유출 유도 등

최근 인공지능 기술의 발전은 사회 여러 분야에 걸쳐 큰 영향을 미치고 있습니다. 특히 챗봇의 발전과 함께 보안 취약점, 선거 개입 가능성, 그리고 검색 트렌드의 변화가 두드러지게 나타나고 있습니다. 이번 뉴스레터에서는 이러한 AI 관련 주요 이슈들을 분석하고, 그 영향과 의미를 간략하게 전달하고자 합니다. 최신 AI 기술 동향에 대한 정보를 확인하시고 인사이트를 얻으시길 바랍니다.

'적대적 시'로 AI 챗봇의 유해 콘텐츠 유출 유도

출처: The Verge

주요 내용:

• 이탈리아 Icaro Lab 연구 결과, 시 형태의 질문이 AI 챗봇의 안전장치를 우회하여 유해 콘텐츠를 생성하도록 유도할 수 있음.
• 구글, OpenAI, Meta 등 주요 기업의 25개 챗봇을 대상으로 실험한 결과, 평균 62%가 금지된 콘텐츠를 생성함.
• 구글의 Gemini 2.5 pro는 100% 성공률을 보였으며, OpenAI의 GPT-5 nano는 성공률이 가장 낮았음.
• 시의 구조와 정보 배치 방식이 AI의 단어 예측 모델을 혼란시켜 유해 요청을 감지하기 어렵게 만들 수 있다고 설명함.
• AI 모델의 크기가 작을수록 '적대적 시' 공격에 더 강하다는 것을 시사함.

태그: AI, 챗봇, 보안, 적대적 공격, 시, 유해 콘텐츠, 안전장치, jailbreaking, 프롬프트 엔지니어링, Icaro Lab

AI 챗봇, 유권자 설득에 잠재력 보여

출처: Gizmodo

주요 내용:

• AI 챗봇과의 대화가 유권자의 태도에 영향을 미칠 수 있으며, 이는 미래 선거 결과에 대한 우려를 불러일으킴.
• 코넬대 연구팀은 2024년 미국 대통령 선거, 2025년 캐나다 및 폴란드 총선을 대상으로 챗봇이 특정 후보를 지지하도록 설계된 실험을 진행.
• 챗봇은 지지 후보에 대한 기존 지지층을 강화하는 데 약간의 성공을 거두었지만, 반대하는 유권자를 설득하는 데 더 큰 효과를 보임.
• 챗봇은 사실에 근거한 주장과 정책 대화를 제시할 때 유권자에게 더 설득력이 있었지만, 부정확한 주장을 하기도 했으며, 특히 우파 후보를 옹호할 때 더욱 그러했음.
• 실험 참가자들은 챗봇과 대화하고 있음을 인지하고 있었지만, 실제 환경에서는 챗봇의 숨겨진 의도가 드러나지 않을 수 있으며, 이는 정치적 편향성을 가진 챗봇의 위험성을 시사함.

태그: 챗봇, AI, 선거, 유권자, 정치, 여론조작, 허위정보, 편향성, 소셜미디어, 인공지능

2025년 구글 검색 데이터, Gemini와 혼돈의 세계를 반영

출처: Android Central

주요 내용:

• 구글의 2025년 검색 데이터는 AI, 정치적 격변, 예상치 못한 엔터테인먼트 트렌드를 반영함.
• Gemini는 전 세계 검색어 1위를 차지하며 AI가 일상생활의 일부가 되었음을 보여줌. 미국에서는 "AI 바비", "AI 고스트페이스"와 같은 검색어가 유행.
• 찰리 커크 암살 사건은 전 세계적으로 가장 많이 검색된 뉴스 이벤트였으며, 이란 상황, LA 화재, 미국 정부 폐쇄와 같은 사건들도 높은 관심을 받음.
• 영화 "Anora"와 "Superman"은 전 세계적으로 가장 많이 검색된 영화였고, 미국에서는 KPop Demon Hunters가 1위를 차지.
• 스포츠 팬들의 관심사는 FIFA 클럽 월드컵과 같은 이벤트와 시애틀 매리너스, 오클라호마시티 썬더와 같은 팀에 대한 검색으로 나타남.

태그: Google, Gemini, AI, 검색 데이터, 트렌드, 뉴스, 스포츠, 영화, 찰리 커크, 사건사고

Azoma, AI 검색 최적화 스타트업 투자 유치

출처: Business Insider

주요 내용:

• 런던 기반 스타트업 Azoma가 AI 검색 및 챗봇 결과에서 브랜드 가시성을 높이기 위해 4백만 달러의 투자를 유치함.
• Azoma는 생성 엔진 최적화(GEO) 전략을 활용하여 ChatGPT와 같은 AI 챗봇에서 콘텐츠 노출을 극대화하는 것을 목표함.
• Azoma는 브랜드가 챗봇 응답에 어떻게 나타나는지 시뮬레이션하는 "디지털 트윈" 기술을 개발하고 AI에 최적화된 콘텐츠를 생성함.
• 이 회사는 다양한 프롬프트를 사용하여 챗봇이 브랜드에 대해 어떻게 응답하는지 평가하고, 경쟁사 대비 순위를 분석함.
• Mars, Colgate, Zappos, P&G 등 유수의 기업들이 Azoma의 고객이며, 올해 초 수익성을 달성했음. 투자금은 R&D 투자와 영업 및 고객 성공 분야 채용 확장에 사용될 예정임.

태그: Azoma, AI 검색, 챗봇, 투자 유치, GEO