MIT에서 본 에이전트의 새로운 패러다임 오늘 MIT에서 열린 EmTech 컨퍼런스에서 저는 AI 에이전트 분야 전체를 다시 생각하게 만드는 시연을 보았습니다. 발표자는 비교적 인지도가 낮은 회사인 타이니피시(TinyFish)였습니다. 창립 멤버 중 두 명이 중국인이며, ICONIQ가 주도한 투자로 약 3억 5천만 위안(약 4천만 원)을 확보했지만, 오늘 전까지는 핵심 제품을 공개적으로 선보인 적이 없었습니다. 그들은 이미 Google과 DoorDash를 위해 수천만 건의 웹 에이전트 작업을 실행하고 있습니다. 이것은 실험실 데모가 아닙니다. 실제 운영 환경입니다. TinyFish 제품을 사용하면 AI가 사람처럼 웹 페이지를 자동으로 탐색하고 기업 수준의 작업을 완료할 수 있습니다. API가 필요 없이 AI가 여러 웹사이트의 웹 페이지를 자동으로 읽고 이해하고 조작하고, 비즈니스 프로세스를 실행하고, 데이터를 수집하고, 정보를 제출하고, 변경 사항을 모니터링할 수 있습니다. 데이터 수집, 가격 비교, 양식 작성, 재고 확인부터 규정 준수 검토 및 동적 가격 책정까지 모든 것을 달성할 수 있습니다. 수천 개의 웹사이트에서 실시간으로 작업을 운영하고 실행할 수 있습니다. 즉, 1,000개의 ChatGPT Atlases를 동시에 실행한 다음 동일한 답변을 1,000만 번 연속으로 실행할 수 있다는 뜻입니다. 모두가 간과했던 사실 TinyFish CEO인 Sudheesh는 프레젠테이션 중에 놀라운 통찰력을 공유했습니다. 현재 시중에 나와 있는 모든 AI 에이전트는 네트워크의 5%에서만 작동할 수 있습니다. 개발자에게 기술적 능력이 부족한 것이 아니라, 모두가 검색 엔진을 기반으로 에이전트를 구축하고 있기 때문입니다. 검색 패러다임은 오래 전에 폐기되었습니다. 검색이 어떻게 무효화되었나요? 아주 간단한 예를 살펴보겠습니다. 아마존입니다. Amazon의 모든 제품 페이지는 Google에서 완전히 색인되어 크롤링이 가능합니다. 이는 검색 엔진에 이상적인 환경입니다. 하지만 Amazon에서 "노트북"을 검색하면 어떻게 될까요? 수만 개의 검색 결과가 표시됩니다. 스폰서 상품, 가짜 리뷰, AI가 생성한 설명이 도처에 널려 있습니다. 몇 페이지를 넘기다가 포기하고, 마침내 "괜찮아 보이는" 상품을 클릭해서 결제하고 나가기도 합니다. 이건 아마존만의 문제가 아닙니다. 검색 패러다임 자체의 문제입니다. 데이터 양이 너무 많으면 순위가 비효율적이 됩니다. 구글은 수백만 개의 아마존 페이지를 성공적으로 색인화했지만, 검색의 유용성은 전혀 향상되지 않았습니다. 아마존은 자체 검색 엔진을 개발했지만, 그것 역시 문제를 해결하지 못했습니다. 웹이 너무 커졌습니다. 이미 색인된 부분조차도 순위가 더 이상 효과적이지 않습니다. 검색은 무언가를 "찾으려" 한다고 가정합니다. 하지만 "모든 것을 확인해야" 한다면 어떨까요? 모든 공급업체를 비교하고, 모든 옵션을 확인해야 할까요? 이 시점에서 패러다임 전체가 붕괴되었습니다. 나머지 95%는 어떻게 되나요? 더 심각한 점은 제가 방금 언급한 내용이 인덱싱된 네트워크의 5%에만 적용된다는 것입니다. 나머지 95%의 네트워크는 어디에 숨겨져 있을까? - 로그인이 필요한 공급업체 포털 - 인증된 의료 시스템 - 양식 제출을 통해서만 접근 가능한 정부 데이터베이스 - 다단계 탐색이 필요한 경쟁 정보 검색 엔진은 이러한 콘텐츠에 접근할 수 없습니다. 이는 기술적인 문제가 아니라 구조적인 문제입니다. 상호작용이 필요한 콘텐츠는 크롤링할 수 없습니다. 따라서 우리는 두 가지 문제에 직면하게 됩니다. 1. 색인된 네트워크의 5%가 너무 커서 유효하지 않게 되었습니다. 2. 중요 데이터의 95%는 전혀 색인화되지 않았습니다. 두 문제의 근본 원인은 같습니다. 검색 패러다임은 사람이 결과를 수동으로 평가할 것이라고 가정합니다. 하지만 순위 옵션보다는 포괄적인 정보가 필요할 때는 이 패러다임이 제대로 작동하지 않습니다. 왜 기존 솔루션으로는 이 문제를 해결할 수 없는가? RAG는 어떨까요? 더 나은 임베딩은 어떨까요? 브라우저 에이전트는 어떨까요? 그 중 어느 것도 그것을 해결할 수 없습니다. 이 모든 검색은 검색의 핵심적인 한계를 물려받았습니다. 즉, "모든 것을 확인"하기보다는 "무언가를 찾으려" 한다는 것입니다. 조달팀이 200개 공급업체 포털의 경쟁력 있는 가격을 조사해야 할 때 순위는 도움이 되지 않습니다. 제약 회사가 수천 개의 연구 사이트에서 임상 시험에 적합한 환자를 찾아야 할 때 검색은 아무런 도움이 되지 않습니다. "이 작업은 지루해서 자동화하고 싶다"는 문제가 아닙니다. "이 분석은 필요한 규모로 수행하는 것이 불가능하다"는 문제입니다. 읽을 수 있는 웹에서 실행 가능한 웹으로 수디시는 그들의 해결책을 다음과 같이 설명했습니다. 더 나은 검색 기능이 중요한 것이 아니라 운영 인프라가 중요합니다. TinyFish가 구축한 시스템은 다음과 같은 기능을 제공합니다. - 로그인 인증 시스템 - 여러 단계로 구성된 워크플로 탐색 - 구조화된 데이터 추출 - 수십만 개의 병렬 세션을 동시에 실행 이는 "읽을 수 있는 웹"에서 "실행 가능한 웹"으로의 전환입니다. 브라우저 프록시(OpenAI의 Atlas 등)는 개인이 한 번에 한 세션, 한 번에 한 브라우저씩 웹사이트를 더 빠르게 탐색하는 데 도움이 됩니다. TinyFish의 미노: 👉 "AI 공장"처럼 회사가 직접 "웹 에이전트"를 만들고, 배포하고, 관리할 수 있습니다. Mino는 수십만 개의 병렬 세션을 인프라 규모로 실행하여 인간 팀이 완료하는 데 몇 주가 걸리는 복잡한 워크플로에서도 정확성을 유지할 수 있습니다. 이건 자전거와 오토바이의 차이가 아닙니다. 자전거와 화물 운송망의 차이입니다. 규모에 따른 증거 이것은 이론이 아닙니다 TinyFish는 이미 ClassPass, Google, DoorDash 등의 기업을 위해 매달 3,000만 건의 작업을 처리하고 있습니다. ClassPass의 사례가 대표적입니다. 수만 개의 피트니스 스튜디오에서 수업을 집계해야 하기 때문입니다. 대부분의 스튜디오는 API가 없고, 수동으로 업데이트되는 예약 웹사이트만 있습니다. 수업 일정은 매일 변경되며, 가격은 시간, 위치, 레벨에 따라 다릅니다. 모든 전통적인 방법은 실패했습니다. - 수동 데이터 입력: 확장이 불가능하고, 데이터는 항상 오래되었습니다. - 웹 크롤러: 웹사이트가 재설계될 때마다 충돌이 발생합니다. - API 통합: 롱테일 API는 결코 통합되지 않습니다. TinyFish를 사용한 후, 장소 커버리지가 3~4배 증가했고, 비용은 50% 감소했습니다. 더욱 구체적인 실제 사례: 🏨 구글 호텔 일본의 많은 호텔은 Google의 집계 플랫폼에 접속할 수 없는 오래된 시스템을 사용합니다. TinyFish 에이전트는 이러한 호텔의 재고와 가격을 자동으로 얻을 수 있습니다. Google Hotel이 IT 수정 없이도 실시간으로 업데이트할 수 있습니다. 99%의 실시간 커버리지를 달성하고, 업데이트 빈도를 20배로 늘렸으며, 한 달에 1,000만 건 이상의 작업을 처리했습니다. 🛵 도어대시 각 도시에 AI 에이전트를 배치하여 경쟁사 웹사이트의 메뉴, 가격, 프로모션을 자동으로 수집합니다. 매시간 업데이트, 자동 중복 제거 및 이상 감지 이는 DoorDash의 내부 데이터 시스템과 자동으로 통합됩니다. 매달 수백만 개의 가격 변수를 수집합니다. 가격을 동적으로 조정하고 시장 반응을 최적화하는 데 사용됩니다. 시장 데이터 수집의 95%는 자동화됩니다. 예측 모델의 정확도가 30% 향상되었습니다. 수동 조사 비용을 크게 절감합니다(원래는 한 달에 1,200시간 이상 소요). 그게 무슨 뜻이야? 지난 25년 동안 검색이 잘 작동한 이유는 네트워크가 작아서 사람이 직접 순위 결과를 평가할 수 있었기 때문입니다. 인터넷은 이제 너무 방대해서 색인된 부분조차 관리할 수 없게 되었습니다. 그리고 인터넷의 95%는 색인된 적이 없습니다. 다음 패러다임은 더 나은 검색이나 더 스마트한 순위가 아닙니다. 바로 공개 및 비공개, 색인 및 색인되지 않은 모든 웹 전반에서 탐색, 추론 및 검색을 가능하게 하는 운영 인프라입니다. 에이전트 기능은 예상보다 훨씬 빠르게 발전했습니다. 단 36개월 만에 "AI 이메일 작성"에서 "AI 전체 워크플로 실행"으로 진화했습니다. TinyFish는 이미 기업 규모에서 실제 구현을 선도하고 있을 수도 있습니다. 그들은 이 인프라를 개발자들에게 공개하고 있습니다. 대규모 안정성이 필요한 에이전트 제품을 개발하는 경우, 이는 주목할 만한 초기 징후일 수 있습니다.
TinyFish를 사용하면 기업은 웹 페이지에서 반복되는 작업을 AI로 대체하여 정보에서 운영까지 자동화를 달성할 수 있습니다. TinyFish(@Tiny_Fish)는 Itinyfish.ai00만 달러를 확보했습니다. 웹사이트: https://t.co/kneIlDWvjf
