GLM-4.6V 실제 테스트! ToolCall을 사용하여 대형 모델로 무엇을 할 수 있을까요? GLM-4.6V의 실제 테스트입니다! GLM-4.6V는 Agent/MCP 기능을 지원하므로 PDF를 사용하여 텍스트와 이미지를 작성하고, 화면 녹화를 사용하여 웹사이트를 재구성하고, 음식 배달 영수증을 인식하는 등 테스트 시나리오를 확장했습니다. 테스트 결과를 직접 살펴보겠습니다. 첫 번째 테스트는 테이크아웃 영수증을 대상으로 했습니다. 여러 장의 테이크아웃 영수증을 업로드하고, 모델에 무엇을 먹었는지, 얼마를 썼는지, 그리고 잠재적인 알레르기 유발 물질을 식별하도록 요청했습니다. 이 테스트는 완벽하게 통과했습니다. 이후 테스트에서도 GLM-4.6V의 OCR 기능은 가장 뛰어난 성능을 보였으며, OCR 시나리오를 완벽하게 처리할 수 있음을 입증했습니다. 다음은 새롭게 업데이트된 PDF 시각적 보고서 에이전트 테스트입니다. 이 테스트는 PDF를 업로드하는 과정으로, 모델은 스크린샷 에이전트를 사용하여 PDF 콘텐츠를 요약하고 스크린샷을 포함한 서식 있는 텍스트를 생성할 수 있습니다. 이 테스트에서 AI는 간단한 레이아웃의 PDF를 문제없이 처리하여 이미지를 성공적으로 추출했습니다. 그러나 테스트에서 모델을 생성하는 데 사용된 잡지 PDF와 같이 복잡한 형식의 PDF의 경우, 개별 이미지를 추출하는 대신 전체 페이지를 이미지로 출력했습니다. #GLM #GLM46V #지푸AI #VLM #지푸
다음은 화면 녹화본을 사용하여 동적 웹사이트를 생성하는 테스트였습니다. 이 테스트에서 OCR 기능은 매우 우수했습니다. 웹페이지의 텍스트는 재현할 수 있었지만, 텍스트 애니메이션은 재현하지 못했습니다. 따라서 집중적인 교육이 필요할 것으로 예상됩니다. 다음은 기린과 영양이 있는 이미지를 사용한 객체 라벨링 테스트였습니다. 이 이미지는 수많은 산만 요소 때문에 신중하게 선택되었습니다. 예를 들어, 오른쪽 기린은 두 개의 목이 거의 겹쳐져 있어 오인하기 쉽습니다. 또한, 아래 두 영양은 기린에 가려져 있지만 머리와 꼬리는 여전히 연결되어 있습니다. 모델이 포유류의 신체 구조를 이해하지 못하면 오인하기 쉽습니다. 이 테스트에서 기린은 완벽하게 식별되었지만, 영양 한 마리는 누락되었습니다. 이는 이 테스트에서 수행할 수 없었던 이전 GLM-4.5V에 비해 개선된 것입니다. 다음은 웹사이트 시뮬레이션 테스트였습니다. 하지만 모두가 전통적인 웹사이트 시뮬레이션에 지쳐 있다고 생각해서 이번에는 화학 실험 이미지를 사용하여 난이도를 높였습니다. GLM-4.6V를 사용하여 three.js를 사용하여 화학 실험을 모델링하고 시뮬레이션했습니다. 물 전기분해 실험은 잘 수행되었고, 배터리를 제외한 모든 것이 정확하게 재현되었습니다. 그다음에는 산소를 생성하기 위한 가열이라는 복잡한 장면이 이어졌습니다. 여기서 중요한 점은 모든 실험 기구는 재현되었지만, 공간 위치가 정확하지 않았다는 것입니다. 하지만 머리가 큰 모델이라 하더라도 이 테스트는 어려운 편이므로, 충분히 이해할 수 있습니다.
마지막으로 지식 테스트가 있었습니다. 멀티미터 이미지를 받은 GLM-4.6V는 대형 모델의 배터리 용량을 어떻게 테스트해야 하는지 질문받았습니다. GLM-4.6V에서는 이 문제도 전혀 없었습니다. 이는 GLM-4.6V의 또 다른 주요 장점입니다. 충분한 파라미터를 통해 뛰어난 지식을 얻을 수 있습니다. 이전에는 GLM-4.5V로 테스트할 때 마작에서 이기는 패를 식별할 수도 있었습니다. 요약하자면, 몇 달 전 GLM-4.5V와 비교했을 때, 이번 버전은 지속적인 성능 향상을 보여주어 이전에는 불가능했던 테스트가 가능해졌습니다. 또한, Agent/MCP 기능을 추가하여 도구를 사용하여 작업을 완료할 수 있게 되었고, 모델의 적용 시나리오가 크게 확장되었습니다. 하지만 테스트에서 복잡한 시나리오를 처리하기 위해서는 추가적인 개선이 필요합니다. 다음 업데이트를 기대해 주세요! 또한, Zhipu는 GLM 코딩 플랜에 GLM-4.6V를 포함시켰으며, 가격은 GLM-4.5V의 절반으로, 멀티모달 프로그래밍 작업을 훨씬 더 쉽게 사용할 수 있게 되었습니다! #GLM #GLM46V #지푸AI #VLM
