Nhánh ra kẻ thua, giữ lại người thắng: A/B mô hình trong một luồng chat

Tính năng được dùng nhiều nhất trong studio không phải tạo ảnh, video hay tìm kiếm web. Đó là biểu tượng nhỏ dưới mỗi tin nhắn cho phép bạn chạy lại nó trên mô hình khác. Người ta phát hiện nó tình cờ, rồi ngừng đọc benchmark mô hình, vì giờ họ chỉ cần kiểm tra trực tiếp.

Vấn đề với câu hỏi “mô hình nào tốt nhất”

Đó là câu hỏi sai. Không có mô hình tốt nhất — chỉ có mô hình tốt nhất cho prompt này, hôm nay. GPT-5.5 viết văn bản nháp đầu sạch hơn. Claude Opus 4.7 giữ một lập luận dài liền mạch mà không lạc mất mạch. Gemini 3.1 Pro giỏi một cách phi lý trong việc rút cấu trúc ra khỏi một tài liệu lộn xộn. Grok nhanh hơn, vui hơn và sai thường xuyên hơn. Thứ hạng lật ngược tùy theo bạn đang làm gì trong năm phút tới.

Cách trung thực để biết là chạy cùng một prompt qua hai hoặc ba mô hình rồi đọc các kết quả cạnh nhau. Cách không trung thực là đọc một bảng xếp hạng từ sáu tuần trước. Chúng tôi xây dựng sản phẩm quanh cách trung thực.

Nhánh hoạt động thế nào

Mỗi tin nhắn có một hành động tạo nhánh. Bấm vào nó, chọn mô hình khác, và studio chạy lại tin nhắn đó với toàn bộ ngữ cảnh cuộc trò chuyện còn nguyên — chỉ dẫn hệ thống, các lượt trước, tệp đính kèm, mọi thứ. Bạn không gõ lại gì cả. Bạn có một nhánh song song để so với bản gốc.

Giữ người thắng và cuộc trò chuyện tiếp tục theo hướng đó. Các nhánh thua nằm lại trong cây, đã thu gọn, phòng khi bạn muốn quay lại. Không gì bị hủy; luồng chat trở thành một nhật ký thí nghiệm nhỏ.

Một quy trình thật sự đáng giá

Đây là khuôn mẫu thuyết phục được người hoài nghi, lấy từ thực tế sử dụng:

• Nháp trên một mô hình nhanh. Bắt đầu một đoạn viết trên một mô hình nhanh, rẻ để nắm hình hài. Tín dụng rẻ, vòng quay nhanh.
• Nhánh lượt khó sang một mô hình suy luận. Khi bạn chạm tới phần thật sự khó — lập luận phải đứng vững, đoạn code phải đúng — hãy nhánh đúng tin nhắn đó sang Opus hoặc GPT-5.5. Bạn chỉ trả giá cao ở nơi nó quan trọng.
• So sánh, đừng đoán. Khi hai mô hình bất đồng về một điều có thật, sự bất đồng đó là thông tin. Nhánh một mô hình thứ ba làm trọng tài, hoặc gửi tìm kiếm web sau đó.

Kết quả là chi phí trung bình mỗi cuộc trò chuyện giảm xuống, vì bạn không trả giá frontier cho 80% dễ — và chất lượng ở 20% khó tăng lên, vì bạn định tuyến nó tới mô hình thật sự giỏi việc đó.

Tại sao một gói đăng ký lại quan trọng ở đây

Nhánh chỉ hoạt động nếu tất cả mô hình ở cùng một chỗ, trên cùng một quỹ tín dụng chung. Ngay khi bạn xoay xở ba gói đăng ký riêng và ba tab riêng, ma sát giết chết thói quen — bạn ngừng so sánh và chỉ dùng tab nào đang mở sẵn. Đó là cách bạn bị khóa vào một nhà cung cấp duy nhất do quán tính chứ không phải do lựa chọn.

Bên trong studio, đổi mô hình là một lần bấm và cùng số tín dụng. Chi phí kiểm tra gần như bằng không, nên người ta kiểm tra. Qua vài tuần, điều đó biến thành một cảm nhận thật, tự đúc rút được về việc nên với tới mô hình nào — đáng giá hơn bất kỳ benchmark nào chúng tôi có thể công bố.

Thử nó với prompt khó tiếp theo của bạn

Lần tới khi bạn nhận một câu trả lời gần như đúng, đừng prompt lại cùng mô hình rồi hy vọng. Hãy nhánh nó sang một mô hình khác. Nửa số lần mô hình thứ hai chỉ đơn giản là làm đúng — và bạn sẽ học được điều gì đó bền vững về cả hai mà không bài đánh giá nào nói cho bạn.