66B là một mô hình ngôn ngữ có khoảng 66 tỷ tham số, được thiết kế để xử lý ngôn ngữ tự nhiên trên nhiều tác vụ. Mô hình này đánh dấu một bước nhảy so với các phiên bản trước nhờ quy mô và tối ưu hóa hiện đại.
Kiến trúc của 66B thường dựa trên các biến đổi transformer với nhiều lớp tự chú ý. Số tham số lên tới ~66 tỷ cho phép học biểu diễn phức tạp và hiểu ngữ cảnh ở mức độ sâu hơn. Tuy nhiên, kích thước lớn đặt ra thách thức về nguồn lực và tối ưu hoá.
Trên các bộ dữ liệu tiêu chuẩn, 66B cho thấy khả năng sinh văn bản, tóm tắt, dịch thuật và trả lời câu hỏi ở chất lượng gần với các hệ thống lớn hơn, đồng thời có thể tùy chỉnh cho các tác vụ chuyên ngành với fine-tuning hoặc instruction tuning.
Việc triển khai 66B gặp thách thức về tiêu thụ năng lượng, sự công bằng, và rủi ro ngôn ngữ hoặc sai lệch thông tin. Nghiên cứu tiếp tục tối ưu hóa hiệu suất trên phần cứng công suất thấp, đồng thời phát triển cơ chế kiểm soát đầu ra và giải trình cho người dùng.
