Giảm thiên vị trong các ví dụ (Exemplar Debiasing)
- Cân bằng số lượng ví dụ từ các lớp khác nhau:
Các ví dụ trong prompts được gọi là "exemplars". Các exemplars đại diện cho các lớp khác nhau của kết quả có thể xảy ra. Ví dụ, nếu bạn đang phân tích cảm xúc của các tweet, các exemplars có thể là các tweet tích cực, tiêu cực hoặc trung lập.
Nếu các exemplars được phân phối không đồng đều, mô hình có thể bị thiên vị theo hướng của các exemplars chiếm ưu thế. Ví dụ, nếu bạn cung cấp 3 tweet tích cực và 1 tweet tiêu cực, thì mô hình sẽ có nhiều khả năng dự đoán các tweet là tích cực.
Để giảm thiểu sự thiên vị này, hãy cân bằng số lượng exemplars từ các lớp khác nhau. Ví dụ, trong ví dụ trên, bạn có thể cung cấp 2 tweet tích cực và 2 tweet tiêu cực.
Giải thích chi tiết hơn:
Sự thiên vị trong các ví dụ có thể xảy ra do nhiều yếu tố, chẳng hạn như:
- Dữ liệu đào tạo của mô hình: Nếu dữ liệu đào tạo của mô hình chứa nhiều hơn các ví dụ về một lớp nhất định, thì mô hình có thể học cách ưu tiên lớp đó.
- Hành vi của người tạo prompts: Người tạo prompts có thể vô tình thiên vị các ví dụ mà họ cung cấp. Ví dụ, họ có thể đưa ra nhiều ví dụ về một lớp nhất định hơn các lớp khác.
Để giảm thiểu sự thiên vị trong các ví dụ, cần chú ý cân bằng số lượng exemplars từ các lớp khác nhau. Điều này có thể được thực hiện bằng cách:
- Chọn các exemplars từ một tập dữ liệu đa dạng: Tập dữ liệu này nên bao gồm các ví dụ từ tất cả các lớp có thể xảy ra.
- Sử dụng các kỹ thuật lấy mẫu ngẫu nhiên: Các kỹ thuật này có thể giúp đảm bảo rằng các exemplars được chọn một cách ngẫu nhiên, không thiên vị.
Ví dụ:
Giả sử bạn đang sử dụng GPT-3 để phân tích cảm xúc của các tweet về COVID-19. Bạn có thể tạo prompts như sau:
Tweet tích cực:
- "Tôi rất vui vì vaccine COVID-19 đã được phát triển."
- "Tôi biết ơn những người đã làm việc chăm chỉ để giúp chúng ta vượt qua đại dịch này."
Tweet tiêu cực:
- "Tôi lo lắng về các tác dụng phụ của vaccine COVID-19."
- "Tôi nghĩ rằng chính phủ đã không làm đủ để ngăn chặn đại dịch."
Các prompts này có sự cân bằng tốt về số lượng tweet tích cực và tiêu cực. Điều này sẽ giúp giảm thiểu sự thiên vị trong kết quả của GPT-3.
Giảm thiên vị bằng hướng dẫn (Instruction Debiasing)
- Thêm hướng dẫn rõ ràng yêu cầu GPT-3 đưa ra kết quả không thiên vị:
Bạn có thể thêm hướng dẫn rõ ràng vào prompts yêu cầu GPT-3 đưa ra kết quả không thiên vị. Ví dụ: bạn có thể nhắc nhở GPT-3 đối xử bình đẳng với mọi người bất kể địa vị kinh tế xã hội, khuynh hướng tình dục, tôn giáo, chủng tộc, ngoại hình, quốc tịch, bản dạng giới, khuyết tật và tuổi tác.
Giải thích chi tiết hơn:
Các hướng dẫn rõ ràng có thể giúp GPT-3 hiểu rõ hơn về những gì bạn mong đợi từ nó. Điều này có thể giúp giảm thiểu sự thiên vị trong kết quả của GPT-3.
Ví dụ:
Giả sử bạn đang sử dụng GPT-3 để tạo văn bản về một nhân vật trong truyện. Bạn có thể thêm hướng dẫn sau vào prompts của mình:
Nhân vật này là một người bình đẳng, không phân biệt đối xử.
Hướng dẫn này sẽ giúp GPT-3 tạo văn bản không thiên vị về nhân vật này.
- Khi không có đủ thông tin, hãy chọn tùy chọn "không xác định" thay vì đưa ra giả định dựa trên định kiến:
