https://colab.research.google.com/drive/1MA1FHwknrs6mVstOHcSyFTnDNWrus-G-?usp=sharing

OpenThaiGPT 1.6 72b: https://huggingface.co/openthaigpt/openthaigpt-1.6-72b-instruct OpenTHaiGPT R1 32b: https://huggingface.co/openthaigpt/openthaigpt-r1-32b-instruct

🌟 OpenThaiGPT 1.6 72b

OpenThaiGPT 1.6 72b เป็นโมเดลภาษาไทยขนาด 72 พันล้านพารามิเตอร์ ที่ออกแบบมาสำหรับงานทั่วไปพร้อมความสามารถในการคิดวิเคราะห์ที่แข็งแกร่ง ต่อยอดจากพื้นฐานของ OpenThaiGPT 1.5 รุ่นล่าสุดนี้แสดงให้เห็นถึงประสิทธิภาพที่ดีขึ้นในการทดสอบหลากหลายรูปแบบ โดยเฉพาะอย่างยิ่งในด้านการเขียนโค้ดและงานด้านภาษาทั่วไป

จุดเด่น

• โมเดลภาษาไทยขั้นสูง ด้วยพารามิเตอร์ 72 พันล้าน

• ความสามารถในการคิดวิเคราะห์ที่แข็งแกร่ง ทั้งในภาษาไทยและภาษาอังกฤษ

• ประสิทธิภาพที่ดีขึ้น เมื่อเทียบกับรุ่น OpenThaiGPT ก่อนหน้านี้

• ความสามารถที่สมดุล ทั้งด้านคณิตศาสตร์ การเขียนโค้ด และงานด้านภาษาทั่วไป

• ความเข้าใจที่ลึกซึ้ง ในภาษาไทยและบริบททางวัฒนธรรม

การปรับปรุงหลักใน OpenThaiGPT 1.6 72b

เมื่อเทียบกับ OpenThaiGPT 1.5 72b รุ่น 1.6 แสดงให้เห็น:

• ประสิทธิภาพด้านการเขียนโค้ดที่ดีขึ้นอย่างมาก ทั้งในภาษาไทย (LiveCodeBench-TH: 32.43 เทียบกับ 12.61) และภาษาอังกฤษ (LiveCodeBench: 54.21 เทียบกับ 46.38)

• ความเข้าใจภาษาทั่วไปที่เทียบเคียงกัน ด้วยความแม่นยำด้านภาษาสูงถึง 98.2%

• ความสามารถที่สมดุลดีขึ้น ระหว่างงานด้านคณิตศาสตร์และการเขียนโค้ด

🧠 OpenThaiGPT R1 32b

OpenThaiGPT R1 32b เป็นโมเดลภาษาไทยขั้นสูงขนาด 32 พันล้านพารามิเตอร์ที่เน้นด้านการคิดวิเคราะห์และให้เหตุผล ซึ่งมีประสิทธิภาพสูงกว่าโมเดลขนาดใหญ่อย่าง DeepSeek R1 70b และ Typhoon R1 70b แม้จะมีขนาดเล็กกว่าครึ่งหนึ่ง โมเดลนี้เชี่ยวชาญในงานที่ต้องใช้การคิดวิเคราะห์ซับซ้อน รวมถึงคณิตศาสตร์ ตรรกะ และการเขียนโค้ดในภาษาไทย

จุดเด่น

• โมเดลภาษาไทยที่ทันสมัยที่สุด มีประสิทธิภาพสูงกว่าโมเดลขนาดใหญ่ในการทดสอบด้านคณิตศาสตร์และการให้เหตุผลเชิงตรรกะ

• ความสามารถในการให้เหตุผลอย่างชัดเจน สามารถแสดงกระบวนการคิดเป็นขั้นตอนได้

• ขนาดเล็กกว่าอย่างมีนัยสำคัญ (32b) แต่มีประสิทธิภาพสูงกว่าโมเดลขนาด 70b

• เชี่ยวชาญด้านการคิดวิเคราะห์ในภาษาไทย รวมถึงปัญหาคณิตศาสตร์และตรรกะที่ซับซ้อน

• ประสิทธิภาพสูงในการเขียนโค้ด ทั้งในภาษาไทยและภาษาอังกฤษ

ผลการทดสอบเปรียบเทียบ

OpenThaiGPT 1.6 72b

OpenThaiGPT R1 32b

Model Technical Report

https://arxiv.org/abs/2504.01789

If OpenThaiGPT has been beneficial for your work, kindly consider citing it as follows:

วิธีการใช้งาน

Online Web Interface

https://chindax.iapp.co.th

Transformers

vLLM

1. Install VLLM (https://github.com/vllm-project/vllm)

2. Run server (เลือกอันใดอันหนึ่ง)

• Note, change --tensor-parallel-size 2 to the amount of available GPU cards.

1. Run inference (CURL example)

หรือเปลี่ยนชื่อโมเดลเป็น "model": "openthaigpt/openthaigpt-r1-32b-instruct" หรือ "model": "openthaigpt/openthaigpt-1.6-72b".

ความต้องการด้านหน่วยความจำ GPU

ใบอนุญาต

• โมเดลนี้มีให้ใช้สำหรับ การวิจัย และ การใช้งานเชิงพาณิชย์ ภายใต้เงื่อนไขสัญญาอนุญาติ Qwen2.5 โปรดดูไฟล์ LICENSE สำหรับข้อมูลเพิ่มเติม

การสนับสนุน

• เว็บไซต์อย่างเป็นทางการ: https://openthaigpt.aieat.or.th

• เพจ Facebook: https://web.facebook.com/groups/openthaigpt

• เซิร์ฟเวอร์ Discord สำหรับการสนทนาและสนับสนุน ที่นี่

• อีเมล: [email protected]

ทีม OpenThaiGPT

• ดร. กอบกฤตย์ วิริยะยุทธกร ([email protected] / [email protected])

• ดร. สุเมธ ยืนยง ([email protected])

• ดร. ทศพร ฉายอินทร์ ([email protected])

ผู้สนับสนุน

• ได้รับการสนับสนุน GPU Nvidia H100 x 8 ใบ จากบริษัท สยาม เอไอ คอร์เปอเรชั่น จำกัด: https://siam.ai/

• ได้รับทุนวิจัยสนับสนุนจากกองทุนส่งเสริมวิทยาศาสตร์ วิจัยและนวัตกรรม โดยหน่วยบริหารและจัดการทุนด้านการเพิ่มความสามารถในการแข่งขันของประเทศ (บพข.) ร่วมกับ บริษัท ไอแอพพ์เทคโนโลยี จำกัด ซึ่งมี สมาคมผู้ประกอบการปัญญาประดิษฐ์ประเทศไทย เป็นผู้ดำเนินงานโครงการ

Disclaimer: Provided responses are not guaranteed.

Dr. Kobkrit Viriyayudhakorn President - AIEAT [email protected]

Join Zoom Meeting

https://us06web.zoom.us/j/87017427335?pwd=bVBON0tFMU9WdFZLRWZCWXREYnI4dz09

Meeting ID: 870 1742 7335 Passcode: 260098

ขอบพระคุณทุกท่านมากครับ

---

ติดตั้ง

สนับสนุน Python >=3.6 และติดตั้งเลือกอันใดอันหนึ่งดังต่อไปนี้

สำหรับ CPU version

สำหรับ GPU Version

• OpenThaiGPT Model Version 0.0.1 - 0.0.4 = Require at least 2 GB VRam

• OpenThaiGPT Model Version 0.1.0-alpha = Require at least 30 GB VRam (Nvidia A100 at least 40GB is recommended)

• OpenThaiGPT Model Version 0.1.0-beta = Require at least 15 GB VRam (Nvidia T4 is recommended)

สำหรับ CUDA 11.6 version

สำหรับ CUDA 11.7 version

วิธีการเรียกใช้

Project ตัวอย่างในการเรียกใช้ (Version 0.0.4)

https://colab.research.google.com/drive/13yLIifBRDQp82QO4ICs_aEvz0N8tqVPm?usp=sharin

Colab ตัวอย่างการเรียกใช้ (Vesion 0.1.0)

https://colab.research.google.com/drive/1Uds0ioOZSZrJ9m2FgW3DHlqVRFNHVRtu#scrollTo=qPJIpwuz4ltF

https://github.com/OpenThaiGPT/openthairag

Key Features

• Vector Database Integration: Utilizes Milvus for efficient storage and retrieval of document embeddings.

• Multilingual Embedding Model: Incorporates the BAAI/bge-m3 model for generating high-quality embeddings for Thai text.

• Advanced Retrieval: Implements a two-stage retrieval process with initial vector search and subsequent re-ranking for improved accuracy.

• Large Language Model Integration: Seamlessly integrates with vLLM for generating human-like responses based on retrieved context.

• RESTful API: Offers a Flask-based web API for easy integration into various applications.

คุณสมบัติหลัก

• การผสานรวมฐานข้อมูลเวกเตอร์: ใช้ Milvus สำหรับการจัดเก็บและค้นคืนเอ็มเบดดิงของเอกสารอย่างมีประสิทธิภาพ

• โมเดลเอ็มเบดดิงหลายภาษา: รวม BAAI/bge-m3 model สำหรับการสร้างเอ็มเบดดิงคุณภาพสูงสำหรับข้อความภาษาไทย

• การค้นคืนขั้นสูง: ใช้กระบวนการค้นคืนสองขั้นตอนด้วยการค้นหาเวกเตอร์เบื้องต้นและการจัดอันดับใหม่ในภายหลังเพื่อเพิ่มความแม่นยำ

• การผสานรวมโมเดลภาษาขนาดใหญ่: ผสานรวมกับ vLLM อย่างราบรื่นเพื่อสร้างคำตอบที่เหมือนมนุษย์ตามบริบทที่ค้นคืนได้

• RESTful API: นำเสนอ API เว็บที่ใช้ Flask เพื่อการผสานรวมที่ง่ายกับแอปพลิเคชันต่างๆ

Core Functionalities

1. Document Indexing: Allows users to index Thai documents, generating and storing embeddings for efficient retrieval.

2. Query Processing: Handles user queries by finding relevant documents and generating context-aware responses.

3. Document Management: Provides endpoints for listing and deleting indexed documents.

OpenThaiRAG aims to enhance natural language understanding and generation for Thai language applications, making it a valuable tool for developers working on chatbots, question-answering systems, and other NLP projects focused on Thai language processing.

ฟังก์ชันการทำงานหลัก

1. การทำดัชนีเอกสาร: อนุญาตให้ผู้ใช้ทำดัชนีเอกสารภาษาไทย สร้างและจัดเก็บเอ็มเบดดิงสำหรับการค้นคืนอย่างมีประสิทธิภาพ

2. การประมวลผลคำถาม: จัดการคำถามของผู้ใช้โดยค้นหาเอกสารที่เกี่ยวข้องและสร้างคำตอบที่คำนึงถึงบริบท

3. การจัดการเอกสาร: ให้จุดเชื่อมต่อสำหรับการแสดงรายการและลบเอกสารที่ทำดัชนีไว้

OpenThaiRAG มีเป้าหมายเพื่อเพิ่มประสิทธิภาพการเข้าใจและการสร้างภาษาธรรมชาติสำหรับแอปพลิเคชันภาษาไทย ทำให้เป็นเครื่องมือที่มีคุณค่าสำหรับนักพัฒนาที่ทำงานเกี่ยวกับแชทบอท ระบบถาม-ตอบ และโครงการ NLP อื่นๆ ที่มุ่งเน้นการประมวลผลภาษาไทย

Installation

To install and run OpenThaiRAG using Docker Compose, follow these steps:

1. Ensure you have Docker and Docker Compose installed on your system.

2. Clone the OpenThaiRAG repository:

3. Build and start the containers using Docker Compose:

   This command will:

   • Build the web service container

   • Start the Milvus standalone server

   • Start the etcd service

   • Start the MinIO service

   • Link all services together as defined in the docker-compose.yml file

4. Once all containers are up and running, the OpenThaiRAG API will be available at http://localhost:5000.

5. To stop the services, run:

Note: Ensure that port 5000 is available on your host machine, as it's used to expose the web service. Also, verify that you have sufficient disk space for the Milvus, etcd, and MinIO data volumes.

For production deployments, it's recommended to adjust the environment variables and security settings in the docker-compose.yml file according to your specific requirements.

Containers

OpenThaiRAG utilizes several containers to provide its functionality. Here's an explanation of each container's role and purpose:

1. web:

   • Role: Main application container

   • Purpose: Hosts the Flask web service that provides the RESTful API for OpenThaiRAG. It handles document indexing, query processing, and interaction with other services.

2. milvus:

   • Role: Vector database

   • Purpose: Stores and manages document embeddings for efficient similarity search. It's crucial for the retrieval component of the RAG system.

3. etcd:

   • Role: Distributed key-value store

   • Purpose: Used by Milvus for metadata storage and cluster coordination. It ensures data consistency and helps manage the distributed nature of Milvus.

4. minio:

   • Role: Object storage

   • Purpose: Provides S3-compatible object storage for Milvus. It's used to store large objects and files that are part of the Milvus ecosystem.

These containers work together to create a robust and scalable infrastructure for the OpenThaiRAG system:

• The web container interacts with Milvus for vector operations.

• Milvus uses etcd for metadata management and MinIO for object storage.

• This architecture allows for efficient document embedding storage, retrieval, and query processing, which are essential for the RAG (Retrieval-Augmented Generation) functionality of OpenThaiRAG.

Indexing New Documents into RAG

To insert new documents into the RAG system, you can use the index_docs.py script provided in the app directory. This script reads text files from the /docs folder and indexes their contents via the API. Here's how to use it:

1. Prepare your documents:

   • Create text files (.txt) containing the content you want to index.

   • Place these files in the /docs directory of your project.

2. Run the indexing script:

   This script will:

   • Read all .txt files in the /docs directory.

   • Split each document into chunks of maximum 200 characters, including the title in each chunk.

   • Send each chunk to the indexing endpoint (http://localhost:5000/index by default).

3. Monitor the indexing process:

   • The script will log information about each indexed file.

   • At the end, it will report the total number of successfully indexed files and any files that couldn't be indexed.

You can also customize the indexing process by modifying the index_docs.py script. For example, you can change the chunk size, adjust the indexing endpoint URL, or add additional preprocessing steps.

Note: Ensure that your OpenThaiRAG API is running and accessible at the specified URL before running the indexing script.

For more granular control or to index documents programmatically, you can use the /index endpoint directly:

Example Document TXT Files

You can see more examples at /docs.

Getting RAG's Response.

To get a response from the RAG system, you can use the /completions endpoint. This endpoint accepts a POST request with a JSON payload containing the user's query and optional parameters.

Here's a list of query parameters supported by the /completions endpoint:

1. prompt (required): The input text to generate completions for.

2. max_tokens (optional): The maximum number of tokens to generate. Defaults to 16.

3. temperature (optional): Controls randomness in generation. Higher values (e.g., 0.8) make output more random, lower values (e.g., 0.2) make it more focused. Defaults to 1.0.

4. top_p (optional): An alternative to temperature, called nucleus sampling. Keeps the model from considering unlikely options. Defaults to 1.0.

5. n (optional): How many completions to generate for each prompt. Defaults to 1.

6. stream (optional): Whether to stream back partial progress. Defaults to false.

7. logprobs (optional): Include the log probabilities on the logprobs most likely tokens. Defaults to null.

8. echo (optional): Echo back the prompt in addition to the completion. Defaults to false.

9. stop (optional): Up to 4 sequences where the API will stop generating further tokens.

10. presence_penalty (optional): Number between -2.0 and 2.0. Positive values penalize new tokens based on whether they appear in the text so far. Defaults to 0.

11. frequency_penalty (optional): Number between -2.0 and 2.0. Positive values penalize new tokens based on their existing frequency in the text so far. Defaults to 0.

12. best_of (optional): Generates best_of completions server-side and returns the "best" (the one with the highest log probability per token). Defaults to 1.

13. logit_bias (optional): Modify the likelihood of specified tokens appearing in the completion.

14. user (optional): A unique identifier representing your end-user, which can help OpenAI to monitor and detect abuse.

Note: Some parameters may not be applicable depending on the specific model and configuration of your OpenThaiRAG setup.

via API: Non-Streaming

via API: Streaming

via OpenAI Library

You can take a look at /app/query_rag_using_openai.py. To use the OpenAI library to get RAG responses, you can follow these steps:

1. Install the OpenAI library:

2. Configure the OpenAI client to use the vLLM server:

3. Define your prompt:

4. For a non-streaming response:

5. For a streaming response:

You can find the complete example in the /app/query_rag_using_openai.py file.

Full API Documentation

For detailed API documentation and examples, please refer to our Postman collection: OpenThaiRAG API Postman Collection

Maintainer

OpenThaiGPT Team

• Kobkrit Viriyayudhakorn ([email protected])

• Sumeth Yuenyong ([email protected])

• Apivadee Piyatumrong ([email protected])

• Jillaphat Jaroenkantasima ([email protected])

License

Apache 2.0

Change Logs

🇹🇭 Version 1.0.0-beta (Llama v2 + 24,554 Thai word extension)

Release date: 16 August 2023

🇹🇭 OpenThaiGPT Version 1.0.0-beta is a Thai language 7B-parameter LLaMA v2 Chat model finetuned to follow Thai translated instructions and extend 24,554 Thai words vocabularies for turbo speed.

License

Source Code: License Apache Software License 2.0. Weight: Research and Commercial uses.

Code and Weight

Finetune Code: https://github.com/OpenThaiGPT/openthaigpt-finetune-010beta Inference Code: https://github.com/OpenThaiGPT/openthaigpt Weight: https://huggingface.co/openthaigpt/openthaigpt-1.0.0-beta-7b-chat

Authors

• Kobkrit Viriyayudhakorn ([email protected])

• Sumeth Yuenyong ([email protected])

• Prachya Boonkwan ([email protected], [email protected])

• Thaweewat Rugsujarit ([email protected])

• Jillaphat Jaroenkantasima ([email protected])

• Norapat Buppodom ([email protected])

• Koravich Sangkaew ([email protected])

• Peerawat Rojratchadakorn ([email protected])

• Surapon Nonesung ([email protected])

• Chanon Utupon ([email protected])

• Sadhis Wongprayoon ([email protected])

• Nucharee Thongthungwong ([email protected])

• Chawakorn Phiantham ([email protected])

• Patteera Triamamornwooth ([email protected])

• Nattarika Juntarapaoraya ([email protected])

• Kriangkrai Saetan ([email protected])

• Pitikorn Khlaisamniang ([email protected])

• Teerapol Saengsukhiran ([email protected])

• Phasin Aumwong ([email protected])

---

🇹🇭 Version 1.0.0-alpha (Facebook LLama V2 Model)

Release date: 3 August 2023

🇹🇭 OpenThaiGPT Version 1.0.0-alpha is the first Thai implementation of a 7B-parameter LLaMA v2 Chat model finetuned to follow Thai translated instructions and makes use of the Huggingface LLaMA implementation.

Changes

(1) Using Facebook LLama v2 model 7b chat as a base model which is pretrained on over 2 trillion token. (2) Context Length is upgrade from 2048 token to 4096 token (3) Allow research and commerical use.

License

Source Code: License Apache Software License 2.0. Weight: Research and commercial uses.

Code and Weight

Colab Demo: https://colab.research.google.com/drive/1kDQidCtY9lDpk49i7P3JjLAcJM04lawu?usp=sharing Finetune Code: https://github.com/OpenThaiGPT/openthaigpt-finetune-010beta (Same code as OpenThaiGPT 0.1.0-beta) Inference Library: https://github.com/OpenThaiGPT/openthaigpt Weight (Lora Adapter): https://huggingface.co/openthaigpt/openthaigpt-1.0.0-alpha-7b-chat Weight (Huggingface Checkpoint): https://huggingface.co/openthaigpt/openthaigpt-1.0.0-alpha-7b-chat-ckpt-hf

Authors

• Kobkrit Viriyayudhakorn ([email protected])

• Sumeth Yuenyong ([email protected])

• Thaweewat Rugsujarit ([email protected])

• Jillaphat Jaroenkantasima ([email protected])

• Norapat Buppodom ([email protected])

• Koravich Sangkaew ([email protected])

• Peerawat Rojratchadakorn ([email protected])

• Surapon Nonesung ([email protected])

• Chanon Utupon ([email protected])

• Sadhis Wongprayoon ([email protected])

• Nucharee Thongthungwong ([email protected])

• Chawakorn Phiantham ([email protected])

• Patteera Triamamornwooth ([email protected])

• Nattarika Juntarapaoraya ([email protected])

• Kriangkrai Saetan ([email protected])

• Pitikorn Khlaisamniang ([email protected])

• Teerapol Saengsukhiran ([email protected])

• Phasin Aumwong ([email protected])

---

Version 0.1.0-beta (Facebook LLama Model)

Release date: 16 May 2023

OpenThaiGPT Version 0.1.0-beta is a 7B-parameter LLaMA model finetuned to follow Thai translated instructions below and makes use of the Huggingface LLaMA implementation.

Statistics

Number of parameters: 7B Dimension: 4096 Context Length: 2048 n heads: 32 n layers: 32 n tokens: 1T

License

Source Code: License Apache Software License 2.0. Weight: For research use only (due to the Facebook LLama's Weight LICENSE). Note that: A commercial use license for OpenThaiGPT 0.1.0 weight will be released later soon!

Code and Weight

Finetune Code: https://github.com/OpenThaiGPT/openthaigpt-finetune-010beta Inference Library: https://github.com/OpenThaiGPT/openthaigpt Weight (Lora Adapter): https://huggingface.co/kobkrit/openthaigpt-0.1.0-beta

Authors

Kobkrit Viriyayudhakorn ([email protected]), Sumeth Yuenyong ([email protected]) and Thaweewat Rugsujarit ([email protected]).

Trained Datasets

---

Version 0.1.0-alpha (ByT5-XL Model)

Release date: 24 April 2023 PoC Testing Website: https://colab.research.google.com/drive/1Uds0ioOZSZrJ9m2FgW3DHlqVRFNHVRtu#scrollTo=qPJIpwuz4ltF Model and Weight: https://huggingface.co/kobkrit/openthaigpt-0.1.0-alpha PIP Installation Page: https://pypi.org/project/openthaigpt/ Code Example: https://colab.research.google.com/drive/1Uds0ioOZSZrJ9m2FgW3DHlqVRFNHVRtu#scrollTo=qPJIpwuz4ltF ----

OpenThaiGPT version 0.1.0-alpha

Thai First 3 billion params models

• First Thai Byte-Level Text-to-Text Transfer Transformer

• Support Instruction following

  • Translation to Thai

  • Explanation

  • Paraphase

• Zero-shot and Few-shot Learning

• Pretraining Model: ByT5-XL (3.74 billion params)

• InstructDataset: 50,000 Thai SelfInstruct

• RLHF: None

• Developer: Sumeth Yuenyong, Kobkrit Viriyayudhakorn ([email protected])

PoC Version 0.0.4 (The Fourth PoC Version)

Release date: 12 March 2023 PoC Testing Website: https://colab.research.google.com/drive/13yLIifBRDQp82QO4ICs_aEvz0N8tqVPm?usp=sharin Model and Weight: https://huggingface.co/kobkrit/openthaigpt-gpt2-instructgpt-poc-0.0.4 PIP Installation Page: https://pypi.org/project/openthaigpt/ Code Example: https://github.com/OpenThaiGPT/openthaigpt-example ----

OpenThaiGPT version 0.0.4

The Fourth PoC Model

• ตอบคำถามได้ลงรายละเอียดมากขึ้น และตอบคำถามได้ดีขึ้นกว่า 0.0.3 เป็นส่วนมาก

• Pretraining Model: GPT-2 Thai-base

• InstructDataset: 300,000 Pantip + 5,000 Wiki QA => 12,920 Thai InstructGPT

• RLHF: None

• Developer: Kobkrit Viriyayudhakorn ([email protected])

PoC Version 0.0.3 (The Third PoC Version)

Release date: 28 February 2023 Model and Weight: https://huggingface.co/kobkrit/openthaigpt-gpt2-instructgpt-poc-0.0.3 PIP Installation Page: https://pypi.org/project/openthaigpt/ Code Example: https://github.com/OpenThaiGPT/openthaigpt-example ----

OpenThaiGPT version 0.0.3

The Third PoC Model

• Pretraining Model: GPT-2 Thai-base

• InstructDataset: 300,000 Pantip + 5,000 Wiki QA => 7,000 Thai InstructGPT

• RLHF: None

• Developer: Kobkrit Viriyayudhakorn ([email protected])

PoC Version 0.0.2 (The Second PoC Version)

Release date: 27 February 2023 Model and Weight: https://huggingface.co/kobkrit/openthaigpt-gpt2-instructgpt-poc-0.0.2 PIP Installation Page: {Coming Soon} Colab Example: {Coming Soon} ----

OpenThaiGPT version 0.0.2

The Second PoC Model

• Pretraining Model: GPT-2 Thai-base

• InstructDataset: 7,000 Thai InstructGPT

• RLHF: None

Developer: Kobkrit Viriyayudhakorn ([email protected])

PoC Version 0.0.1 (Very First PoC Version)

Release date: 20 February 2023 Model and Weight: openthaigpt-gpt2-pantipwiki-poc PIP Installation Page: {Coming Soon} Colab Example: {Coming Soon} ----

The Very First PoC Model

• Pretraining Model: GPT-2 Thai-base

• InstructDataset: 298,678 QA Pairs getting from 70,000 Pantip katoos + Wikipedia QA by iApp

• RLHF: None

• Developer: Kobkrit Viriyayudhakorn ([email protected])

ในส่วนที่ (3) ก็มีปัญหาในการทำ RLHF ติดปัญหาอยู่ 2 อย่างครับ

​(1) เรายังสร้าง Reward Model ที่มีประสิทธิภาพไม่ได้ครับ เนื่องจากขาด Dataset ครับ ตามข้อ (2) ครับ

(2) ยังขาด Data Set ที่เป็นการ Ranking คำตอบที่มี ข้อความหน้าตาแตกต่างกันมากพอครับ

(2.1) Dataset ที่ทางเรา Gen ออกมาให้จากการ Train Thai Instruct Dataset version แรก โดยโมเดลที่ออกคำตอบมาแตกต่างกันนั้น 4 อัน และขอร้องให้ทีมอาสาสมัครมาช่วย Rank กันนั้น (ที่ให้เรียง A,B,C,D) คำตอบแตกต่างกันไม่มากพอครับ แทบจะเขียนเหมือนกันเลย จนคนยังแยกไม่ออกเลยว่า อันไหนดีกว่ากันครับ

(2.2) Dataset ที่ตอนนี้คนมา Tag ข้อมูลให้ที https://tag.openthaigpt.aieat.or.th/ มีความแตกต่างกันมากพอครับ เพราะใช้คนสร้างขึ้นมา แต่ยังมีปริมาณไม่เพียงพอครับ ประมาณ 100 กว่า Dataset ตัวอย่างเท่านั้นเอง (คงต้องกระตุ้นและหาคนมาช่วย Tag เพิ่มเติมครับ)

วิธีการใหม่ Self-Instruct

ในสัปดาห์ที่ผ่านมา ทางผมมาเจอ Paper Self-Instruct (https://arxiv.org/abs/2212.10560#) ซึ่งใน Paper นี้คือพื้นฐานกระบวนการสร้าง Stanford Alpaca Model ที่เปิดตัวเมื่อ 2 สัปดาห์ที่แล้วเลยครับ https://crfm.stanford.edu/2023/03/13/alpaca.html

Paper นี้กล่าวถึงวิธีการสร้าง Dataset Thai InstructGPT ที่ใช้พลังงานคนน้อยมากครับ และสามารถชุดคำถาม-คำตอบที่เป็นคำสั่งละเอียดๆ คำสั่งเขียนโค้ด คำสั่งที่แสดงถึงความสามารถ และคำสั่งที่เป็นแบบ Few-shot Learning ได้ทั้งหมดด้วย โอ้ แก้ปัญหาเราได้พอดิบพอดี ซึ่งต้องการแค่คนมาช่วยมาตรวจคุณภาพ Dataset ตอนสุดท้ายและลบอันที่มีปัญหาออกไป

ซึ่งทางนักพัฒนา Paper Self-Instruct แจ้งว่า ด้วยวิธีการนี้ ไม่ต้องทำวิธีการ RLHF อีกต่อไปแล้ว เพราะถ้า Dataset InstructGPT มีคุณภาพมากพอ ก็จะสามารถฝึก LLM ได้มีคุณภาพเทียบเท่า ChatGPT ได้เลยทีเดียว

วิธีการของสร้าง Instruct Dataset แบบ Self-Instruct

(1) เริ่มต้นให้คนเขียน Instruct Dataset ตัวอย่างครับ ที่เป็นภาษาไทย ผมขอเรียกว่า SEED Instruct Dataset เป็น Dataset เบื้องต้น 175 คู่ ซึ่งทางผมแปลด้วย Google Translate และ ทำการ Review นั่งแก้มือจนถูกต้องหมดทุกอย่างแล้ว (Human Reviewed) ดังภาพ

แน่นอน! ทุกท่านสามารถไปโหลด SEED Instruct Dataset ที่ผมนั่ง Clean ให้แล้ว ได้เลยครับที่นี้: https://drive.google.com/file/d/1-bz16ASSlFZBj8m-SlQIxLxj2ZdHo99y/view?usp=sharing

(2) Sample ตัวอย่างนี้ ยิงไปถาม OpenAI GPT-4 ให้เขียน Instruct Dataset แบบใหม่ออกมาใกล้เคียงแบบนี้ให้หน่อย โดยใช้ Prompt Engineering ดังตัวอย่างข้างล่าง

1. ส่งให้ OpenAI GPT-4 จะเขียนตอบกลับมาดังนี้

1. เราก็จะเก็บเกี่ยว สิ่งที่ OpenAI GPT-4 เขียนตอบกลับมา แปลงเป็น JSON ดังภาพ

1. เราเปรียบเทียบ Instruct Dataset ที่ OpenAI เขียนมาให้ กับในคลังของเรา ถ้าในคลังมีคล้ายกับของใหม่มากเกินไป (คะแนน ROUGE มากกว่า 0.8) แม้แต่ 1 อัน ก็จะถูกปฏิเสธการเข้าคลัง ข้างล่างคือคะแนนความเหมือนของ Instruct อื่นๆ ของ Instruct Dataset อันใหม่ข้างต้น (จะเห็นได้ว่ามากสุดคือแค่ 0.18 เก็บเข้าคลังได้)

สิ่งที่เรากำลังทำอยู่และต้องการความช่วยเหลือ

1. ช่วยกรองข้อมูล Self-Instruct ให้ทีครับ

ตอนนี้ทางผมกำลังรัน Self-Instruct ด้วยวิธีการนี้อยู่ และกำลังผลิต Instruct Dataset ออกมาใหม่เรื่อยๆ เมื่อได้ครบซัก 10,000 คู่เป็นอย่างน้อยแล้วจะขอ Volunteer มาช่วยกันตรวจสิ่งที่ GPT-4 ช่วยสร้าง Instruct Dataset มาให้นะครับ โดยอยากจะให้ช่วยแยกแยะว่า Instruct Dataset ที่สร้างขึ้นมาใหม่นี้

1. ความถูกต้องตามความเป็นจริง

2. ไม่หลอน (Not Hallucinations)

3. ไม่มีคำสะกดผิด

4. ไม่มีคำใหม่ ที่ประดิษฐ์มาใหม่ ไม่เคยนิยามมาก่อน

5. อ่านรู้เรื่อง

ซึ่งผมจะปล่อยผ่านทาง Google Sheet https://docs.google.com/spreadsheets/d/1BSHkpRyD5RH90E85tLWe4UzpgfDHZafE2rKxLincyWI/edit?usp=sharing รบกวนทุกท่านช่วยมา Tag ครับ ดังตัวอย่าง ตัวอย่างที่ 1: เป็นตัวอย่างที่ดี

ตัวอย่างที่ 2: เป็นตัวอย่างที่ไม่ดี (แปลไม่ถูก)

ตัวอย่างที่ 3: : เป็นตัวอย่างที่ไม่ดี (มีคำซ้ำมากเกินไป วิ่งวิ่งวิ่ง)

เป็นต้น

ความช่วยเหลืออีกอันแต่ไม่เกี่ยวกันครับ

1. อยากได้ข้อสอบ O-Net พร้อมเฉลยในรูปแบบ JSON Text ครับ แบบนี้ครับ ใครมีบ้างครับ ติดต่อผมได้เลยครับที่ [email protected] หรือ Discord kobkrit ครับผม

Model OpenThaiGPT ที่ฉลาดพอจนสามารถทำ Few-Shot Learning ได้ใกล้เป็นจริงเข้ามาแล้วครับ ขอทุกคนช่วยสนับสนุนกันต่อไปนะครับ ขอบคุณมากครับ ดร. กอบกฤตย์ วิริยะยุทธกร ดร. สุเมธ ยืนยง