Khmer language processing toolkit

VietHoang1512, updated 🕥 2022-12-26 17:44:39

🎯TODO

• [X] Sentence Segmentation
• [X] Word Segmentation
• [X] Part of speech Tagging
• [ ] Named Entity Recognition
• [ ] Text classification

💪Installation

bash pip install khmer-nltk

🏹 Quick tour

[Blog]

To get the evaluation result of khmer-nltk's functionalities, please refer the sub-modules's readme

Sentence tokenization

```python

from khmernltk import sentence_tokenize raw_text = "ខួបឆ្នាំទី២៨! ២៣ តុលា ស្មារតីផ្សះផ្សាជាតិរវាងខ្មែរនិងខ្មែរ ឈានទៅបញ្ចប់សង្រ្គាម នាំពន្លឺសន្តិភាព និងការរួបរួមជាថ្មី" print(sentence_tokenize(raw_text)) ['ខួបឆ្នាំទី២៨!', '២៣ តុលា ស្មារតីផ្សះផ្សាជាតិរវាងខ្មែរនិងខ្មែរ ឈានទៅបញ្ចប់សង្រ្គាម នាំពន្លឺសន្តិភាព និងការរួបរួមជាថ្មី'] ```

Word tokenization

```python

from khmernltk import word_tokenize raw_text = "ខួបឆ្នាំទី២៨! ២៣ តុលា ស្មារតីផ្សះផ្សាជាតិរវាងខ្មែរនិងខ្មែរ ឈានទៅបញ្ចប់សង្រ្គាម នាំពន្លឺសន្តិភាព និងការរួបរួមជាថ្មី" print(word_tokenize(raw_text, return_tokens=True)) ['ខួប', 'ឆ្នាំ', 'ទី', '២៨', '!', ' ', '២៣', ' ', 'តុលា', ' ', 'ស្មារតី', 'ផ្សះផ្សា', 'ជាតិ', 'រវាង', 'ខ្មែរ', 'និង', 'ខ្មែរ', ' ', 'ឈាន', 'ទៅ', 'បញ្ចប់', 'សង្រ្គាម', ' ', 'នាំ', 'ពន្លឺ', 'សន្តិភាព', ' ', 'និង', 'ការរួបរួម', 'ជាថ្មី'] ```

POS Tagging

Usage

```python

from khmernltk import pos_tag raw_text = "ខួបឆ្នាំទី២៨! ២៣ តុលា ស្មារតីផ្សះផ្សាជាតិរវាងខ្មែរនិងខ្មែរ ឈានទៅបញ្ចប់សង្រ្គាម នាំពន្លឺសន្តិភាព និងការរួបរួមជាថ្មី" print(pos_tag(raw_text)) [('ខួប', 'n'), ('ឆ្នាំ', 'n'), ('ទី', 'n'), ('២៨', '1'), ('!', '.'), (' ', 'n'), ('២៣', '1'), (' ', 'n'), ('តុលា', 'n'), (' ', 'n'), ('ស្មារតី', 'n'), ('ផ្សះផ្សា', 'n'), ('ជាតិ', 'n'), ('រវាង', 'o'), ('ខ្មែរ', 'n'), ('និង', 'o'), ('ខ្មែរ', 'n'), (' ', 'n'), ('ឈាន', 'v'), ('ទៅ', 'v'), ('បញ្ចប់', 'v'), ('សង្រ្គាម', 'n'), (' ', 'n'), ('នាំ', 'v'), ('ពន្លឺ', 'n'), ('សន្តិភាព', 'n'), (' ', 'n'), ('និង', 'o'), ('ការរួបរួម', 'n'), ('ជាថ្មី', 'o')] ```

✍️ Citation

bibtex @misc{hoang-khmer-nltk, author = {Phan Viet Hoang}, title = {Khmer Natural Language Processing Tookit}, year = {2020}, publisher = {GitHub}, journal = {GitHub repository}, howpublished = {\url{https://github.com/VietHoang1512/khmer-nltk}} }

Used in:

• stopes: A library for preparing data for machine translation research
• LASER Language-Agnostic SEntence Representations
• Pretrained Models and Evaluation Data for the Khmer Language
• Multilingual Open Text 1.0: Public Domain News in 44 Languages
• ZusammenQA: Data Augmentation with Specialized Models for Cross-lingual Open-retrieval Question Answering System
• Shared Task on Cross-lingual Open-Retrieval QA
• No Language Left Behind: Scaling Human-Centered Machine Translation

👨‍🎓 References

• NLP: Text Segmentation Using Conditional Random Fields
• Khmer Word Segmentation Using Conditional Random Fields

📜 Advisor

• Prof. Huong Le Thanh

Releases

Released on Zenodo 2022-01-22 11:23:17

• khmer-nltk.zip

Khmer-NLTK first release 2021-04-09 04:44:34

This is the first release of Khmer-NLTK package