Kesalahan Tatabahasa

This tutorial is available as an IPython notebook at Malaya/example/tatabahasa.

This module only trained on standard language structure, so it is not save to use it for local language structure.

import logging

logging.basicConfig(level=logging.INFO)

import malaya
from pprint import pprint

INFO:numexpr.utils:NumExpr defaulting to 8 threads.

List available Transformer models

malaya.tatabahasa.available_transformer()

INFO:malaya.tatabahasa:tested on 7.5k generated dataset at https://github.com/huseinzol05/malaya/blob/master/session/tatabahasa/t5/prepare-tatabahasa.ipynb

	Size (MB)	Quantized Size (MB)	WER
t5	1250.0	481.00	0.017890
small-t5	355.6	195.00	0.018797
tiny-t5	208.0	103.00	0.032804
super-tiny-t5	81.8	27.10	0.035114
3x-super-tiny-t5	18.3	4.46	0.036762

Load Transformer model

def transformer(model: str = 'small-t5', quantized: bool = False, **kwargs):
    """
    Load Malaya transformer encoder-decoder model to correct a `kesalahan tatabahasa` text.

    Parameters
    ----------
    model : str, optional (default='small-t5')
        Model architecture supported. Allowed values:

        * ``'t5'`` - T5 BASE parameters.
        * ``'small-t5'`` - T5 SMALL parameters.
        * ``'tiny-t5'`` - T5 TINY parameters.
        * ``'super-tiny-t5'`` - T5 SUPER TINY parameters.
        * ``'3x-super-tiny-t5'`` - T5 3X SUPER TINY parameters.

    quantized : bool, optional (default=False)
        if True, will load 8-bit quantized model.
        Quantized model not necessary faster, totally depends on the machine.

    Returns
    -------
    result: model
        List of model classes:

        * if `t5` in model, will return `malaya.model.t5.Tatabahasa`.
    """

model = malaya.tatabahasa.transformer(model = 'small-t5')

INFO:root:running kesalahan-tatabahasa/small-t5 using device /device:CPU:0

Predict using greedy decoder

def greedy_decoder(self, strings: List[str]):
    """
    fix kesalahan tatabahasa.

    Parameters
    ----------
    strings: List[str]

    Returns
    -------
    result: List[str]
    """

# https://ms.wikipedia.org/wiki/Bola_sepak
string = 'Pada amnya, hanya penjaga gol sahaja yang dibenarkan menyentuh bola dengan tangan di dalam kawasan golnya'

model.greedy_decoder([string])

['Pada amnya , hanya penjaga gol sahaja yang dibenarkan menyentuh bola dengan tangan di dalam kawasan golnya']

Now assumed we have kesalahan frasa nama, from penjaga gol become gol penjaga.

# https://ms.wikipedia.org/wiki/Bola_sepak
string = 'Pada amnya, hanya gol penjaga sahaja yang dibenarkan menyentuh bola dengan tangan di dalam kawasan golnya'

model.greedy_decoder([string])

['Pada amnya , hanya penjaga gol sahaja yang dibenarkan menyentuh bola dengan tangan di dalam kawasan golnya']

string = 'Sani mendapat markah yang tertinggi sekali.'
string1 = 'Hassan ialah peserta yang termuda sekali dalam pertandingan itu.'
model.greedy_decoder([string, string1])

['Sani mendapat markah yang tertinggi .',
 'Hassan ialah peserta yang termuda dalam pertandingan itu .']

string = 'Dia kata kepada saya.'
model.greedy_decoder([string])

['Dia berkata kepada saya .']

More examples

I just copy pasted from https://ms.wikipedia.org/wiki/Kesalahan_biasa_tatabahasa_Melayu

string = 'Tidak ada apa yang mereka risaukan waktu itu.'
model.greedy_decoder([string])

['Tidak ada apa yang mereka risaukan waktu itu .']

string = 'Ayahnya setuju walaupun melanggar syarat yang dia sendiri menetapkan.'
model.greedy_decoder([string])

['Ayahnya setuju walaupun melanggar syarat yang dia sendiri menetapkan .']

string = 'Semuanya dia kenal.'
model.greedy_decoder([string])

['Semuanya dia kenal .']

string = 'Dia menjawab seperti disuruh-suruh oleh kuasa yang dia tidak tahu dari mana puncanya.'
model.greedy_decoder([string])

['Dia menjawab seperti disuruh-suruh oleh kuasa yang dia tidak tahu dari mana puncanya .']

string = 'Bola ini ditendang oleh saya.'
model.greedy_decoder([string])

['Bola ini ditendang oleh saya .']

string = 'Makanan ini kamu telah makan?'
model.greedy_decoder([string])

['Makanan ini kamu telah makan .']

string = 'Segala perubahan yang berlaku kita akan menghadapi sama-sama.'
model.greedy_decoder([string])

['Segala perubahan yang berlaku kita akan menghadapi sama-sama .']

string = 'Kakak saya sedang memasak gulai nangka. Dia menyenduk seketul nangka gulai dan menyuruh saya merasanya.'
model.greedy_decoder([string])

['Kakak saya sedang memasak gulai nangka . Dia menyenduk seketul gulai nangka dan menyuruh saya merasanya .']

string = 'Sally sedang membaca bila saya tiba di rumahnya.'
model.greedy_decoder([string])

['Sally sedang membaca bila dia tiba di rumahnya .']

string = 'Badannya besar kecuali kakinya kecil.'
model.greedy_decoder([string])

['Badannya besar dan kakinya kecil .']

string = 'Beribu peniaga tidak membayar cukai pendapatan.'
model.greedy_decoder([string])

['Beribu peniaga tidak membayar cukai pendapatan .']

string = 'Setengah remaja suka membuang masa di pasar raya.'
model.greedy_decoder([string])

['Setengah remaja suka membuang masa di pasar raya .']

string = 'Umar telah berpindah daripada sekolah ini bulan lalu.'
model.greedy_decoder([string])

['Umar telah berpindah ke sekolah ini bulan lalu .']

string = 'Para-para peserta sedang berbaris.'
model.greedy_decoder([string])

['Para peserta sedang berbaris .']