Normalizer

This tutorial is available as an IPython notebook at Malaya/example/normalizer.

import os

os.environ['CUDA_VISIBLE_DEVICES'] = ''

%%time
import malaya

CPU times: user 2.86 s, sys: 2.63 s, total: 5.49 s
Wall time: 2.53 s

/home/ubuntu/dev/malaya/malaya/tokenizer.py:202: FutureWarning: Possible nested set at position 3361
  self.tok = re.compile(r'({})'.format('|'.join(pipeline)))
/home/ubuntu/dev/malaya/malaya/tokenizer.py:202: FutureWarning: Possible nested set at position 3879
  self.tok = re.compile(r'({})'.format('|'.join(pipeline)))

string1 = 'xjdi ke, y u xsuke makan HUSEIN kt situ tmpt, i hate it. pelikle, pada'
string2 = 'i mmg2 xske mknn HUSEIN kampng tmpat, i love them. pelikle saye'
string3 = 'perdana menteri ke11 sgt suka makn ayam, harganya cuma rm15.50'
string4 = 'pada 10/4, kementerian mengumumkan, 1/100'
string5 = 'Husein Zolkepli dapat tempat ke-12 lumba lari hari ni'
string6 = 'Husein Zolkepli (2011 - 2019) adalah ketua kampng di kedah sekolah King Edward ke-IV'
string7 = '2jam 30 minit aku tunggu kau, 60.1 kg kau ni, suhu harini 31.2c, aku dahaga minum 600ml'
string8 = 'awak sangat hot ye 🔥🔥. 🔥🙂'
string9 = 'hanyalah rm2 ribu'
string10 = 'mulakn slh org boleh ,bila geng tuh kena slhkn jgk xboleh trima .. pelik , dia slhkn org bole hri2 crta sakau then bila kna bls balik xdpt jwb ,kata mcm biasa slh (parti sampah) 🤣🤣🤣 jgn mulakn dlu slhkn org kalau xboleh trima bila kna bls balik 🤣🤣🤣'
string11 = 'Pemimpin yg hebat, panahan2 fitnah tu akan dituju kepadanya.. harap DS terus bersabar. Jasa baik DS menjadi asbab di sana kelak mahupun rakyat yg terhutang budi juga..'
string12 = 'berehatlh najib.. sudah2 lh tu.. jgn buat rakyat hilang kepercyaan tu pda system kehakiman negara.. klu btl x slh kenapa x dibuktikan semasa sblm rayuan.. sudah lah tu kami dh letih dengan drama korang. ok'
string13 = 'DSNR satu satunya legasi kpd negara penyambung perjuangan bangsa melayu..jatuhnya beliau dek kerana fitnah dan dengkinya manusia..semoga Allah lindungi Najib Bin Razak dunia dan akhirat..Aamiin'
string14 = 'Muhammad Najib sbb malaysiakini dah daftar.... Klu dia fitnah...tertuduh boleh saman.... Klu berita2 yg x daftar...tu yg susah nak saman...sbb x tahu owner'

Load normalizer

This normalizer can load any spelling correction model, eg, malaya.spelling_correction.probability.load, or malaya.spelling_correction.transformer.load.

def normalizer(speller: Callable = None, **kwargs):
    """
    Load a Normalizer using any spelling correction model.

    Parameters
    ----------
    speller : spelling correction object, optional (default = None)

    Returns
    -------
    result: malaya.normalize.Normalizer class
    """

lm = malaya.language_model.kenlm()

corrector = malaya.spelling_correction.probability.load(language_model = lm)

normalizer = malaya.normalize.normalizer(corrector)

normalize

def normalize(
    self,
    string: str,
    normalize_text: bool = True,
    normalize_url: bool = False,
    normalize_email: bool = False,
    normalize_year: bool = True,
    normalize_telephone: bool = True,
    normalize_date: bool = True,
    normalize_time: bool = True,
    normalize_emoji: bool = True,
    normalize_elongated: bool = True,
    normalize_hingga: bool = True,
    normalize_pada_hari_bulan: bool = True,
    normalize_fraction: bool = True,
    normalize_money: bool = True,
    normalize_units: bool = True,
    normalize_percent: bool = True,
    normalize_ic: bool = True,
    normalize_number: bool = True,
    normalize_x_kali: bool = True,
    normalize_cardinal: bool = True,
    normalize_ordinal: bool = True,
    normalize_entity: bool = True,
    expand_contractions: bool = True,
    check_english_func=is_english,
    check_malay_func=is_malay,
    translator: Callable = None,
    language_detection_word: Callable = None,
    acceptable_language_detection: List[str] = ['EN', 'CAPITAL', 'NOT_LANG'],
    segmenter: Callable = None,
    stemmer: Callable = None,
    **kwargs,
):
    """
    Normalize a string.

    Parameters
    ----------
    string : str
    normalize_text: bool, optional (default=True)
        if True, will try to replace shortforms with internal corpus.
    normalize_url: bool, optional (default=False)
        if True, replace `://` with empty and `.` with `dot`.
        `https://huseinhouse.com` -> `https huseinhouse dot com`.
    normalize_email: bool, optional (default=False)
        if True, replace `@` with `di`, `.` with `dot`.
        `husein.zol05@gmail.com` -> `husein dot zol kosong lima di gmail dot com`.
    normalize_year: bool, optional (default=True)
        if True, `tahun 1987` -> `tahun sembilan belas lapan puluh tujuh`.
        if True, `1970-an` -> `sembilan belas tujuh puluh an`.
        if False, `tahun 1987` -> `tahun seribu sembilan ratus lapan puluh tujuh`.
    normalize_telephone: bool, optional (default=True)
        if True, `no 012-1234567` -> `no kosong satu dua, satu dua tiga empat lima enam tujuh`
    normalize_date: bool, optional (default=True)
        if True, `01/12/2001` -> `satu disember dua ribu satu`.
        if True, `Jun 2017` -> `satu Jun dua ribu tujuh belas`.
        if True, `2017 Jun` -> `satu Jun dua ribu tujuh belas`.
        if False, `2017 Jun` -> `01/06/2017`.
        if False, `Jun 2017` -> `01/06/2017`.
    normalize_time: bool, optional (default=True)
        if True, `pukul 2.30` -> `pukul dua tiga puluh minit`.
        if False, `pukul 2.30` -> `'02:00:00'`
    normalize_emoji: bool, (default=True)
        if True, `🔥` -> `emoji api`
        Load from `malaya.preprocessing.demoji`.
    normalize_elongated: bool, optional (default=True)
        if True, `betuii` -> `betui`.
    normalize_hingga: bool, optional (default=True)
        if True, `2011 - 2019` -> `dua ribu sebelas hingga dua ribu sembilan belas`
    normalize_pada_hari_bulan: bool, optional (default=True)
        if True, `pada 10/4` -> `pada sepuluh hari bulan empat`
    normalize_fraction: bool, optional (default=True)
        if True, `10 /4` -> `sepuluh per empat`
    normalize_money: bool, optional (default=True)
        if True, `rm10.4m` -> `sepuluh juta empat ratus ribu ringgit`
    normalize_units: bool, optional (default=True)
        if True, `61.2 kg` -> `enam puluh satu perpuluhan dua kilogram`
    normalize_percent: bool, optional (default=True)
        if True, `0.8%` -> `kosong perpuluhan lapan peratus`
    normalize_ic: bool, optional (default=True)
        if True, `911111-01-1111` -> `sembilan satu satu satu satu satu sempang kosong satu sempang satu satu satu satu`
    normalize_number: bool, optional (default=True)
        if True `0123` -> `kosong satu dua tiga`
    normalize_x_kali: bool, optional (default=True)
        if True `10x` -> 'sepuluh kali'
    normalize_cardinal: bool, optional (default=True)
        if True, `123` -> `seratus dua puluh tiga`
    normalize_ordinal: bool, optional (default=True)
        if True, `ke-123` -> `keseratus dua puluh tiga`
    normalize_entity: bool, optional (default=True)
        normalize entities, only effect `date`, `datetime`, `time` and `money` patterns string only.
    expand_contractions: bool, optional (default=True)
        expand english contractions.
    check_english_func: Callable, optional (default=malaya.text.function.is_english)
        function to check a word in english dictionary, default is malaya.text.function.is_english.
        this parameter also will be use for malay text normalization.
    check_malay_func: Callable, optional (default=malaya.text.function.is_malay)
        function to check a word in malay dictionary, default is malaya.text.function.is_malay.
    translator: Callable, optional (default=None)
        function to translate EN word to MS word.
    language_detection_word: Callable, optional (default=None)
        function to detect language for each words to get better translation results.
    acceptable_language_detection: List[str], optional (default=['EN', 'CAPITAL', 'NOT_LANG'])
        only translate substrings if the results from `language_detection_word` is in `acceptable_language_detection`.
    segmenter: Callable, optional (default=None)
        function to segmentize word.
        If provide, it will expand a word, apaitu -> apa itu
    stemmer: Callable, optional (default=None)
        a Callable object, must have `stem_word` method.
        If provide, will stem a word, tlonglh -> tlong
        Else, will use regex based.

    Returns
    -------
    result: {'normalize', 'date', 'money'}
    """

To get better english checker, we prefer to use https://pyenchant.github.io/pyenchant/

import enchant
d = enchant.Dict('en_US')

is_english = lambda x: d.check(x)
is_english('lifestyle')

True

string = 'boleh dtg 8pagi esok tak atau minggu depan? 2 oktober 2019 2pm, tlong bayar rm 3.2k sekali tau'

normalizer.normalize(string)

{'normalize': 'boleh datang pukul lapan esok tidak atau minggu depan ? dua Oktober dua ribu sembilan belas pukul empat belas , tolong bayar tiga ribu dua ratus ringgit sekali tahu',
 'date': {'minggu depan': datetime.datetime(2022, 9, 9, 0, 4, 53, 823277),
  '2 oktober 2019 2pm': datetime.datetime(2019, 10, 2, 14, 0),
  '8AM esok': datetime.datetime(2022, 9, 3, 8, 0)},
 'money': {'rm 3.2k': 'RM3200.0'}}

normalizer.normalize(string, normalize_entity = False)

{'normalize': 'boleh datang pukul lapan esok tidak atau minggu depan ? dua Oktober dua ribu sembilan belas pukul empat belas , tolong bayar tiga ribu dua ratus ringgit sekali tahu',
 'date': {},
 'money': {}}

string1

'xjdi ke, y u xsuke makan HUSEIN kt situ tmpt, i hate it. pelikle, pada'

Here you can see, Malaya normalizer will normalize minggu depan to datetime object, also 3.2k ringgit to RM3200

print(normalizer.normalize(string1))
print(normalizer.normalize(string2))
print(normalizer.normalize(string3))
print(normalizer.normalize(string4))
print(normalizer.normalize(string5))
print(normalizer.normalize(string6))
print(normalizer.normalize(string7))
print(normalizer.normalize(string8))
print(normalizer.normalize(string9))
print(normalizer.normalize(string10))
print(normalizer.normalize(string11))
print(normalizer.normalize(string12))
print(normalizer.normalize(string13))
print(normalizer.normalize(string14))

{'normalize': 'tak jadi ke , kenapa awak tak suka makan HUSEIN di situ tempat , saya hate it . peliklah , pada', 'date': {}, 'money': {}}
{'normalize': 'saya memang-memang tak suka mkan HUSEIN kampung tempat , saya love them . peliklah saya', 'date': {}, 'money': {}}
{'normalize': 'perdana menteri kesebelas sangat suka makan ayam , harganya cuma lima belas ringgit lima puluh sen', 'date': {}, 'money': {'rm15.50': 'RM15.50'}}
{'normalize': 'pada sepuluh hari bulan empat , kementerian mengumumkan , satu per seratus', 'date': {}, 'money': {}}
{'normalize': 'Husein Zolkepli dapat tempat ke-12 lumba lari hari ini', 'date': {}, 'money': {}}
{'normalize': 'Husein Zolkepli ( dua ribu sebelas hingga dua ribu sembilan belas ) adalah ketua kampung di kedah sekolah King Edward keempat', 'date': {}, 'money': {}}
{'normalize': 'dua jam tiga puluh minit aku tunggu kamu , enam puluh perpuluhan satu kilogram kamu ini , suhu hari ini tiga puluh satu perpuluhan dua celsius , aku dahaga minum enam ratus milliliter', 'date': {'2jam': datetime.datetime(2022, 9, 1, 22, 4, 53, 955401)}, 'money': {}}
{'normalize': 'awak sangat hot ye , emoji api , emoji api . Emoji api , emoji muka tersenyum sedikit', 'date': {}, 'money': {}}
{'normalize': 'hanyalah dua ribu ringgit', 'date': {}, 'money': {'rm2 ribu': 'RM2000.0'}}
{'normalize': 'mulakan salah orang boleh , bila geng itu kena salahkan juga tak boleh terima . . pelik , dia salahkan orang bole hari-hari cerita sakau then bila kena balas balik tak dapat jawab , kata macam biasa salah ( parti sampah ) , emoji berguling di lantai ketawa , emoji berguling di lantai ketawa , emoji berguling di lantai ketawa , jangan mulakan dahulu salahkan orang kalau tak boleh terima bila kena balas balik , emoji berguling di lantai ketawa , emoji berguling di lantai ketawa , emoji berguling di lantai ketawa', 'date': {}, 'money': {}}
{'normalize': 'Pemimpin yang hebat , panahan-panahan fitnah itu akan dituju kepadanya . . harap DS terus bersabar . Jasa baik DS menjadi asbab di sana kelak mahupun rakyat yang terhutang budi juga . .', 'date': {}, 'money': {}}
{'normalize': 'berehatlah najib . . sudah-sudah lah itu . . jangan buat rakyat hilang kepercayaan itu pada system kehakiman negara . . kalau betul tak salah kenapa tak dibuktikan semasa sebelum rayuan . . sudah lah itu kami dah letih dengan drama kamu semua . ok', 'date': {}, 'money': {}}
{'normalize': 'DATUK SERI NAJIB RAZAK satu satunya legasi kepada negara penyambung perjuangan bangsa melayu . . jatuhnya beliau dek kerana fitnah dan dengkinya manusia . semoga Allah lindungi Najib Bin Razak dunia dan akhirat . . Aamiin', 'date': {}, 'money': {}}
{'normalize': 'Muhammad Najib sebab malaysiakini dah daftar . . . . Kalau dia fitnah . . . tertuduh boleh saman . . . . Kalau berita-berita yang tak daftar . . itu yang susah nak saman . . sebab tak tahu owner', 'date': {}, 'money': {}}

Use translator

To use translator, pass a callable variable into translator parameter,

print(normalizer.normalize(string1, translator = translator))

en_ms_vocab = malaya.translation.en_ms.dictionary()
translator = lambda x: en_ms_vocab.get(x, x)
translator('pain'), translator('aduh')

('kesakitan', 'aduh')

print(normalizer.normalize(string1, translator = translator))

{'normalize': 'tak jadi ke , kenapa awak tak suka makan HUSEIN di situ tempat , saya benci ia . peliklah , pada', 'date': {}, 'money': {}}

print(normalizer.normalize(string2, translator = translator))

{'normalize': 'saya memang-memang tak suka mkan HUSEIN kampung tempat , saya love them . peliklah saya', 'date': {}, 'money': {}}

Use Neural Translation Machine

Problem with dictionary based, if the words is not exist, the translation will not work,

translator('love'), translator('them'), translator('pain')

('love', 'them', 'kesakitan')

nmt = malaya.translation.en_ms.transformer(model = 'small')

2022-09-02 00:05:03.868872: I tensorflow/core/platform/cpu_feature_guard.cc:142] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations:  AVX2 AVX512F FMA
To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.
2022-09-02 00:05:03.872191: E tensorflow/stream_executor/cuda/cuda_driver.cc:271] failed call to cuInit: CUDA_ERROR_NO_DEVICE: no CUDA-capable device is detected
2022-09-02 00:05:03.872207: I tensorflow/stream_executor/cuda/cuda_diagnostics.cc:169] retrieving CUDA diagnostic information for host: huseincomel-desktop
2022-09-02 00:05:03.872211: I tensorflow/stream_executor/cuda/cuda_diagnostics.cc:176] hostname: huseincomel-desktop
2022-09-02 00:05:03.872259: I tensorflow/stream_executor/cuda/cuda_diagnostics.cc:200] libcuda reported version is: Not found: was unable to find libcuda.so DSO loaded into this program
2022-09-02 00:05:03.872280: I tensorflow/stream_executor/cuda/cuda_diagnostics.cc:204] kernel reported version is: 470.141.3

nmt_func = lambda x: nmt.greedy_decoder([x])[0]

print(normalizer.normalize(string1, translator = nmt_func))

{'normalize': 'tak jadi ke , kenapa awak tak suka makan HUSEIN di situ tempat , saya benci ia . peliklah , pada', 'date': {}, 'money': {}}

print(normalizer.normalize(string2, translator = nmt_func))

{'normalize': 'saya memang-memang tak suka mkan HUSEIN kampung tempat , saya cinta mereka . peliklah saya', 'date': {}, 'money': {}}

Problem with single word translation

When we do direct translate word-by-word, it does not really understand the context, for an example,

talk properly lah,

talk -> bercakap, properly -> betul,

so when we combined, we got bercakap betul lah, not really good translation. So to solve this problem, we need predict language on word level, group substrings based on similar language and translate.

nmt = malaya.translation.en_ms.transformer(model = 'noisy-base')
nmt_func = lambda x: nmt.greedy_decoder([x])[0]

fasttext = malaya.language_detection.fasttext()
lang_word_model = malaya.language_detection.substring_rules(model = fasttext)

Warning : `load_model` does not return WordVectorModel or SupervisedModel any more, but a `FastText` object which is very similar.

language_detection_word_func = lambda x: lang_word_model.predict(x)

s = 'u ni, talk properly lah'

normalizer.normalize(s, translator = nmt_func,
                    check_english_func = is_english)

2022-09-02 00:05:12.601798: W tensorflow/core/framework/cpu_allocator_impl.cc:80] Allocation of 53428224 exceeds 10% of free system memory.
2022-09-02 00:05:12.694159: W tensorflow/core/framework/cpu_allocator_impl.cc:80] Allocation of 53428224 exceeds 10% of free system memory.
2022-09-02 00:05:12.694190: W tensorflow/core/framework/cpu_allocator_impl.cc:80] Allocation of 53428224 exceeds 10% of free system memory.
2022-09-02 00:05:12.760700: W tensorflow/core/framework/cpu_allocator_impl.cc:80] Allocation of 53428224 exceeds 10% of free system memory.
2022-09-02 00:05:12.760737: W tensorflow/core/framework/cpu_allocator_impl.cc:80] Allocation of 53428224 exceeds 10% of free system memory.

{'normalize': 'awak ini , bercakap betul lah', 'date': {}, 'money': {}}

normalizer.normalize(s, translator = nmt_func, language_detection_word = language_detection_word_func,
                    check_english_func = is_english)

{'normalize': 'awak ini , bercakap dengan betul lah', 'date': {}, 'money': {}}

s = 'This looks like awak, but in a less formal kind of way, still comel'

normalizer.normalize(s, translator = nmt_func,
                    check_english_func = is_english)

{'normalize': 'This rupa seperti awak , tetapi dalam a kurang formal jenis dari cara , masih comel',
 'date': {},
 'money': {}}

normalizer.normalize(s, translator = nmt_func, language_detection_word = language_detection_word_func,
                    check_english_func = is_english)

{'normalize': 'Ini kelihatan seperti awak , tetapi dalam cara yang kurang formal, masih comel',
 'date': {},
 'money': {}}

s = "just attended my cousin's wedding. pelik jugak dia buat majlis biasa2 je sebab her lifestyle looks lavish. then i found out they're going on a 3 weeks honeymoon. smart decision 👍"

normalizer.normalize(s, translator = nmt_func,
                    check_english_func = is_english)

{'normalize': 'hanya menghadiri saya sepupu perkahwinan . pelik juga dia buat majlis biasa-biasa sahaja sebab dia gaya hidup rupa mewah . kemudian saya ditemui keluar mereka adalah pergi pada a 3 minggu bulan madu . pintar keputusan , emoji jempol',
 'date': {},
 'money': {}}

normalizer.normalize(s, translator = nmt_func, language_detection_word = language_detection_word_func,
                    check_english_func = is_english)

{'normalize': 'baru sahaja menghadiri majlis perkahwinan sepupu saya. pelik juga dia buat majlis biasa-biasa sahaja sebab gaya hidupnya kelihatan mewah. maka saya mendapat tahu bahawa mereka akan menjalani bulan madu selama 3 minggu. keputusan pintar, emoji jempol',
 'date': {},
 'money': {}}

s = 'Hello gais, boleh tolong recommend bengkel ketuk yang okay near Wangsa Maju / nearby? Kereta bf i pulak kepek langgar dinding hahahha'

normalizer.normalize(s, translator = nmt_func,
                    check_english_func = is_english)

{'normalize': 'Hello semua orang , boleh tolong cadang bengkel ketuk yang okay berhampiran Wangsa Maju / berhampiran ? Kereta bf saya pula kepek langgar dinding haha',
 'date': {},
 'money': {}}

normalizer.normalize(s, translator = nmt_func, language_detection_word = language_detection_word_func,
                    check_english_func = is_english)

{'normalize': 'Helo semua orang , boleh tolong cadang bengkel ketuk berhampiran yang baik-baik saja Wangsa Maju / berhampiran? Kereta bf saya pula kepek langgar dinding haha',
 'date': {},
 'money': {}}

s = 'Me after seeing this video: mm dapnya burger benjo extra mayo'

normalizer.normalize(s, translator = nmt_func,
                    check_english_func = is_english)

{'normalize': 'Me selepas melihat ini video : mm sedapnya burger benjo tambahan mayo',
 'date': {},
 'money': {}}

normalizer.normalize(s, translator = nmt_func, language_detection_word = language_detection_word_func,
                    check_english_func = is_english)

{'normalize': 'Saya selepas melihat video ini: mm sedapnya burger benjo mayo tambahan',
 'date': {},
 'money': {}}

s = 'Hi guys! I noticed semalam & harini dah ramai yang dapat cookies ni kan. So harini i nak share some post mortem of our first batch:'

normalizer.normalize(s, translator = nmt_func,
                    check_english_func = is_english)

{'normalize': 'Hi lelaki ! SAYA disedari semalam & hari ini dah ramai yang dapat kuki ini kan . Jadi hari ini saya nak kongsi beberapa pos mortem dari kami pertama kelompok :',
 'date': {'semalam': datetime.datetime(2022, 9, 1, 0, 5, 19, 9484)},
 'money': {}}

normalizer.normalize(s, translator = nmt_func, language_detection_word = language_detection_word_func,
                    check_english_func = is_english)

{'normalize': 'Hai kawan! SAYA disedari semalam & hari ini dah ramai yang dapat kuki ini kan . Jadi hari ini saya nak kongsi beberapa pos mortem kumpulan pertama kami :',
 'date': {'semalam': datetime.datetime(2022, 9, 1, 0, 5, 19, 208765)},
 'money': {}}

Use segmenter

print(normalizer.normalize('saya taksuka ayam, tapi saya sukaikan'))

{'normalize': 'saya taksuka ayam , tapi saya sukaikan', 'date': {}, 'money': {}}

segmenter = malaya.segmentation.transformer(model = 'small')

segmenter_func = lambda x: segmenter.greedy_decoder([x])[0]

print(normalizer.normalize('saya taksuka ayam, tapi saya sukaikan', segmenter = segmenter_func))

{'normalize': 'saya tidak suka ayam , tapi saya suka ikan', 'date': {}, 'money': {}}

Use stemmer

By default kata imbuhan captured using naive regex pattern without understand the word structure, and problem with that, there are so many rules need to hardcode, so we can use better stemmer model like malaya.stem.deep_model(model = 'noisy').

stemmer = malaya.stem.deep_model(model = 'noisy')

normalizer.normalize(string12, stemmer = stemmer)

{'normalize': 'berehatlah najib . . sudah-sudah lah itu . . jangan buat rakyat hilang kepercayaan itu pada system kehakiman negara . . kalau betul tak salah kenapa tak dibuktikan semasa sebelum rayuan . . sudah lah itu kami dah letih dengan drama kamu semua . ok',
 'date': {},
 'money': {}}

normalizer.normalize(string13, stemmer = stemmer)

{'normalize': 'DATUK SERI NAJIB RAZAK satu satunya legasi kepada negara penyambung perjuangan bangsa melayu . . jatuhnya beliau dek kerana fitnah dan dengkinya manusia . semoga Allah lindungi Najib Bin Razak dunia dan akhirat . . Aamiin',
 'date': {},
 'money': {}}

normalizer.normalize(string14, stemmer = stemmer)

{'normalize': 'Muhammad Najib sebab malaysiakini dah daftar . . . . Kalau dia fitnah . . . tertuduh boleh saman . . . . Kalau berita-berita yang tak daftar . . itu yang susah nak saman . . sebab tak tahu owner',
 'date': {},
 'money': {}}

Skip spelling correction

Simply pass None to speller to normalizer = malaya.normalize.normalizer. By default it is None.

normalizer = malaya.normalize.normalizer(corrector)
without_corrector_normalizer = malaya.normalize.normalizer(None)

normalizer.normalize(string2, normalize_elongated = False)

{'normalize': 'saya memang-memang tak suka mkan HUSEIN kampung tempat , saya love them . peliklah saya',
 'date': {},
 'money': {}}

without_corrector_normalizer.normalize(string2)

{'normalize': 'saya memang-memang tak suka mkan HUSEIN kampng tmpat , saya love them . peliklah saya',
 'date': {},
 'money': {}}

Pass kwargs preprocessing

Let say you want to skip to normalize date pattern, you can pass kwargs to normalizer, check word tokenizer kwargs at https://malaya.readthedocs.io/en/latest/load-tokenizer-word.html

normalizer = malaya.normalize.normalizer(corrector)
skip_date_normalizer = malaya.normalize.normalizer(corrector, date = False)

normalizer.normalize('tarikh program tersebut 14 mei')

{'normalize': 'tarikh program tersebut empat belas Mei dua ribu dua puluh dua',
 'date': {'14 mei': datetime.datetime(2022, 5, 14, 0, 0)},
 'money': {}}

skip_date_normalizer.normalize('tarikh program tersebut 14 mei')

{'normalize': 'tarikh program tersebut 14 mei',
 'date': {'14 mei': datetime.datetime(2022, 5, 14, 0, 0)},
 'money': {}}

Normalize text

If True,

1. replace xkisah -> tak kisah.

2. replace berehatlh -> berehatlah.

3. replace seadil2nya -> seadil-adilnya.

4. apply spelling correction if passed speller parameter.

5. standardize laughing pattern.

6. standardize mengeluh pattern.

7. normalize title,

{
    'dr': 'Doktor',
    'yb': 'Yang Berhormat',
    'hj': 'Haji',
    'ybm': 'Yang Berhormat Mulia',
    'tyt': 'Tuan Yang Terutama',
    'yab': 'Yang Berhormat',
    'ybm': 'Yang Berhormat Mulia',
    'yabhg': 'Yang Amat Berbahagia',
    'ybhg': 'Yang Berbahagia',
    'miss': 'Cik',
}

Simply normalizer.normalize(string, normalize_text = True), default is True.

normalizer = malaya.normalize.normalizer(corrector)

normalizer.normalize('xkisah')

{'normalize': 'tak kisah', 'date': {}, 'money': {}}

normalizer.normalize('berehatlh')

{'normalize': 'berehatlah', 'date': {}, 'money': {}}

normalizer.normalize('seadil2nya')

{'normalize': 'seadil-adilnya', 'date': {}, 'money': {}}

normalizer.normalize('xterjadi4nya')

{'normalize': 'tak terjadi-jadi-jadi-jadinya', 'date': {}, 'money': {}}

normalizer.normalize('bukan2')

{'normalize': 'bukan-bukan', 'date': {}, 'money': {}}

normalizer.normalize('bukan2 wkwkwkw')

{'normalize': 'bukan-bukan haha', 'date': {}, 'money': {}}

normalizer.normalize('bukan2 haih')

{'normalize': 'bukan-bukan aduh', 'date': {}, 'money': {}}

normalizer.normalize('dia sakai hhihihu')

{'normalize': 'dia sakai haha', 'date': {}, 'money': {}}

normalizer.normalize('hais sorrylah')

{'normalize': 'aduh maaflah', 'date': {}, 'money': {}}

normalizer.normalize('Dr yahaya')

{'normalize': 'Doktor yahaya', 'date': {}, 'money': {}}

normalizer.normalize('mulakn slh org boleh ,bila geng tuh kena slhkn jgk xboleh trima')

{'normalize': 'mulakan salah orang boleh , bila geng itu kena salahkan juga tak boleh terima',
 'date': {},
 'money': {}}

Normalize url

Let say you have an url word, example, https://huseinhouse.com, this parameter going to,

If True,

1. replace :// with empty string.

2. replace . with dot.

3. replace digits with string representation.

4. Capitalize https, http, and www.

Simply normalizer.normalize(string, normalize_url = True), default is False.

normalizer = malaya.normalize.normalizer()

normalizer.normalize('web saya ialah https://huseinhouse.com')

{'normalize': 'web saya ialah https://huseinhouse.com',
 'date': {},
 'money': {}}

normalizer.normalize('web saya ialah https://huseinhouse.com', normalize_url = True)

{'normalize': 'web saya ialah HTTPS huseinhouse dot com',
 'date': {},
 'money': {}}

normalizer.normalize('web saya ialah https://huseinhouse02934.com', normalize_url = True)

{'normalize': 'web saya ialah HTTPS huseinhouse kosong dua sembilan tiga empat dot com',
 'date': {},
 'money': {}}

Normalize email

Let say you have an email word, example, husein.zol05@gmail.com, this parameter going to,

If True,

1. replace :// with empty string.

2. replace . with dot.

3. replace @ with di.

4. replace digits with string representation.

Simply normalizer.normalize(string, normalize_email = True), default is False.

normalizer = malaya.normalize.normalizer()

normalizer.normalize('email saya ialah husein.zol05@gmail.com')

{'normalize': 'email saya ialah husein.zol05@gmail.com',
 'date': {},
 'money': {}}

normalizer.normalize('email saya ialah husein.zol05@gmail.com', normalize_email = True)

{'normalize': 'email saya ialah husein dot zol kosong lima di gmail dot com',
 'date': {},
 'money': {}}

Normalize year

1. if True, tahun 1987 -> tahun sembilan belas lapan puluh tujuh.

2. if True, 1970-an -> sembilan belas tujuh puluh an.

3. if False, tahun 1987 -> tahun seribu sembilan ratus lapan puluh tujuh.

Simply normalizer.normalize(string, normalize_year = True), default is True.

normalizer = malaya.normalize.normalizer()

normalizer.normalize('$400 pada tahun 1998 berbanding lebih $1000')

{'normalize': 'empat ratus dollar pada tahun sembilan belas sembilan puluh lapan berbanding lebih seribu dollar',
 'date': {},
 'money': {'$400 ': '$400', '$1000': '$1000'}}

normalizer.normalize('$400 pada 1970-an berbanding lebih $1000')

{'normalize': 'empat ratus dollar pada sembilan belas tujuh puluhan berbanding lebih seribu dollar',
 'date': {},
 'money': {'$400 ': '$400', '$1000': '$1000'}}

normalizer.normalize('$400 pada tahun 1970-an berbanding lebih $1000')

{'normalize': 'empat ratus dollar pada tahun sembilan belas tujuh puluhan berbanding lebih seribu dollar',
 'date': {},
 'money': {'$400 ': '$400', '$1000': '$1000'}}

normalizer.normalize('$400 pada tahun 1998 berbanding lebih $1000', normalize_year = False)

{'normalize': 'empat ratus dollar pada tahun 1998 berbanding lebih seribu dollar',
 'date': {},
 'money': {'$400 ': '$400', '$1000': '$1000'}}

Normalize telephone

1. if True, no 012-1234567 -> no kosong satu dua, satu dua tiga empat lima enam tujuh.

Simply normalizer.normalize(string, normalize_telephone = True), default is True.

normalizer = malaya.normalize.normalizer()

normalizer.normalize('no saya 012-1234567')

{'normalize': 'no saya kosong satu dua, satu dua tiga empat lima enam tujuh',
 'date': {},
 'money': {}}

normalizer.normalize('no saya 012-1234567', normalize_telephone = False)

{'normalize': 'no saya 012-1234567', 'date': {}, 'money': {}}

Normalize date

1. if True, 01/12/2001 -> satu disember dua ribu satu.

2. if False, normalize date string to %d/%m/%y.

Simply normalizer.normalize(string, normalize_date = True), default is True.

normalizer = malaya.normalize.normalizer()

normalizer.normalize('saya akan gerak pada 1/11/2021')

{'normalize': 'saya akan gerak pada sebelas Januari dua ribu dua puluh satu',
 'date': {'1/11/2021': datetime.datetime(2021, 1, 11, 0, 0)},
 'money': {}}

normalizer.normalize('saya akan gerak pada 1/11/2021', normalize_date = False)

{'normalize': 'saya akan gerak pada 11/01/2021',
 'date': {'1/11/2021': datetime.datetime(2021, 1, 11, 0, 0)},
 'money': {}}

normalizer.normalize('1 nov 2019')

{'normalize': 'satu November dua ribu sembilan belas',
 'date': {'1 nov 2019': datetime.datetime(2019, 11, 1, 0, 0)},
 'money': {}}

normalizer.normalize('1 nov 2019', normalize_date = False)

{'normalize': '01/11/2019',
 'date': {'1 nov 2019': datetime.datetime(2019, 11, 1, 0, 0)},
 'money': {}}

normalizer.normalize('januari 1 1996')

{'normalize': 'satu Januari seribu sembilan ratus sembilan puluh enam',
 'date': {'januari 1 1996': datetime.datetime(1996, 1, 1, 0, 0)},
 'money': {}}

normalizer.normalize('januari 1 1996', normalize_date = False)

{'normalize': '01/01/1996',
 'date': {'januari 1 1996': datetime.datetime(1996, 1, 1, 0, 0)},
 'money': {}}

normalizer.normalize('januari 2019')

{'normalize': 'satu Januari dua ribu sembilan belas',
 'date': {'januari 2019': datetime.datetime(2019, 1, 1, 0, 0)},
 'money': {}}

normalizer.normalize('januari 2019', normalize_date = False)

{'normalize': '01/01/2019',
 'date': {'januari 2019': datetime.datetime(2019, 1, 1, 0, 0)},
 'money': {}}

Normalize time

1. if True, pukul 2.30 -> pukul dua tiga puluh minit.

2. if False 2:01pm -> pukul 14.01.

Simply normalizer.normalize(string, normalize_time = True), default is True.

normalizer = malaya.normalize.normalizer()

s = 'Operasi tamat sepenuhnya pada pukul 1.30 tengah hari'
normalizer.normalize(s, normalize_time = True)

{'normalize': 'Operasi tamat sepenuhnya pada pukul satu tiga puluh minit tengah hari',
 'date': {},
 'money': {}}

s = 'Operasi tamat sepenuhnya pada pukul 1.30 tengah hari'
normalizer.normalize(s, normalize_time = False)

{'normalize': 'Operasi tamat sepenuhnya pada pukul 01.30 tengah hari',
 'date': {},
 'money': {}}

s = 'Operasi tamat sepenuhnya pada pukul 1:30:50 tengah hari'
normalizer.normalize(s, normalize_time = True)

{'normalize': 'Operasi tamat sepenuhnya pada pukul satu tiga puluh minit lima puluh saat tengah hari',
 'date': {'1:30:50': datetime.datetime(2022, 9, 1, 1, 30, 50)},
 'money': {}}

s = 'Operasi tamat sepenuhnya pada pukul 1:30:50 tengah hari'
normalizer.normalize(s, normalize_time = False)

{'normalize': 'Operasi tamat sepenuhnya pada pukul 01.30:50 tengah hari',
 'date': {'1:30:50': datetime.datetime(2022, 9, 1, 1, 30, 50)},
 'money': {}}

normalizer.normalize('2:01pm')

{'normalize': 'pukul empat belas satu minit',
 'date': {'2:01pm': datetime.datetime(2022, 9, 1, 14, 1)},
 'money': {}}

normalizer.normalize('2:01pm', normalize_time = False)

{'normalize': 'pukul 14.01',
 'date': {'2:01pm': datetime.datetime(2022, 9, 1, 14, 1)},
 'money': {}}

normalizer.normalize('2AM')

{'normalize': 'pukul dua',
 'date': {'2am': datetime.datetime(2022, 9, 1, 2, 0)},
 'money': {}}

normalizer.normalize('2AM', normalize_time = False)

{'normalize': 'pukul 02',
 'date': {'2am': datetime.datetime(2022, 9, 1, 2, 0)},
 'money': {}}

normalizer.normalize('2pm')

{'normalize': 'pukul empat belas',
 'date': {'2pm': datetime.datetime(2022, 9, 1, 14, 0)},
 'money': {}}

normalizer.normalize('2pm', normalize_time = False)

{'normalize': 'pukul 14',
 'date': {'2pm': datetime.datetime(2022, 9, 1, 14, 0)},
 'money': {}}

Normalize emoji

1. if True, 🔥 -> emoji api

Simply normalizer.normalize(string, normalize_emoji = True), default is True.

normalizer = malaya.normalize.normalizer()

s = 'u are really damn hot 🔥'
normalizer.normalize(s, translator = nmt_func,
                     language_detection_word = language_detection_word_func)

{'normalize': 'awak sangat panas, emoji api', 'date': {}, 'money': {}}

Normalize elongated

Any typical elongated word, eg, pppeeddaaaasss - > pedas, but this elongated normalization required to pass speller parameter to perform the best.

Simply normalizer.normalize(string, normalize_elongated = True), default is True.

normalizer = malaya.normalize.normalizer(corrector)

normalizer.normalize('saayyyyaa ttttaaak ssssukaaa makaan pedas')

{'normalize': 'saya tidak suka makan pedas', 'date': {}, 'money': {}}

normalizer.normalize('saayyyyaa ttttaaak ssssukaaa makaan pedas', normalize_elongated = False)

{'normalize': 'saayyaa titik sesuka makan pedas', 'date': {}, 'money': {}}

Normalize hingga

If True,

1. 2011 - 2019 -> dua ribu sebelas hingga dua ribu sembilan belas.

2. 2011.01-2019 - > dua ribu sebelas perpuluhan kosong satu hingga dua ribu sembilan belas.

Simply normalizer.normalize(string, normalize_hingga = True), default is True.

normalizer = malaya.normalize.normalizer()

normalizer.normalize('2011 - 2019', normalize_hingga = True)

{'normalize': 'dua ribu sebelas hingga dua ribu sembilan belas',
 'date': {},
 'money': {}}

normalizer.normalize('2011 - 2019', normalize_hingga = False)

{'normalize': '2011 - 2019', 'date': {}, 'money': {}}

normalizer.normalize('2011 - 2019', normalize_hingga = False, normalize_cardinal = False, normalize_ordinal = False)

{'normalize': '2011 - 2019', 'date': {}, 'money': {}}

Normalize pada hari bulan

If True,

1. pada 10/4 -> pada sepuluh hari bulan empat.

Simply normalizer.normalize(string, normalize_pada_hari_bulan = True), default is True.

normalizer = malaya.normalize.normalizer()

normalizer.normalize('pada 10/   4', normalize_pada_hari_bulan = True)

{'normalize': 'pada sepuluh hari bulan empat', 'date': {}, 'money': {}}

normalizer.normalize('pada 10/4', normalize_pada_hari_bulan = False)

{'normalize': 'pada sepuluh per empat', 'date': {}, 'money': {}}

Normalize fraction

If True,

1. 10/4 -> sepuluh per empat.

Simply normalizer.normalize(string, normalize_fraction = True), default is True.

normalizer = malaya.normalize.normalizer()

normalizer.normalize('10/4', normalize_fraction = True)

{'normalize': 'sepuluh per empat', 'date': {}, 'money': {}}

normalizer.normalize('201231.1 / 4', normalize_fraction = True)

{'normalize': 'dua ratus satu ribu dua ratus tiga puluh satu perpuluhan satu per empat',
 'date': {},
 'money': {}}

normalizer.normalize('201231.1 / 4', normalize_fraction = False)

{'normalize': '201231.1 / 4', 'date': {}, 'money': {}}

normalizer.normalize('201231.1 / 4', normalize_fraction = False, normalize_cardinal = False,
                    normalize_ordinal = False)

{'normalize': '201231.1 / 4', 'date': {}, 'money': {}}

Normalize money

If True,

1. RM10.5 -> sepuluh ringgit lima puluh sen.

2. rm 10.5 sen -> sepuluh ringgit lima puluh sen.

3. 20.2m ringgit -> dua puluh juta dua ratus ribu ringgit.

And so much more!

Simply normalizer.normalize(string, normalize_money = True), default is True.

normalizer = malaya.normalize.normalizer()

normalizer.normalize('RM10.5')

{'normalize': 'sepuluh ringgit lima puluh sen',
 'date': {},
 'money': {'rm10.5': 'RM10.5'}}

normalizer.normalize('rm 10.5 sen')

{'normalize': 'sepuluh ringgit lima puluh sen',
 'date': {},
 'money': {'rm 10.5': 'RM10.5'}}

normalizer.normalize('1015 sen')

{'normalize': 'sepuluh ringgit lima belas sen',
 'date': {},
 'money': {'1015 sen': 'RM10.15'}}

normalizer.normalize('rm10.4m')

{'normalize': 'sepuluh juta empat ratus ribu ringgit',
 'date': {},
 'money': {'rm10.4m': 'RM10400000.0'}}

normalizer.normalize('$10.4K')

{'normalize': 'sepuluh ribu empat ratus dollar',
 'date': {},
 'money': {'$10.4k': '$10400.0'}}

normalizer.normalize('22.5123334k ringgit')

{'normalize': 'dua puluh dua ribu lima ratus dua belas ringgit tiga ratus tiga puluh empat sen',
 'date': {},
 'money': {'22.512334k ringgit': 'RM22512.334'}}

normalizer.normalize('saya ada 20.2m ringgit')

{'normalize': 'saya ada dua puluh juta dua ratus ribu ringgit',
 'date': {},
 'money': {'20.2m ringgit': 'RM20200000.0'}}

normalizer.normalize('22.5123334k ringgit', normalize_money = False)

{'normalize': '22.512334k ringgit',
 'date': {},
 'money': {'22.512334k ringgit': 'RM22512.334'}}

Normalize units

Able to normalize temperature, distance, volume, duration and weight units.

If True,

1. 61.2 kg -> enam puluh satu perpuluhan dua kilogram.

2. 61.2km -> sepuluh ringgit lima puluh sen.

And so much more!

Simply normalizer.normalize(string, normalize_units = True), default is True.

normalizer = malaya.normalize.normalizer()

normalizer.normalize('61.2    KG')

{'normalize': 'enam puluh satu perpuluhan dua kilogram',
 'date': {},
 'money': {}}

normalizer.normalize('61.2km')

{'normalize': 'enam puluh satu perpuluhan dua kilometer',
 'date': {},
 'money': {}}

normalizer.normalize('61.2c')

{'normalize': 'enam puluh satu perpuluhan dua celsius',
 'date': {},
 'money': {}}

normalizer.normalize('61.2 ml')

{'normalize': 'enam puluh satu perpuluhan dua milliliter',
 'date': {},
 'money': {}}

normalizer.normalize('61.2 l')

{'normalize': 'enam puluh satu perpuluhan dua liter', 'date': {}, 'money': {}}

normalizer.normalize('61.2 jam')

{'normalize': 'enam puluh satu perpuluhan dua jam',
 'date': {'61:2 jam': datetime.datetime(2022, 9, 1, 22, 5, 39, 432217)},
 'money': {}}

normalizer.normalize('61.2 hari')

{'normalize': '61.2 hari', 'date': {}, 'money': {}}

Normalize percents

1. If True, 61.2% -> enam puluh satu perpuluhan dua peratus.

Simply normalizer.normalize(string, normalize_percent = True), default is True.

normalizer = malaya.normalize.normalizer()

normalizer.normalize('61.2%')

{'normalize': 'enam puluh satu perpuluhan dua peratus',
 'date': {},
 'money': {}}

normalizer.normalize('61.2%', normalize_percent = False)

{'normalize': '61.2%', 'date': {}, 'money': {}}

Normalize IC

1. If True, 911111-01-1111 -> sembilan satu satu satu satu satu sempang kosong satu sempang satu satu satu satu.

Simply normalizer.normalize(string, normalize_ic = True), default is True.

normalizer = malaya.normalize.normalizer()

normalizer.normalize('911111-01-1111')

{'normalize': 'sembilan satu satu satu satu satu sempang kosong satu sempang satu satu satu satu',
 'date': {},
 'money': {}}

normalizer.normalize('911111-01-1111', normalize_ic = False)

{'normalize': '911111-01-1111', 'date': {}, 'money': {}}

Normalize Numbers

If the number starts with 0, will convert into string representation.

1. If True, 0123 -> kosong satu dua tiga.

Simply normalizer.normalize(string, normalize_number = True), default is True.

normalizer = malaya.normalize.normalizer()

normalizer.normalize('01234')

{'normalize': 'kosong satu dua tiga empat', 'date': {}, 'money': {}}

normalizer.normalize('01234', normalize_number = False)

{'normalize': '01234', 'date': {}, 'money': {}}

Normalize x kali

If the word ends with x and before that is a digit, will convert into string representation.

1. If True, 10x -> sepuluh kali.

2. If False, 10x -> 10 kali.

Simply normalizer.normalize(string, normalize_x_kali = True), default is True.

normalizer = malaya.normalize.normalizer()

normalizer.normalize('saya sokong 10x')

{'normalize': 'saya sokong sepuluh kali', 'date': {}, 'money': {}}

normalizer.normalize('saya sokong 10x', normalize_x_kali = False)

{'normalize': 'saya sokong 10 kali', 'date': {}, 'money': {}}

Normalize Cardinals

Any numbers will convert using malaya.num2word.to_cardinal.

1. If True, 123 -> seratus dua puluh tiga.

Simply normalizer.normalize(string, normalize_cardinal = True), default is True.

normalizer = malaya.normalize.normalizer()

normalizer.normalize('123')

{'normalize': '123', 'date': {}, 'money': {}}

normalizer.normalize('123.123421231')

{'normalize': '123.123421231', 'date': {}, 'money': {}}

normalizer.normalize('123.123421231', normalize_cardinal = False)

{'normalize': '123.123421231', 'date': {}, 'money': {}}

Normalize Ordinals

Any numbers will convert using malaya.num2word.to_cardinal.

1. If True, 123 -> keseratus dua puluh tiga.

2. Able to normalize roman numbers, ke-XXI -> kedua puluh satu.

Simply normalizer.normalize(string, normalize_ordinal = True), default is True.

normalizer.normalize('123', normalize_cardinal = False)

{'normalize': '123', 'date': {}, 'money': {}}

normalizer.normalize('123', normalize_cardinal = False, normalize_ordinal = False)

{'normalize': '123', 'date': {}, 'money': {}}

normalizer.normalize('ke-XXI')

{'normalize': 'kedua puluh satu', 'date': {}, 'money': {}}

Normalize entity

normalize entities, only effect date, datetime, time and money patterns string only

Simply normalizer.normalize(string, normalize_entity = True), default is True.

string = 'boleh dtg 8pagi esok tak atau minggu depan? 2 oktober 2019 2pm, tlong bayar rm 3.2k sekali tau'

normalizer = malaya.normalize.normalizer(corrector)

normalizer.normalize(string)

{'normalize': 'boleh datang pukul lapan esok tidak atau minggu depan ? dua Oktober dua ribu sembilan belas pukul empat belas , tolong bayar tiga ribu dua ratus ringgit sekali tahu',
 'date': {'minggu depan': datetime.datetime(2022, 9, 9, 0, 5, 41, 627111),
  '2 oktober 2019 2pm': datetime.datetime(2019, 10, 2, 14, 0),
  '8AM esok': datetime.datetime(2022, 9, 3, 8, 0)},
 'money': {'rm 3.2k': 'RM3200.0'}}

normalizer.normalize(string, normalize_entity = False)

{'normalize': 'boleh datang pukul lapan esok tidak atau minggu depan ? dua Oktober dua ribu sembilan belas pukul empat belas , tolong bayar tiga ribu dua ratus ringgit sekali tahu',
 'date': {},
 'money': {}}

normalizer.normalize(string, normalize_date = False, normalize_time = False, normalize_money = False,
                    normalize_cardinal = False, normalize_ordinal = False)

{'normalize': 'boleh datang pukul 08 esok tidak atau minggu depan ? 02/10/2019 pukul 14 , tolong bayar rm 3.2k sekali tahu',
 'date': {'minggu depan': datetime.datetime(2022, 9, 9, 0, 5, 41, 648618),
  '2 oktober 2019 2pm': datetime.datetime(2019, 10, 2, 14, 0),
  '8AM esok': datetime.datetime(2022, 9, 3, 8, 0)},
 'money': {'rm 3.2k': 'RM3200.0'}}