Normalizer

This tutorial is available as an IPython notebook at Malaya/example/normalizer.

%%time
import malaya

CPU times: user 4.85 s, sys: 667 ms, total: 5.51 s
Wall time: 4.51 s

string1 = 'xjdi ke, y u xsuke makan HUSEIN kt situ tmpt, i hate it. pelikle, pada'
string2 = 'i mmg2 xske mknn HUSEIN kampng tmpat, i love them. pelikle saye'
string3 = 'perdana menteri ke11 sgt suka makn ayam, harganya cuma rm15.50'
string4 = 'pada 10/4, kementerian mengumumkan, 1/100'
string5 = 'Husein Zolkepli dapat tempat ke-12 lumba lari hari ni'
string6 = 'Husein Zolkepli (2011 - 2019) adalah ketua kampng di kedah sekolah King Edward ke-IV'
string7 = '2jam 30 minit aku tunggu kau, 60.1 kg kau ni, suhu harini 31.2c, aku dahaga minum 600ml'

Load normalizer

This normalizer can load any spelling correction model, eg, malaya.spell.probability, or malaya.spell.transformer.

corrector = malaya.spell.probability()
normalizer = malaya.normalize.normalizer(corrector)

normalize

def normalize(
    self,
    string: str,
    check_english: bool = True,
    normalize_text: bool = True,
    normalize_entity: bool = True,
    normalize_url: bool = False,
    normalize_email: bool = False,
    normalize_year: bool = True,
    normalize_telephone: bool = True,
    logging: bool = False,
):
    """
    Normalize a string.

    Parameters
    ----------
    string : str
    check_english: bool, (default=True)
        check a word in english dictionary.
    normalize_text: bool, (default=True)
        if True, will try to replace shortforms with internal corpus.
    normalize_entity: bool, (default=True)
        normalize entities, only effect `date`, `datetime`, `time` and `money` patterns string only.
    normalize_url: bool, (default=False)
        if True, replace `://` with empty and `.` with `dot`.
        `https://huseinhouse.com` -> `https huseinhouse dot com`.
    normalize_email: bool, (default=False)
        if True, replace `@` with `di`, `.` with `dot`.
        `husein.zol05@gmail.com` -> `husein dot zol kosong lima di gmail dot com`.
    normalize_year: bool, (default=True)
        if True, `tahun 1987` -> `tahun sembilan belas lapan puluh tujuh`.
        if True, `1970-an` -> `sembilan belas tujuh puluh an`.
        if False, `tahun 1987` -> `tahun seribu sembilan ratus lapan puluh tujuh`.
    normalize_telephone: bool, (default=True)
        if True, `no 012-1234567` -> `no kosong satu dua, satu dua tiga empat lima enam tujuh`
    logging: bool, (default=False)
        if True, will log index and token queue using `logging.warn`.

    Returns
    -------
    string: normalized string
    """

string = 'boleh dtg 8pagi esok tak atau minggu depan? 2 oktober 2019 2pm, tlong bayar rm 3.2k sekali tau'

normalizer.normalize(string)

{'normalize': 'boleh datang lapan pagi esok tidak atau minggu depan ? 02/10/2019 14:00:00 , tolong bayar tiga ribu dua ratus ringgit sekali tahu',
 'date': {'8 AM esok': datetime.datetime(2021, 1, 1, 8, 0),
  '2 oktober 2019 2pm': datetime.datetime(2019, 10, 2, 14, 0),
  'minggu depan': datetime.datetime(2021, 1, 7, 19, 33, 47, 65094)},
 'money': {'rm 3.2k': 'RM3200.0'}}

normalizer.normalize(string, normalize_entity = False)

{'normalize': 'boleh datang lapan pagi esok tidak atau minggu depan ? 02/10/2019 14:00:00 , tolong bayar tiga ribu dua ratus ringgit sekali tahu',
 'date': {},
 'money': {}}

Here you can see, Malaya normalizer will normalize minggu depan to datetime object, also 3.2k ringgit to RM3200

print(normalizer.normalize(string1))
print(normalizer.normalize(string2))
print(normalizer.normalize(string3))
print(normalizer.normalize(string4))
print(normalizer.normalize(string5))
print(normalizer.normalize(string6))
print(normalizer.normalize(string7))

{'normalize': 'tak jadi ke , kenapa awak tak suka makan HUSEIN kat situ tempat , saya hate it . pelik lah , pada', 'date': {}, 'money': {}}
{'normalize': 'saya memang-memang tak suka makan HUSEIN kampung tempat , saya love them . pelik lah saya', 'date': {}, 'money': {}}
{'normalize': 'perdana menteri kesebelas sangat suka makan ayam , harganya cuma lima belas ringgit lima puluh sen', 'date': {}, 'money': {'rm15.50': 'RM15.50'}}
{'normalize': 'pada sepuluh hari bulan empat , kementerian mengumumkan , satu per seratus', 'date': {}, 'money': {}}
{'normalize': 'Husein Zolkepli dapat tempat kedua belas lumba lari hari ini', 'date': {}, 'money': {}}
{'normalize': 'Husein Zolkepli ( dua ribu sebelas hingga dua ribu sembilan belas ) adalah ketua kampung di kedah sekolah King Edward keempat', 'date': {}, 'money': {}}
{'normalize': 'dua jam tiga puluh minit aku tunggu kamu , enam puluh perpuluhan satu kilogram kamu ini , suhu hari ini tiga puluh satu perpuluhan dua celsius , aku dahaga minum enam ratus milliliter', 'date': {}, 'money': {}}

Skip spelling correction

Simply pass None to speller to normalizer = malaya.normalize.normalizer. By default it is None.

normalizer = malaya.normalize.normalizer(corrector)
without_corrector_normalizer = malaya.normalize.normalizer(None)

normalizer.normalize(string2)

{'normalize': 'saya memang-memang tak suka makan HUSEIN kampung tempat , saya love them . pelik lah saya',
 'date': {},
 'money': {}}

without_corrector_normalizer.normalize(string2)

{'normalize': 'saya memang-memang tak suka mknn HUSEIN kampng tmpat , saya love them . pelik lah saya',
 'date': {},
 'money': {}}

Pass kwargs preprocessing

Let say you want to skip to normalize date pattern, you can pass kwargs to normalizer, check original tokenizer implementation at https://github.com/huseinzol05/Malaya/blob/master/malaya/preprocessing.py#L103

normalizer = malaya.normalize.normalizer(corrector)
skip_date_normalizer = malaya.normalize.normalizer(corrector, date = False)

normalizer.normalize('tarikh program tersebut 14 mei')

{'normalize': 'tarikh program tersebut 14/05/2020',
 'date': {'14 mei': datetime.datetime(2020, 5, 14, 0, 0)},
 'money': {}}

skip_date_normalizer.normalize('tarikh program tersebut 14 mei')

{'normalize': 'tarikh program tersebut empat belas mei',
 'date': {'14 mei': datetime.datetime(2020, 5, 14, 0, 0)},
 'money': {}}

Normalize url

Let say you have an url word, example, https://huseinhouse.com, this parameter going to,

1. replace :// with empty string.

2. replace . with dot.

3. replace digits with string representation.

Simply normalizer.normalize(string, normalize_url = True), default is False.

normalizer = malaya.normalize.normalizer()
normalizer.normalize('web saya ialah https://huseinhouse.com')

{'normalize': 'web saya ialah https://huseinhouse.com',
 'date': {},
 'money': {}}

normalizer.normalize('web saya ialah https://huseinhouse.com', normalize_url = True)

{'normalize': 'web saya ialah https huseinhouse dot com',
 'date': {},
 'money': {}}

normalizer.normalize('web saya ialah https://huseinhouse02934.com', normalize_url = True)

{'normalize': 'web saya ialah https huseinhouse kosong dua sembilan tiga empat dot com',
 'date': {},
 'money': {}}

Normalize email

Let say you have an email word, example, husein.zol05@gmail.com, this parameter going to,

1. replace :// with empty string.

2. replace . with dot.

3. replace @ with di.

4. replace digits with string representation.

Simply normalizer.normalize(string, normalize_email = True), default is False.

normalizer = malaya.normalize.normalizer()
normalizer.normalize('email saya ialah husein.zol05@gmail.com')

{'normalize': 'email saya ialah husein.zol05@gmail.com',
 'date': {},
 'money': {}}

normalizer = malaya.normalize.normalizer()
normalizer.normalize('email saya ialah husein.zol05@gmail.com', normalize_email = True)

{'normalize': 'email saya ialah husein dot zol kosong lima di gmail dot com',
 'date': {},
 'money': {}}

Normalize year

1. if True, tahun 1987 -> tahun sembilan belas lapan puluh tujuh.

2. if True, 1970-an -> sembilan belas tujuh puluh an.

3. if False, tahun 1987 -> tahun seribu sembilan ratus lapan puluh tujuh.

Simply normalizer.normalize(string, normalize_year = True), default is True.

normalizer = malaya.normalize.normalizer()

normalizer.normalize('$400 pada tahun 1998 berbanding lebih $1000')

{'normalize': 'empat ratus dollar pada tahun sembilan belas sembilan puluh lapan berbanding lebih seribu dollar',
 'date': {},
 'money': {'$400': '$400', '$1000': '$1000'}}

normalizer.normalize('$400 pada 1970-an berbanding lebih $1000')

{'normalize': 'empat ratus dollar pada sembilan belas tujuh puluhan berbanding lebih seribu dollar',
 'date': {},
 'money': {'$400': '$400', '$1000': '$1000'}}

normalizer.normalize('$400 pada tahun 1970-an berbanding lebih $1000')

{'normalize': 'empat ratus dollar pada tahun sembilan belas tujuh puluhan berbanding lebih seribu dollar',
 'date': {},
 'money': {'$400': '$400', '$1000': '$1000'}}

normalizer.normalize('$400 pada tahun 1998 berbanding lebih $1000', normalize_year = False)

{'normalize': 'empat ratus dollar pada tahun seribu sembilan ratus sembilan puluh lapan berbanding lebih seribu dollar',
 'date': {},
 'money': {'$400': '$400', '$1000': '$1000'}}

Normalize telephone

1. if True, no 012-1234567 -> no kosong satu dua, satu dua tiga empat lima enam tujuh.

Simply normalizer.normalize(string, normalize_telephone = True), default is True.

normalizer = malaya.normalize.normalizer()

normalizer.normalize('no saya 012-1234567')

{'normalize': 'no saya kosong satu dua, satu dua tiga empat lima enam tujuh',
 'date': {},
 'money': {}}

normalizer.normalize('no saya 012-1234567', normalize_telephone = False)

{'normalize': 'no saya 012-1234567', 'date': {}, 'money': {}}

Ignore normalize money

Let say I have a text contains RM 77 juta and I wish to maintain it like that.

text = 'Suatu ketika rakyat Malaysia dikejutkan dengan kontrak pelantikan sebanyak hampir RM 77 juta setahun yang hanya terdedah apabila diasak oleh Datuk Seri Anwar Ibrahim.'

normalizer = malaya.normalize.normalizer()

normalizer.normalize(text)

{'normalize': 'Suatu ketika rakyat Malaysia dikejutkan dengan kontrak pelantikan sebanyak hampir tujuh puluh tujuh ringgit juta setahun yang hanya terdedah apabila diasak oleh Datuk Seri Anwar Ibrahim .',
 'date': {},
 'money': {'rm 77': 'RM77'}}

normalizer = malaya.normalize.normalizer(money = False)
normalizer.normalize(text, normalize_text = False, check_english = False)

{'normalize': 'Suatu ketika rakyat Malaysia dikejutkan dengan kontrak pelantikan sebanyak hampir RM tujuh puluh tujuh juta setahun yang hanya terdedah apabila diasak oleh Datuk Seri Anwar Ibrahim .',
 'date': {},
 'money': {}}

normalizer.normalize(text, normalize_text = False, check_english = False)

{'normalize': 'Suatu ketika rakyat Malaysia dikejutkan dengan kontrak pelantikan sebanyak hampir RM tujuh puluh tujuh juta setahun yang hanya terdedah apabila diasak oleh Datuk Seri Anwar Ibrahim .',
 'date': {},
 'money': {}}

Normalizing rules

All these rules will ignore if first letter is capital except for normalizing titles.

1. Normalize title,

{
    'dr': 'Doktor',
    'yb': 'Yang Berhormat',
    'hj': 'Haji',
    'ybm': 'Yang Berhormat Mulia',
    'tyt': 'Tuan Yang Terutama',
    'yab': 'Yang Berhormat',
    'ybm': 'Yang Berhormat Mulia',
    'yabhg': 'Yang Amat Berbahagia',
    'ybhg': 'Yang Berbahagia',
    'miss': 'Cik',
}

normalizer = malaya.normalize.normalizer()

normalizer.normalize('Dr yahaya')

{'normalize': 'Doktor yahaya', 'date': {}, 'money': {}}

2. expand x

normalizer.normalize('xtahu')

{'normalize': 'tak tahu', 'date': {}, 'money': {}}

3. normalize ke -

normalizer.normalize('ke-12')

{'normalize': 'kedua belas', 'date': {}, 'money': {}}

normalizer.normalize('ke - 12')

{'normalize': 'kedua belas', 'date': {}, 'money': {}}

4. normalize ke - roman

normalizer.normalize('ke-XXI')

{'normalize': 'kedua puluh satu', 'date': {}, 'money': {}}

normalizer.normalize('ke - XXI')

{'normalize': 'kedua puluh satu', 'date': {}, 'money': {}}

5. normalize NUM - NUM

normalizer.normalize('2011 - 2019')

{'normalize': 'dua ribu sebelas hingga dua ribu sembilan belas',
 'date': {},
 'money': {}}

normalizer.normalize('2011.01-2019')

{'normalize': 'dua ribu sebelas perpuluhan kosong satu hingga dua ribu sembilan belas',
 'date': {},
 'money': {}}

6. normalize pada NUM (/ | -) NUM

normalizer.normalize('pada 10/4')

{'normalize': 'pada sepuluh hari bulan empat', 'date': {}, 'money': {}}

normalizer.normalize('PADA 10 -4')

{'normalize': 'pada sepuluh hari bulan empat', 'date': {}, 'money': {}}

7. normalize NUM / NUM

normalizer.normalize('10 /4')

{'normalize': 'sepuluh per empat', 'date': {}, 'money': {}}

8. normalize rm NUM

normalizer.normalize('RM10.5')

{'normalize': 'sepuluh ringgit lima puluh sen',
 'date': {},
 'money': {'rm10.5': 'RM10.5'}}

9. normalize rm NUM sen

normalizer.normalize('rm 10.5 sen')

{'normalize': 'sepuluh ringgit lima puluh sen',
 'date': {},
 'money': {'rm 10.5': 'RM10.5'}}

10. normalize NUM sen

normalizer.normalize('1015 sen')

{'normalize': 'sepuluh ringgit lima belas sen',
 'date': {},
 'money': {'1015 sen': 'RM10.15'}}

11. normalize money

normalizer.normalize('rm10.4m')

{'normalize': 'sepuluh juta empat ratus ribu ringgit',
 'date': {},
 'money': {'rm10.4m': 'RM10400000.0'}}

normalizer.normalize('$10.4K')

{'normalize': 'sepuluh ribu empat ratus dollar',
 'date': {},
 'money': {'$10.4k': '$10400.0'}}

12. normalize cardinal

normalizer.normalize('123')

{'normalize': 'seratus dua puluh tiga', 'date': {}, 'money': {}}

13. normalize ordinal

normalizer.normalize('ke123')

{'normalize': 'keseratus dua puluh tiga', 'date': {}, 'money': {}}

14. normalize date / time / datetime string to datetime.datetime

normalizer.normalize('2 hari lepas')

{'normalize': 'dua hari lepas',
 'date': {'2 hari lalu': datetime.datetime(2020, 12, 29, 19, 33, 47, 507552)},
 'money': {}}

normalizer.normalize('esok')

{'normalize': 'esok',
 'date': {'esok': datetime.datetime(2021, 1, 1, 19, 33, 47, 514754)},
 'money': {}}

normalizer.normalize('okt 2019')

{'normalize': '31/10/2019',
 'date': {'okt 2019': datetime.datetime(2019, 10, 31, 0, 0)},
 'money': {}}

normalizer.normalize('2pgi')

{'normalize': 'dua pagi',
 'date': {'2 AM': datetime.datetime(2020, 12, 31, 2, 0)},
 'money': {}}

normalizer.normalize('pukul 8 malam')

{'normalize': 'pukul lapan malam',
 'date': {'pukul 8': datetime.datetime(2020, 12, 8, 0, 0)},
 'money': {}}

normalizer.normalize('jan 2 2019 12:01pm')

{'normalize': '02/01/2019 12:01:00',
 'date': {'jan 2 2019 12:01pm': datetime.datetime(2019, 1, 2, 12, 1)},
 'money': {}}

normalizer.normalize('2 ptg jan 2 2019')

{'normalize': 'dua ptg 02/01/2019',
 'date': {'2 PM jan 2 2019': datetime.datetime(2019, 1, 2, 14, 0)},
 'money': {}}

15. normalize money string to string number representation

normalizer.normalize('50 sen')

{'normalize': 'lima puluh sen', 'date': {}, 'money': {'50 sen': 'RM0.5'}}

normalizer.normalize('20.5 ringgit')

{'normalize': 'dua puluh ringgit lima puluh sen',
 'date': {},
 'money': {'20.5 ringgit': 'RM20.5'}}

normalizer.normalize('20m ringgit')

{'normalize': 'dua puluh juta ringgit',
 'date': {},
 'money': {'20m ringgit': 'RM20000000.0'}}

normalizer.normalize('22.5123334k ringgit')

{'normalize': 'dua puluh dua ribu lima ratus dua belas ringgit tiga ratus tiga puluh empat sen',
 'date': {},
 'money': {'22.512334k ringgit': 'RM22512.334'}}

16. normalize date string to %d/%m/%y

normalizer.normalize('1 nov 2019')

{'normalize': '01/11/2019',
 'date': {'1 nov 2019': datetime.datetime(2019, 11, 1, 0, 0)},
 'money': {}}

normalizer.normalize('januari 1 1996')

{'normalize': '01/01/1996',
 'date': {'januari 1 1996': datetime.datetime(1996, 1, 1, 0, 0)},
 'money': {}}

normalizer.normalize('januari 2019')

{'normalize': '31/01/2019',
 'date': {'januari 2019': datetime.datetime(2019, 1, 31, 0, 0)},
 'money': {}}

17. normalize time string to %H:%M:%S

normalizer.normalize('2pm')

{'normalize': '14:00:00',
 'date': {'2pm': datetime.datetime(2020, 12, 31, 14, 0)},
 'money': {}}

normalizer.normalize('2:01pm')

{'normalize': '14:01:00',
 'date': {'2:01pm': datetime.datetime(2020, 12, 31, 14, 1)},
 'money': {}}

normalizer.normalize('2AM')

{'normalize': '02:00:00',
 'date': {'2am': datetime.datetime(2020, 12, 31, 2, 0)},
 'money': {}}

18. expand repetition shortform

normalizer.normalize('skit2')

{'normalize': 'sakit-sakit', 'date': {}, 'money': {}}

normalizer.normalize('xskit2')

{'normalize': 'tak sakit-sakit', 'date': {}, 'money': {}}

normalizer.normalize('xjdi2')

{'normalize': 'tak jadi-jadi', 'date': {}, 'money': {}}

normalizer.normalize('xjdi4')

{'normalize': 'tak jadi-jadi-jadi-jadi', 'date': {}, 'money': {}}

normalizer.normalize('xjdi0')

{'normalize': 'tak jadi', 'date': {}, 'money': {}}

normalizer.normalize('xjdi')

{'normalize': 'tak jadi', 'date': {}, 'money': {}}

19. normalize NUM SI-UNIT

normalizer.normalize('61.2 kg')

{'normalize': 'enam puluh satu perpuluhan dua kilogram',
 'date': {},
 'money': {}}

normalizer.normalize('61.2kg')

{'normalize': 'enam puluh satu perpuluhan dua kilogram',
 'date': {},
 'money': {}}

normalizer.normalize('61kg')

{'normalize': 'enam puluh satu kilogram', 'date': {}, 'money': {}}

normalizer.normalize('61ml')

{'normalize': 'enam puluh satu milliliter', 'date': {}, 'money': {}}

normalizer.normalize('61m')

{'normalize': 'enam puluh satu meter', 'date': {}, 'money': {}}

normalizer.normalize('61.3434km')

{'normalize': 'enam puluh satu perpuluhan tiga empat tiga empat kilometer',
 'date': {},
 'money': {}}

normalizer.normalize('61.3434c')

{'normalize': 'enam puluh satu perpuluhan tiga empat tiga empat celsius',
 'date': {},
 'money': {}}

normalizer.normalize('61.3434 c')

{'normalize': 'enam puluh satu perpuluhan tiga empat tiga empat celsius',
 'date': {},
 'money': {}}

20. normalize laughing pattern

normalizer.normalize('dia sakai wkwkwkawkw')

{'normalize': 'dia sakai haha', 'date': {}, 'money': {}}

normalizer.normalize('dia sakai hhihihu')

{'normalize': 'dia sakai haha', 'date': {}, 'money': {}}

21. normalize mengeluh pattern

normalizer.normalize('Haih apa lah si yusuff ni . Mama cari rupanya celah ni')

{'normalize': 'Aduh apa lah si yusuff ini . Mama cari rupanya celah ini',
 'date': {},
 'money': {}}

normalizer.normalize('hais sorrylah syazzz')

{'normalize': 'aduh maaf lah syazz', 'date': {}, 'money': {}}