Skip to content

Latest commit

 

History

History
51 lines (36 loc) · 1.53 KB

PlanForMoreKeyboards.md

File metadata and controls

51 lines (36 loc) · 1.53 KB

Plan For More Keyboards

Tastaturpakker

Pakkenamn Minoritetsspråk inkludert Maj.språk
samisk sma, smj, sme, sms, smn, sje nor, swe, fin
k-uralsk myv, mdf, mrj, mhr, udm, kpv, sjd, koi, yrk rus
ø-finsk vro, liv, olo, izh, vot, vep est, fin, lav
algonquin crk-Latn, crk-Cans, ciw, bla, hdn eng, fra

Bokstavfrekvens

Kommando for å henta fram bokstavfrekvens:

cat $GTBIG/langs/LANG/corp/*.txt \
| sed 's/\(.\)/\1 /g;' | tr ' ' '\n' \
|  grep -v '[0-9.,:;A-ZÁŠČ§()]' \
| sort | uniq -c | sort -nr \
|  sed 's/^ *//g;' | see

Algoritme for å lage gode ordlister

Listebasert

Bestem eit omfang (10000 ord?)

  1. Frekvensliste av ordformer:
    1. Ta dei vanlegaste ordformene i løpande tekst av relevant korpus
    2. Ta dei vanlegaste ordformene i løpande tekst av stort korpus
    3. .. og fyll til saman 1/3
  2. Sentralt ordforråd + generere kjerneparadigmer
  3. Vanlegaste 500 av verba og generere indikativformene
  4. Sikre at pronomen, adverb, interjeksjonar er med

Test:

Følg denne oppskrifta for norsk og sjå kva som fell ut av eksisterande

fst-basert

Telefonar har 16Gb eller meir. Våre fst-ar vil truleg vere maksimalt 20MB i vhfst-formatet. Dette vil vere ok.

Metode

  1. Vekte lista (ovafor) på topp etter frekvensinformasjon
  2. Vekte bøyingsformer
  3. Blokkere for uvekta fst-framlegg på under 4 bokstavar