Skip to content
Open
Show file tree
Hide file tree
Changes from all commits
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
144 changes: 73 additions & 71 deletions README.md
Original file line number Diff line number Diff line change
Expand Up @@ -11,79 +11,81 @@ Language Detection Library for Java

## Language Support

### 71 Built-in Language Profiles
### 73 Built-in Language Profiles

1. af Afrikaans
1. an Aragonese
1. ar Arabic
1. ast Asturian
1. be Belarusian
1. br Breton
1. ca Catalan
1. bg Bulgarian
1. bn Bengali
1. cs Czech
1. cy Welsh
1. da Danish
1. de German
1. el Greek
1. en English
1. es Spanish
1. et Estonian
1. eu Basque
1. fa Persian
1. fi Finnish
1. fr French
1. ga Irish
1. gl Galician
1. gu Gujarati
1. he Hebrew
1. hi Hindi
1. hr Croatian
1. ht Haitian
1. hu Hungarian
1. id Indonesian
1. is Icelandic
1. it Italian
1. ja Japanese
1. km Khmer
1. kn Kannada
1. ko Korean
1. lt Lithuanian
1. lv Latvian
1. mk Macedonian
1. ml Malayalam
1. mr Marathi
1. ms Malay
1. mt Maltese
1. ne Nepali
1. nl Dutch
1. no Norwegian
1. oc Occitan
1. pa Punjabi
1. pl Polish
1. pt Portuguese
1. ro Romanian
1. ru Russian
1. sk Slovak
1. sl Slovene
1. so Somali
1. sq Albanian
1. sr Serbian
1. sv Swedish
1. sw Swahili
1. ta Tamil
1. te Telugu
1. th Thai
1. tl Tagalog
1. tr Turkish
1. uk Ukrainian
1. ur Urdu
1. vi Vietnamese
1. wa Walloon
1. yi Yiddish
1. zh-cn Simplified Chinese
1. zh-tw Traditional Chinese
2. an Aragonese
3. ar Arabic
4. ast Asturian
5. be Belarusian
6. br Breton
7. ca Catalan
8. bg Bulgarian
9. bn Bengali
10. cs Czech
11. cy Welsh
12. da Danish
13. de German
14. el Greek
15. en English
16. es Spanish
17. et Estonian
18. eu Basque
19. fa Persian
20. fi Finnish
21. fr French
22. ga Irish
23. gl Galician
24. gu Gujarati
25. he Hebrew
26. hi Hindi
27. hr Croatian
28. ht Haitian
29. hu Hungarian
30. id Indonesian
31. is Icelandic
32. it Italian
33. ja Japanese
34. km Khmer
35. kn Kannada
36. ko Korean
37. lt Lithuanian
38. lv Latvian
39. mk Macedonian
40. ml Malayalam
41. mr Marathi
42. ms Malay
43. mt Maltese
44. ne Nepali
45. nl Dutch
46. no Norwegian
47. oc Occitan
48. pa Punjabi
49. pl Polish
50. pt Portuguese
51. ro Romanian
52. ru Russian
53. sk Slovak
54. sl Slovene
55. so Somali
56. sq Albanian
57. sr Serbian
58. sv Swedish
59. sw Swahili
60. ta Tamil
61. te Telugu
62. th Thai
63. tl Tagalog
64. tig Tigre
65. ti Tigrinya
66. tr Turkish
67. uk Ukrainian
68. ur Urdu
69. vi Vietnamese
70. wa Walloon
71. yi Yiddish
72. zh-cn Simplified Chinese
73. zh-tw Traditional Chinese

User danielnaber has made available a profile for Esperanto on his website, see open tasks.

Expand Down
Original file line number Diff line number Diff line change
Expand Up @@ -96,6 +96,8 @@ public class BuiltInLanguages {
names.add(LdLocale.fromString("ta"));
names.add(LdLocale.fromString("te"));
names.add(LdLocale.fromString("th"));
names.add(LdLocale.fromString("ti"));
names.add(LdLocale.fromString("tig"));
names.add(LdLocale.fromString("tl"));
names.add(LdLocale.fromString("tr"));
names.add(LdLocale.fromString("uk"));
Expand Down
1 change: 1 addition & 0 deletions src/main/resources/languages.shorttext/ti

Large diffs are not rendered by default.

1 change: 1 addition & 0 deletions src/main/resources/languages/ti

Large diffs are not rendered by default.

1 change: 1 addition & 0 deletions src/main/resources/languages/tig

Large diffs are not rendered by default.

Original file line number Diff line number Diff line change
Expand Up @@ -85,8 +85,11 @@ protected Object[][] shortCleanTexts() {
{"km", shortCleanText("សព្វវចនាធិប្បាយសេរីសម្រាប់អ្នកទាំងអស់គ្នា។" + "នៅក្នុងវិគីភីឌាភាសាខ្មែរឥឡូវនេះមាន ១១៩៨រូបភាព សមាជិក១៥៣៣៣នាក់ និងមាន៤៥៨៣អត្ថបទ។")},
{"bg", shortCleanText("Европа не трябва да стартира нов конкурентен маратон и изход с приватизация")},
{"wa", shortCleanText("Çouchal c' est on tecse pår e walon.")},
{"ti", shortCleanText("እዚ ብትግርኛ እተጻሕፈ ጽሑፍ እዩ።")},
{"tig", shortCleanText("ከሰፍሐት ፈን ወዓዳት እሊ እት አክትበት በዲር ለህለ ርዝቅ ህግያነ ክሉ አዳም ጀላብ እግል ልርከቡ፡ እትሊ ዓሙድ እሊ ምነ ብዞሕ ጽበጥለ አክትበት ዲብ ለሐሬ ቀድም እኩም ህለ።")}
};
}

private CharSequence shortCleanText(CharSequence text) {
return CommonTextObjectFactories.forDetectingShortCleanText().forText( text );
}
Expand All @@ -97,6 +100,8 @@ protected Object[][] longerWikipediaTexts() {
{"de", largeText(readText("/texts/de-wikipedia-Deutschland.txt"))},
{"fr", largeText(readText("/texts/fr-wikipedia-France.txt"))},
{"it", largeText(readText("/texts/it-wikipedia-Italia.txt"))},
{"ti", largeText(readText("/texts/ti-Haddas-Ertra-Tigrinya.txt"))},
{"tig", largeText(readText("/texts/tig-EritreaHaddas-Tigre.txt"))}
};
}

Expand Down
17 changes: 17 additions & 0 deletions src/test/resources/texts/ti-Haddas-Ertra-Tigrinya.txt
Original file line number Diff line number Diff line change
@@ -0,0 +1,17 @@
ካብ መደባት እዚ ዓመት እዚ ድማ፡ ዶባት ሕዛእቲ ኣብ ባይታ ምምልካት፡ ህላወ ኣድጊ በረኻ ውሕስነት ንኽረክብ፡ ንኡስ ሕዛእቲ ኣድጊ በረኻ ኣብ ባይታ ምኽላል፡ ዓቕምን ተመኵሮን ኣባላት ክብ ንምባል ዝተፈላለዩ ስልጠናታት ምክያድ፡ ብዘይካ እዚ ዳህሳስን ምኽላልን ዝተፈላለዩ ሕዛእትታት ምክያድን ካልኦት መደባትን ይርከብዎም።

ናይ ክብሪ ዕድምቲ ሚኒስተር ኣብ ተሃድሶን ምምዕባልን ጥንታዊ ቋንቋ ግእዝ ኣስተውጽኦ ዝገብራ ኣርባዕተ መጽሓፍቲ ተመሪቐን ቱሪዝም ወይዘሮ ኣስካሉ መንቆርዮስ ኣብ ዘስመዓቶ ቃል፡ ቋንቋ ግእዝ ኣብ ዝተፈላለዩ የማነ ኣብርሃ ገዳማትን ካልኦት ቦታታትን ንዘለዉና ታሪኻዊ ውርሻታት ብዝግባእ ንምርዳእ ሓጋዚ ምዃኑ ብምጥቃስ፡ ጸሓፊ ንምምዕባሉን ህልው ወለዶ ብቐሊሉ ክርዳኣሉ ዝኽእል መገዲ ዘጣጥሕ ስራሕ ንምድላውን ንዘርኣዮ ሓያል ድሌትን ጻዕሪን መጒሳ።

እዋን ገድሊ፡ ኣበየ ከባቢ ዝነብር ዝነበረ ህዝቢ ኤርትራ፡ ብሰንኪ ሕሱም መግዛእታዊ ስርዓታት ኢትዮጵያ፡ ገለ ዓዱ ገዲፉ ተበታቲኑ፡ ገለን ብኢሰብኣዊ መንገዲ ተቐቲሉ፡ ገለ ድማ እግሩ ናብ ዝመርሖ ዶባት ኤርትራን ጎረባብቲ ሃገራትን ሰጊሩ ናብ ስደት ኣምሪሑን ፋሕፋሕ ኢሉን ብምንባሩ፡ ነቲ ዋላ ሓንቲ ደሃይ ስድራ-ቤቱ ከይረኸበ ንዓመታት ኣብ በረኻታት ኤርትራ ዝቃለስ ዝነበረ ተጋዳላይ፡ ዓቢ ሻቕሎት ክፈጥር ዘይንቡር ኣይነበረን።

ስዒቡ ክገብሮ ዝግባእ ድማ፦ • ናይ ባህሪ ለውጢ ምምጻእ፡ ናይ ምስትፋስ ምንቅስቓስ ምግባር፡ ኣካላዊ ምንቅስቓስ፡ ምንባብን ምጽሓፍን፡ ኣብ መዓልታዊ ህይወት ዘሐጉሱ ስርሓት ምክያድ፡ እኹል ድቃስ ምርካብ፡ ዘይርብሹ ግና ዘዘናግዑ ሙዚቃ ምስማዕ፡ ማሳጅ (ምድራዝ ኣካላት) ምዝውታር፡ ናብ መካነ እንስሳ ብምኻድ ምስ ዝተፈላለዩ እንስሳታት ምዝንጋዕ የድሊ።

ከም ሻርክ፡ ዲራክ፡ ቱና፡ ዝኣመሰሉ ዓሳታት፡ ከም ኣድጊ በረኻ፡ ሓርማዝ፡ ኣንበሳ፡ ዝኣመሰሉ ኣብ ሃገርና ዝርከቡ እንስሳ ዘገዳም፡ ከም በዓል በለው ከለውን ካልኦትን ታሪኻውያን ቦታታት ከም ዝሰፍሩ ዘይግበረሉ ምኽንያት እንታይ እዩ? ኣብ ባህላዊ መሳርሒታት ሙዚቃኸ ንሳተን ጥራይ ድን ክቐርባ ዘለወን? ኣባንጋላ፡ ሻምብቆ፡ መለኸት እምብልታን ካልኦትንከ ስለምንታይ ኣካል እቲ ስእልታት ከም ዝኸውን ኣይግበርን? እምበኣርከስ ትካል ራይሞክ ሎተሪ ኣብዚ መዳይ እውን ክሰርሕ ከም ዝግብኦ አዘኻኽር።

ብመንጽር’ዚ ዝርዝር ከኣ፡ ስነ-ጥንታዊ ኣሰራት፡ ናይ በዓቲ ኣሳእልን ውቕሮታትን፡ ኣሰራት ስነ- ህይወት፡ ታሪኻዊ ሓወልትታት፡ ኣብነታት ዘመናውን ዘቤታውን ቅድታት ስነ-ህንጻ፡ ውጥን ከተማ፡ ሃይማኖታዊ ውርሻታት፡ ቴክኖሎጂካዊ መስርሓት፡ ኣብነታት ኣገደስቲ ወተሃደራዊ ግጥማት፡ ባህላዊ መልክዕ ኣከባቢታት፡ ታሪኻዊ መቓብራት፡ ትእምርታዊ ትውክልትን ውርሻታት ዘመናውነትን ኣብ መዝገብ ዓለማዊ ውርሻ ክሰፍሩ ዝኽእሉ ኣብነታት ኢዮም።

ዓመት መጸ ኣብ ውሽጢ ሃገርን ኣብ ዝተፈላለየ ከባቢታት ዓለምን ዝካየድ ሃገራዊ ፈስቲቫል ኤርትራውያን እምበኣር፡ ጽባቐ ባህላዊ ብዙሕነትና እናጉልሐ፡ ረብሓ ሓድሕዳዊ ምክብባርን ጣዕሚ ሃገራዊ ስኒትን ዝምህር፡ ንዜጋታት ምስ ባህልን ኣነባብራን መላእ ሕብረተሰብ ምስ ባህላውን ታሪኻውን ቅርስታት ሃገር ዘላሊ፡ ምህዞን ተበላሓትነትን ዜጋታት ዘበራብር፡ ማሕበራዊ ፍትሒ ንምርግጋጽ ዝሰላሰሉ ዘለዉ ልምዓታዊ ንጥፈታት ዘንጸባርቕ፡ ህልዊ ፖለቲካዊ ኩነታትን ብድሆታትን ብመንጽሩ ዝጥለብ ዜግነታዊ ሓላፍነትን ዘዘኻኽር፡ ኮታ ምስሊ ህርኩትን ስሙርን ህዝቢ ዝዂልዕ ዕዙዝ ኣጋጣሚ እዩ።

ኣሉታዊ ኤለክትሮድ - “ካቶድ” ይርከቦ፣ እዚ ክልተ ኤለክትሮዳት ኣብ ክልተ ጫፍ ናይቲ ቱቦ ዝተቐመጠ እዩ፣ ካብ ልዑል ቮልቴጅ ዘሎዎ ዋሕዚ ኤለክትሪክ ዝርከብ ጩራ ንምዕዛብ ከኣ ክሳብ ዝከኣሎም ኣብቲ ቱቦ ዝርከብ ጋዝ ይስሕቡዎ፣ ኣብዚ ግዜ እዚ ከኣ ብዓይኒ ክረኣዩ ዘይክእሉ ጩራታት ካብ ኣሉታዊ ኤለክትሮድ “ካቶድ” ይወጽኡ (ይትፍኡ)፣ ኣብቲ ቱቦ ብሩህ ቀጣልያ ሕብሪ ዘሎዎ ብርሃን ይርአ፣ ካብ ካቶድ ዝርከብ ብርሃን ከኣ ጩራ ካቶድ ይብሃል፣ ኣብ ባና ናይቲ ጩራ ማግኔታዊ ወይ ኤለክትሪያዊ ክሊ ምስ ዝቕመጥ ኣንፈት ናይቲ ጩራ ይቕየር፣ እዚ ኸኣ እቲ ጩራ ኤለክትሪክ ቻርጅ ከም ዘሎዎ ዘነጽር እዩ፣ ኣንፈቶም ናብቲ እወታዊ ቻርጅ ዘሎዎ ኤለክትሮድ ይኸውን፣ ኣንጻራዊ ቻርጅ ዘሎዎም ይሰሓሓቡ።

ንመልኮ እምበር ኣይንዕወነሉን ኢና፣ ምሕደራ ግዜ ዘይተማሓደረ ነገር ኩሉ ጣቋ የብሉን፣ ገንዘብ እንተ ዘይተማሓዲሩ መጥፍኢኡ ኣይፍለጥን እዩ፣ ሰብ እንተ ዘይተማሓዲሩ መትሓዚ የብሉን፣ ኰታ ኩሉ ዘሎ ጸጋ እንተ ዘይተማሓዲሩ ዋጋ የብሉን፣ ተማሃራይ ኰይኑ ግዜኡ እንተ ዘይኣማሓዲሩ ኸኣ ዋጋ ኣይርከቦን እዩ፣ ግዜኻ ብግቡእ ኣማሓድሮ፣ ካብ ቤት ትምህርቲ ምስ ተመለስካ ኣቐዲምካ ኣብ ክፍሊ ዘይወዳእካዮምን ዕዮ-ገዛን ኣጻፍፍ፣ ናይ መጽናዕቲን ምዝንጋዕን ግዜኻ ፍሉይ ይኹን፣ ሓደ’ኳ ክተርፍ ኢሉ ዝምድብ የለን፤ መደብ ንኸይገብር ዝተርፍ ግን …፣ ኣብ ነፍሲ-ወከፍ መዓልቲ ንቝጽሪ እትውከሰላ ግዜ ፍለ፣ ካብ ምቕዳሕ ተሓረም ምቕዳሕ ከም ናይ መወዳእታ ምርጫ’ውን እንተ ዀነ ኣብ ኣእምሮኻ ኣይተስፍሮ፣ ኣብ ክፍሊ ኰነ ድሕሪ ክፍሊ ዝወሃበካ ዕዮታት ባዕልኻ ክትሰርሖም ፈትን፣ ምቕዳሕ ህኩይ ዝገብር ቫይረስ እዩ’ሞ ካብ ሕማም ምቕዳሕ ኣቐዲምካ ነብስኻ ግታእ፣ ፍጹም ተስፋ ኣይትቝረጽ ካብ ኵሎም ኣብ ቤት ትምህርቲ እትረኽቦም ነገራት ከም ቍጽሪ ገይሩ ንኣእምሮኻ ዝጥቀመሉ የለን፣ ንዝተፈላለየ ክፍላት ሓንጎል እዩ ዝጥቀም፣ ሓደ ነገር ክርድኣካ እንተ ዘይክኢሉ ወጥሪ ክፈጥረልካ ይኽእል ይኸውን፣ ንግዜኡ ካልእ ስራሕካ ስራሕ’ሞ ተመለሶ፣ ካብ ጌጋኻ ተኣረም ብጌጋታትካ ስሓቕ፤ ብሕመቕካ ምስ ነብስኻ ተዋዘ፣ ጉድለታትካ መወዳእታ ዓለም ኣይኰኑን፣ ናይቲ ሓቀኛ ፍልጠት መበገሲ እዮም፣ *** በድር ኑርሑሴን “መወዳእታ ናይዚ ዳህሳስና።
29 changes: 29 additions & 0 deletions src/test/resources/texts/tig-EritreaHaddas-Tigre.txt
Original file line number Diff line number Diff line change
@@ -0,0 +1,29 @@
አድግ አለቡ አድግ ገብእ፦ መርትዓይ ወመዓርፋይ አለቡ ክሉ ጸገም ዲብ መሸንገሉ ክምሰልቱ ተአፍህም።

አድግ ምን መሐገዝ ለአረቴዕ።

ሐቆ አድግ አለብከ ህዬ ኖስከ አካን አድግ ትከሬዕ።

ምስል ናይ ደዓም እት ልትርኤ፡ ዮም ዓመት መታበዐት ቀደም ወሊድ ለወደየ ዐመሲ 11%፡ እት ዕያደት ዐዲተከሌዛን ናይለ ትፈረጀየ እማት ህዬ 5% ዐቦት ክምሰል ሰጀለ ለሸርሐ ነርስ ሳሙኤል፡ እለ ፍገሪት እለ ዐመሲ ለጸነሐ እተ አካን ሰበት ሸቄት ክምቱ ሐበረ።

እሊ ሸዕብየት ናይ ሰልፍ ድጌ ለአሰሰት እቱ ድዋራት ሚ መስል፡ መካሪቱ አድብሩ ወመሓዛቱ ሚ ለትመስል እስራተጅየት ክምሰልተ እግል ልርኤ፡ ፋሕ ለመካትብ ተንዚም ለዐለ እቱ፡ ለሳልፋይ ሙእተመር ጀብሀት ሸዕብየት ለገብአ ዲቡ ለቀደም 41 ሰነት እለ ዮም አብ አምነ እግል ሐድ 30 ሰነት ካድም ዲበ ለሀለ ሬድዮ ክርን ገቢል፡ ዲብ ሄለል ወርሕ ሐቴ ናይ 1979 ለተአሰሰት ዲቡ ወክርን ዐዳለት ወአማን ለአስመዐት ምኑ ፋሕ፡ ብሌቃት ለሀይአት ተድሪብ ፊተውራሪ ወአዋልድ ክምሰሁመ ከረ አምን ሰውረት ወብዕድ አሳስ መሳኔዕ ለዐለ እተ አካን፡ ዜሮ፡ ለአሳስ ደረሰ መድረሰት ሰውረት፡ እለን ክም ሐለፍከ ለትረክበን ደብዐት፡ ሰበር ቀጤ ወዐገት መሳክብ እስብዳልያት፡ ወገራጃት ክም ዐለ እብ ታሪክ አምሩ ምንመ ዐለ፡ እግል ሰልፍ መደቱቱ ካይዱ ለዐለ።

ለጅነ ለጸሊም እብ እንክሩ እንዴ ኢልትሀለግ፡ “እንተ ህዬ ቀደም ዶልከ እንዴ ኢትበሽል ሰበት ትወለድካ ክእነ ፈጭሕ ለገብአከ?” እት ልብል እግል ሰኣሉ እብ ሰኣል በልሰዩ ዲቡ ልትበሀል።

ሐቴ ምዕል አቅሕሞተት ሰበት ጸምአት እግል ትስቴ ማይ ለትረክብ ዲበ አካን እ ንዴ ተአትቃምት፡ ሐንቴ ዕጨት በጥረት።

ሰኣል፡ እት ዕቅበት ሰዋልፍ ወዐዋዲ መጅተምዖም ህዬ ለሸባብ እንሰር ከአፎ ህለው?

በሊስ፡ ሐቴ ምነ ሸቁ ዲቡ ሰዳይት ዓይላት ሹሀዳ ተ፡ ሹሀደ ጀላነ ፍዘ ገብአው፡ እንተ ህዬ ዲብ ግራሆም ሚ ተአወቄ ቱ ለልትረኤ። እት ክል ዕዱ ሸባብ ምን 10 አስክ 20 ነቅፈ እት ክል ወሬሕ እግል ትትፋገር ወትትጀመዕ ከሐሬ እግል ዓይላት ሹሀደእ እግል ትግበእ። እግል እሊ ሓክም አቅሊም ሰፊር መ/ስዒድ መንታይ፡ ምስል ፈሬዕ ውዛረት ዐመል ወደማነት እጅትማዕየት እንዴ ትፋሀመ፡ ሕሳብ ፍንቱይ ለዲቡ እንከርየ አክሰተ እግልነ። እብ ምዴርየት ዐሰብ ነአንብት እንቤ ወ15 ሕጉዛት ዓይላት ጸበጥነ።

ደሀይ መሕበር እት ምዴርየት ባጽዕ ሚ መስል?

ወድ ኣደሚ ምነ እምበል ማል ሐቴ እግል ልትጸገሞ ሊቀድሮ ወምነ እብ ማል ሌጠ እግል ልትጻገሞ ለቀድሮ ውዘረ ሕሳቡ እግል ሊዴ ብዲቡ።

ሓጥር ግበእ ወእለ ኢገብአከ ምን ገብእመ፡ ሓጥር ክም እንተ አተምስል ዎሮትመ ለልአምር እብከ አለቡ።

ነፈዕ ወድ ዕትማን ወኢኖ ሊትማን እብ ክሱስ ሐልየት፡ ዓዳት ወአድጋማት ትግሬ እተ ወደዉ በሐስ ወድራሳት፡ ክምሰልሁመ እት ደረጀት ጥባዐት ለአብጸሐዉ፡ ዮም ክብት ትግራይት ጋብእ ለህለ አክትበት፡ እግለ መጽእ አጅያል ህግየ ትግሬ ዝሕረት ዐባይ ቱ። ነፈዕ ወድ ዕትማን ወኢኖ ሊትማን ህዬ ዲብ ተእሪክ፡ ዓዳትነ ወሕላይነ ለአግደዉ ዶር እብ ቀሊል ለልትረኤ ኢኮን። ከሰፍሐት ፈን ወዓዳት እሊ እት አክትበት በዲር ለህለ ርዝቅ ህግያነ ክሉ አዳም ጀላብ እግል ልርከቡ፡ እትሊ ዓሙድ እሊ ምነ ብዞሕ ጽበጥለ አክትበት ዲብ ለሐሬ ቀድም እኩም ህለ።

ቢንያም እት ሕንጣጥ ዐውቴ

እት ታሪክ ጅግረ ዐጀላት ኤረትርየ ምንተሐት 23 ሰነት ዲብ ሻምፕዮን ዐለም፡ ቀደም እለ መዳልየት ወርቅ ለናስእ ቢንያም ግርማይ፡ ለሐልፈት ጅምዐት ዲብ ስፐይን እተገብአ ናይ ሐቴ ምዕል ጅግረ ‘ትሮፍዮ አልኩዳይ አው ፖርት ዲ አልኩዳይ፡ አወላይ እንዴ ፈግረ ጅበት ሐበን ላብስ ሀለ።