Casussen (tekencodering): verschil tussen versies
Naar navigatie springen
Naar zoeken springen
| Regel 19: | Regel 19: | ||
== Line-ending 0x0d 0x0a == | == Line-ending 0x0d 0x0a == | ||
| − | + | In aug. 2019 raakte MySQL in de war tijdens de import van een Amazon-exportbestand: Er stonden newlines of carriage returns in de geïmporteerde data. | |
| + | |||
| + | Bronbestand - eerste regels: | ||
<pre> | <pre> | ||
| Regel 26: | Regel 28: | ||
</pre> | </pre> | ||
| − | * | + | * Regels worden beëindigd met <code>0d 0a</code>. Dat is de gewone Windows-manier om regels te eindigen |
* <code>0d</code> - Carriage return - <code>\r</code> | * <code>0d</code> - Carriage return - <code>\r</code> | ||
* <code>0a</code> - Newline - <code>\n</code> | * <code>0a</code> - Newline - <code>\n</code> | ||
* Om een of andere reden verslikt MySQL zich daarin bij importeren | * Om een of andere reden verslikt MySQL zich daarin bij importeren | ||
* Het is een UTF-8-bestand. Zou de combinatie Windows-line-endings en UTF-8 MySQL in de war brengen? | * Het is een UTF-8-bestand. Zou de combinatie Windows-line-endings en UTF-8 MySQL in de war brengen? | ||
| + | |||
| + | Oplossing: | ||
| + | |||
| + | <pre> | ||
| + | load data local infile '/tmp/asin-sku-fr.csv' | ||
| + | into table 201908_asin_sku_codes_amz_fr_imp | ||
| + | character set utf8 | ||
| + | fields terminated by '\t' | ||
| + | optionally enclosed by '"' | ||
| + | lines terminated by '\r\n' # ← ZO SIMPEL - ALS JE HET WEET | ||
| + | ignore 1 rows; | ||
| + | </pre> | ||
== Bronnen == | == Bronnen == | ||
Versie van 22 aug 2019 12:56
Incorrect string value: \xE2\x80\xAF (aug. 2019)
Foutmelding bij import in MySQL:
6 warning(s): 1366 Incorrect string value: '\xE2\x80\xAF: 2...' for column 'title' at row 132 1366 Incorrect string value: '\xE2\x80\xAF: 4...' for column 'title' at row 160 1366 Incorrect string value: '\xE2\x80\xAF: 1...' for column 'title' at row 278 1366 Incorrect string value: '\xE2\x80\xAF: 1...' for column 'title' at row 341 1366 Incorrect string value: '\xE2\x80\xAF: 2...' for column 'title' at row 352 1366 Incorrect string value: '\xE2\x80\xAF: 2...' for column 'title' at row 363
Ik weet zeker dat het bronbestand (Amazon-raport) UTF-8-gecodeerd is, en dat de data ook als zodanig geïmporteerd wordt.
UTF-8-code e2 80 af staat voor NARROW NO-BREAK SPACE [1]. Ik vermoed dat MySQL daar niet mee overweg kan. Sois.
Line-ending 0x0d 0x0a
In aug. 2019 raakte MySQL in de war tijdens de import van een Amazon-exportbestand: Er stonden newlines of carriage returns in de geïmporteerde data.
Bronbestand - eerste regels:
00000000: efbb bf73 6b75 0961 7369 6e0d 0a30 3130 ...sku.asin..010 00000010: 3009 4230 3048 5945 5549 584f 0d0a 3031 0.B00HYEUIXO..01
- Regels worden beëindigd met
0d 0a. Dat is de gewone Windows-manier om regels te eindigen 0d- Carriage return -\r0a- Newline -\n- Om een of andere reden verslikt MySQL zich daarin bij importeren
- Het is een UTF-8-bestand. Zou de combinatie Windows-line-endings en UTF-8 MySQL in de war brengen?
Oplossing:
load data local infile '/tmp/asin-sku-fr.csv' into table 201908_asin_sku_codes_amz_fr_imp character set utf8 fields terminated by '\t' optionally enclosed by '"' lines terminated by '\r\n' # ← ZO SIMPEL - ALS JE HET WEET ignore 1 rows;