tokenize

Fragen
Tokenizing ist das Aufteilen einer Zeichenkette in diskrete Elemente, Token genannt.
2
Antworten

Division / RegExp-Konflikt beim Tokenisieren von Javascript [duplizieren]

Ich schreibe einen einfachen JavaScript-Tokenizer, der grundlegende Typen erkennt: Word, Number, String, RegExp, Operator, Comment und Newline. Alles läuft gut, aber ich kann nicht verstehen, wie zu erkennen ist, ob das aktuelle Zeichen RegExp...
18.01.2011, 16:14
4
Antworten

Wie bekomme ich jedes Zeichen aus einem Wort mit spezieller Kodierung?

Ich brauche ein Array mit allen Zeichen aus einem Wort, aber das Wort hat Buchstaben mit spezieller Codierung wie á, wenn ich den folgenden Code ausfühle: %Vor% oder %Vor% Ich bekomme:    array (6) {[0] = & gt; string (1) "w" [1] = &...
21.11.2012, 20:42
4
Antworten

Generieren von PHP-Code (aus Parser-Token)

Gibt es eine verfügbare Lösung zum (erneuten) Generieren von PHP-Code aus den Parser-Tokens , die zurückgegeben werden token_get_all ? Andere Lösungen zum Erzeugen von PHP-Code sind ebenfalls willkommen, vorzugsweise mit dem zugehörigen Lex...
21.02.2011, 16:11
3
Antworten

Was ist das genaueste Open-Source-Werkzeug für die Satzaufteilung? [geschlossen]

Ich muss den Text in Sätze aufteilen. Ich spiele gerade mit dem Satzdetektortool von OpenNLP herum. Ich habe auch von NLTK und Stanford CoreNLP Tools gehört. Was sind die genauesten englischen Satzerkennungswerkzeuge da draußen? Ich brauche nich...
14.03.2011, 16:48
5
Antworten

Wie teilt man am besten CSV-Strings in Oracle 9i?

Ich möchte csv-Strings in Oracle 9i aufteilen können Ich habe den folgenden Artikel gelesen Ссылка Aber ich habe nicht verstanden, wie das funktioniert. Hier sind einige meiner Fragen dazu Würde das in Oracle 9i funktionieren, wenn n...
06.07.2009, 22:31
2
Antworten

Wie wird der Perl-Quellcode in Token umgesetzt?

Ich habe einige vernünftige (nicht verschleierte) Perl-Quelldateien, und ich brauche einen Tokenizer, der ihn in Token aufteilt und den Tokentyp von jedem von ihnen zurückgibt, z. für das Skript %Vor% würde so etwas zurückgeben: Schlüsse...
19.08.2010, 09:08
6
Antworten

Die beste Methode zum Analysieren von durch Leerzeichen getrennten Text

Ich habe eine solche Zeichenfolge %Vor% Ich möchte es symbolisieren, aber ich kann nicht einfach auf die Leerzeichen aufteilen. Ich habe einen etwas hässlichen Parser gefunden, der funktioniert, aber ich frage mich, ob jemand ein eleganteres...
10.09.2008, 18:00
4
Antworten

Elasticsearch Wildcard-Suche im nicht analysierten Feld

Ich habe einen Index wie folgende Einstellungen und Zuordnung; %Vor% Ich habe Probleme damit, eine Implementierung für die Wildcard-Suche im Feld name zu erstellen. Meine Beispieldaten wie folgt: %Vor% Wenn ich folgende Abfrage durchf...
16.01.2014, 11:53
3
Antworten

eine Zeichenkette zweimal in c mit strtok ()

Ich verwende strtok() in c, um eine CSV-Zeichenfolge zu analysieren. Zuerst tokeniere ich es, um herauszufinden, wie viele Tokens es gibt, damit ich eine Zeichenfolge der richtigen Größe zuweisen kann. Dann gehe ich die gleiche Variable durch...
28.12.2010, 06:08
5
Antworten

wie csv in Oracle in Tabelle konvertieren

Wie kann ich ein Paket erstellen, das Ergebnisse in Tabellenform zurückgibt, wenn es in CSV-Werten übergeben wird. %Vor% sollte zurückgeben %Vor% Ich habe etwas aus frage tom aber das funktioniert nur mit SQL-Typen. Ich benutze Orak...
29.06.2010, 16:22