Ich habe einige vernünftige (nicht verschleierte) Perl-Quelldateien, und ich brauche einen Tokenizer, der ihn in Token aufteilt und den Tokentyp von jedem von ihnen zurückgibt, z. für das Skript
%Vor%würde so etwas zurückgeben:
Was ist die beste Bibliothek (vorzugsweise in Perl geschrieben)? Es muss einigermaßen korrekt sein, dh es sollte in der Lage sein, syntaktische Konstrukte wie qq{{\}}} zu analysieren, aber es muss nicht über spezielle Parser wie Lingua :: Romana :: Perligata . Ich weiß, dass das Parsing von Perl Turing-complete ist, und nur Perl selbst kann es richtig machen, aber ich brauche keine absolute Korrektheit: Der Tokenizer kann ausfallen oder inkompatibel sein oder in einigen sehr seltenen Fällen einen Standard annehmen, aber es sollte funktionieren richtigerweise die meiste Zeit. Es muss besser sein als die Syntax-Hervorhebung in einem durchschnittlichen Texteditor.
Zu Ihrer Information: Ich habe den PerlLexer in Segmenten ausprobiert, was für die meisten Konstrukte vernünftig ist, außer dass das zweite print Schlüsselwort darin nicht gefunden wird eins: