Hola que tal.
alguien sabe un funcion, de como separar las palabras de un texto en token. por ejemplo:
se tiene el texto siguiente:
program ejemplo;
uses crt;
var
s:integer;
se separarian asi:
program
ejemplo
;
uses
crt
;
var
s
:
integer
;
saludos
gracias.
PD: esto lo eh hecho en delphi(object pascal). pero en delphi4php no hayo o no ahi funcion similar.
var
MemStream: TMemoryStream;
Parser: TParser;
Token: Char;
Line: Integer;
begin
MemStream := TMemoryStream.Create;
Memo1.Lines.SaveToStream(MemStream);
MemStream.Seek(soFromBeginning, 0);
Parser := TParser.Create(MemStream);
Line := 1;
repeat
while Line < Parser.SourceLine do
begin
Memo2.Lines.Add('<cr>');
Inc(Line);
end;
Memo2.Lines.Add(Parser.TokenString);
until Parser.NextToken = toEof;
Parser.Free;
MemStream.Free;
end;
