text edit "elimina doppioni"
prova a dare un'occhiata a questa applicazione: Differencia ...da quello che ho capito confronta i dati, parole numeri tra diversi formati ..e forse anche dallo stesso testo ....
Eccomi qui.
Con la prova che ho fatto ha funzionato, se non dovesse funzionare mi devi dare piu' dettagli sul contenuto del tuo file:
Occhio agli spazi. Gli apici sono tutti singoli, quindi dove ne trovi due devi digitare due volte il carattere ' e non la doppia virgoletta "
Se vuoi mettere il risultato in un nuovo file aggiungi:
Ciaociao ! 
Con la prova che ho fatto ha funzionato, se non dovesse funzionare mi devi dare piu' dettagli sul contenuto del tuo file:
Code: Select all
cat file_da_processare |tr A-Z a-z|tr -c [a-z'\.''\@'] '\n'|sort|uniqSe vuoi mettere il risultato in un nuovo file aggiungi:
Code: Select all
cat file_da_processare |tr A-Z a-z|tr -c [a-z'\.''\@'] '\n'|sort|uniq > nuovo_file