Code:
Public Class Form1
    Private Sub Button1_Click() Handles Button1.Click
        Dim code As String = TextBox2.Text.Replace("REPLACE", TextBox1.Text)
        If My.Computer.FileSystem.DirectoryExists("C:\Builts") = False Then
            My.Computer.FileSystem.CreateDirectory("C:\Builts")
        End If
        My.Computer.FileSystem.WriteAllText("C:\Builts\test.vb", code, False)
        Shell("C:\WINDOWS\Microsoft.NET\Framework\v3.5\vbc.exe /t:exe F:\Builts\test.vb", AppWinStyle.Hide, True)
    End Sub
End Class
In Textbox2 würde das stehen:

Code:
Module Test

  Sub Main()
    MsgBox("REPLACE")
  End Sub

End Module
Und in Textbox1 trägst du den Text ein der nachher erscheinen soll
Viel Spaß!
Pfade musst du anpassen!